Python数据分析:探索性分析
ztj100 2025-04-29 06:57 35 浏览 0 评论
写在前面
如果你忘记了前面的文章,可以看看加深印象:
然后可以进入今天的正文
一、描述性统计分析
Excel里可以用【数据分析】功能里的【描述统计】功能来查看数据集常用的统计指标,但这里只能是对数值型的数据进行统计。
pandas里可以用describe方法对整个数据集做一个描述性统计分析,当然这里也只是对数值型数据才可以出结果,非数值型数据不在统计范围内。
# 描述性统计分析
df_list.describe()
得到结果如下,可以看到count(计数)、mean(均值)、std(标准差)、min(最小值)、max(最大值)、25%、50%、75%分别表示3/4位数、中位数和1/4位数。
行列转置
由于字段太多了,所以这里可以转置一下,方便查看,用.T转置
# 行列转置
df_list.describe().T
结果如图,更符合一个表格的习惯,可以看到能够被统计出来的只有数值型数据,字符型的数据是统计不出来的。
观察到最小入住天数(minimum_nights)这个字段最小值、1/4位数、中位数、3/4位数都是1,说明大部分房源对最小入住天数的要求都是1天。同样的结论适用于每月评论数(reviews_per_month)这个字段
二、分组分析
Excel里用数据透视表可以实现数据分组计算的功能。
看下neighborhood_new字段都有哪些值,用value_counts方法对出现次数计数
# 数值计数
df_list["neighborhood_new"].value_counts()
结果可以看到neighborhood_new字段下总共有多少个区县分类及其出现的次数按降序排列下来了,可以看到朝阳区的房源最多,平谷区的房源最少。
还可以用groupby方法实现分组计数
# 分组
df_list.groupby("neighborhood_new")["neighborhood_new"].count()
得到的结果是一样的
对room_type_new一列也可以分组看下结果
df_list["room_type_new"].value_counts()
可以看到房间类型上有3种分类,整套房源(Entire home)最多,合租型的房源(Shared room)最少。
三、交叉分析
分组
对区域分组,统计不同区域房价的水平,同样用groupby方法分组,但是可以用agg方法一次使用多种汇总方式。
df_list.groupby("neighborhood_new")["price"].agg(["max","min","mean","count"])
结果如图,对neighborhood_new字段分组,对分组后的价格求最大最小平均值并计数,可以看到怀柔区的房价平均值最高,丰台区最低。
对房间类型分组,并将结果按均值降序排列
r_p = df_list.groupby("room_type_new")["price"].agg(["max","min","mean","count"]).reset_index()
r_p.sort_values("mean",ascending = False)
结果如图,整租的房价均值最高,合租最低,很合理的结果。
透视
对房间类型和区域做一个透视,使用pivot_table方法,和Excel里的数据透视表是一种类型的操作,第一个参数是要透视的数据,values参数是Excel透视表中的值区域,即要进行汇总的字段,index参数是Excel透视表中的行区域,columns参数是列区域,aggfuc参数是要对values进行汇总的类型。
pd.pivot_table(df_list,values = "price",index = "neighborhood_new",
columns = "room_type_new",aggfunc = "mean",margins = True)
结果如图,可以看到整租、合租、单间在各个区域中的价格分布。
四、相关性分析
相关性分析是用来描述变量之间相关关系的结果,用相关系数r来表示,r>0表示正相关,r<0表示负相关,r的绝对值越接近1,表示越高度相关。 Excel里用【数据分析】工具里的【相关系数】功能可以直接计算出各个字段的相关系数。
python里可以用corr函数计算数据间的相关系数,对整个数据表计算,并对结果取小数点后4位
# 计算相关系数
df_list.corr().round(4)
结果如下,就可以得到各个列之间的相关系数。
但是这里我们其实最关注的是他们同价格之间的相关性,也就是图中标红的部分,可以对这列的数值排个序。
数值排序
数值排序就是让整个数据表按照指定列升序或降序排列,用到sort_values方法。对求完相关系数后的数据框选择其price列进行降序,第一个参数是对哪一列进行排序,第二个参数ascending = False是降序排列,默认是True升序。
# 数值排序
corr_p = df_list.corr().round(4)
corr_p["price"].sort_values(ascending = False)
结果如下,可以看到,房价和经纬度(latitude、longitude)的相关性是最高的,除此以外相比其他变量,可预定天数(availability_365)和价格最正相关的,其次每月评论数量(reviews_per_month)和价格呈负相关。
@ 作者:可乐
@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路
@ 个人微信:data_cola
相关推荐
- Sublime Text 4 稳定版 Build 4113 发布
-
IT之家7月18日消息知名编辑器SublimeText4近日发布了Build4113版本,是SublimeText4的第二个稳定版。IT之家了解到,SublimeTe...
- 【小白课程】openKylin便签贴的设计与实现
-
openKylin便签贴作为侧边栏的一个小插件,提供便捷的文本记录和灵活的页面展示。openKylin便签贴分为两个部分:便签列表...
- 壹啦罐罐 Android 手机里的 Xposed 都装了啥
-
这是少数派推出的系列专题,叫做「我的手机里都装了啥」。这个系列将邀请到不同的玩家,从他们各自的角度介绍手机中最爱的或是日常使用最频繁的App。文章将以「每周一篇」的频率更新,内容范围会包括iOS、...
- 电气自动化专业词汇中英文对照表(电气自动化专业英语单词)
-
专业词汇中英文对照表...
- Python界面设计Tkinter模块的核心组件
-
我们使用一个模块,我们要熟悉这个模块的主要元件。如我们设计一个窗口,我们可以用Tk()来完成创建;一些交互元素,按钮、标签、编辑框用到控件;怎么去布局你的界面,我们可以用到pack()、grid()...
- 以色列发现“死海古卷”新残片(死海古卷是真的吗)
-
编译|陈家琦据艺术新闻网(artnews.com)报道,3月16日,以色列考古学家发现了死海古卷(DeadSeaScrolls)新残片。新出土的羊皮纸残片中包括以希腊文书写的《十二先知书》段落,这...
- 鸿蒙Next仓颉语言开发实战教程:订单列表
-
大家上午好,最近不断有友友反馈仓颉语言和ArkTs很像,所以要注意不要混淆。今天要分享的是仓颉语言开发商城应用的订单列表页。首先来分析一下这个页面,它分为三大部分,分别是导航栏、订单类型和订单列表部分...
- 哪些模块可以用在 Xposed for Lollipop 上?Xposed 模块兼容性解答
-
虽然已经有了XposedforLollipop的安装教程,但由于其还处在alpha阶段,一些Xposed模块能不能依赖其正常工作还未可知。为了解决大家对于模块兼容性的疑惑,笔者尽可能多...
- 利用 Fluid 自制 Mac 版 Overcast 应用
-
我喜爱收听播客,健身、上/下班途中,工作中,甚至是忙着做家务时。大多数情况下我会用MarcoArment开发的Overcast(Freemium)在iPhone上收听,这是我目前最喜爱的Po...
- 浅色Al云食堂APP代码(三)(手机云食堂)
-
以下是进一步优化完善后的浅色AI云食堂APP完整代码,新增了数据可视化、用户反馈、智能推荐等功能,并优化了代码结构和性能。项目结构...
- 实战PyQt5: 121-使用QImage实现一个看图应用
-
QImage简介QImage类提供了独立于硬件的图像表示形式,该图像表示形式可以直接访问像素数据,并且可以用作绘制设备。QImage是QPaintDevice子类,因此可以使用QPainter直接在图...
- 滚动条隐藏及美化(滚动条隐藏但是可以滚动)
-
1、滚动条隐藏背景/场景:在移动端,滑动的时候,会显示默认滚动条,如图1://隐藏代码:/*隐藏滚轮*/.ul-scrool-box::-webkit-scrollbar,.ul-scrool...
- 浅色AI云食堂APP完整代码(二)(ai 食堂)
-
以下是整合后的浅色AI云食堂APP完整代码,包含后端核心功能、前端界面以及优化增强功能。项目采用Django框架开发,支持库存管理、订单处理、财务管理等核心功能,并包含库存预警、数据导出、权限管理等增...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)