百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

Python数据分析:探索性分析

ztj100 2025-04-29 06:57 33 浏览 0 评论

写在前面

如果你忘记了前面的文章,可以看看加深印象:

Python数据处理

Python数据分析实战(2):缺失值处理

Python实战分析:获取数据

然后可以进入今天的正文

一、描述性统计分析

Excel里可以用【数据分析】功能里的【描述统计】功能来查看数据集常用的统计指标,但这里只能是对数值型的数据进行统计。

pandas里可以用describe方法对整个数据集做一个描述性统计分析,当然这里也只是对数值型数据才可以出结果,非数值型数据不在统计范围内。

Bash
# 描述性统计分析
df_list.describe()

得到结果如下,可以看到count(计数)、mean(均值)、std(标准差)、min(最小值)、max(最大值)、25%、50%、75%分别表示3/4位数、中位数和1/4位数。

行列转置

由于字段太多了,所以这里可以转置一下,方便查看,用.T转置

Bash
# 行列转置
df_list.describe().T

结果如图,更符合一个表格的习惯,可以看到能够被统计出来的只有数值型数据,字符型的数据是统计不出来的。

观察到最小入住天数(minimum_nights)这个字段最小值、1/4位数、中位数、3/4位数都是1,说明大部分房源对最小入住天数的要求都是1天。同样的结论适用于每月评论数(reviews_per_month)这个字段

二、分组分析

Excel里用数据透视表可以实现数据分组计算的功能。

看下neighborhood_new字段都有哪些值,用value_counts方法对出现次数计数

# 数值计数
df_list["neighborhood_new"].value_counts()

结果可以看到neighborhood_new字段下总共有多少个区县分类及其出现的次数按降序排列下来了,可以看到朝阳区的房源最多,平谷区的房源最少。


还可以用groupby方法实现分组计数


# 分组
df_list.groupby("neighborhood_new")["neighborhood_new"].count()

得到的结果是一样的

对room_type_new一列也可以分组看下结果

df_list["room_type_new"].value_counts()

可以看到房间类型上有3种分类,整套房源(Entire home)最多,合租型的房源(Shared room)最少。

三、交叉分析

分组

对区域分组,统计不同区域房价的水平,同样用groupby方法分组,但是可以用agg方法一次使用多种汇总方式。

df_list.groupby("neighborhood_new")["price"].agg(["max","min","mean","count"])

结果如图,对neighborhood_new字段分组,对分组后的价格求最大最小平均值并计数,可以看到怀柔区的房价平均值最高,丰台区最低。


对房间类型分组,并将结果按均值降序排列


r_p = df_list.groupby("room_type_new")["price"].agg(["max","min","mean","count"]).reset_index()
r_p.sort_values("mean",ascending = False)

结果如图,整租的房价均值最高,合租最低,很合理的结果。

透视

对房间类型和区域做一个透视,使用pivot_table方法,和Excel里的数据透视表是一种类型的操作,第一个参数是要透视的数据,values参数是Excel透视表中的值区域,即要进行汇总的字段,index参数是Excel透视表中的行区域,columns参数是列区域,aggfuc参数是要对values进行汇总的类型。

pd.pivot_table(df_list,values = "price",index = "neighborhood_new",
                columns = "room_type_new",aggfunc = "mean",margins = True)

结果如图,可以看到整租、合租、单间在各个区域中的价格分布。

四、相关性分析

相关性分析是用来描述变量之间相关关系的结果,用相关系数r来表示,r>0表示正相关,r<0表示负相关,r的绝对值越接近1,表示越高度相关。 Excel里用【数据分析】工具里的【相关系数】功能可以直接计算出各个字段的相关系数。

python里可以用corr函数计算数据间的相关系数,对整个数据表计算,并对结果取小数点后4位

# 计算相关系数
df_list.corr().round(4)

结果如下,就可以得到各个列之间的相关系数。

但是这里我们其实最关注的是他们同价格之间的相关性,也就是图中标红的部分,可以对这列的数值排个序。

数值排序

数值排序就是让整个数据表按照指定列升序或降序排列,用到sort_values方法。对求完相关系数后的数据框选择其price列进行降序,第一个参数是对哪一列进行排序,第二个参数ascending = False是降序排列,默认是True升序。

# 数值排序
corr_p = df_list.corr().round(4)
corr_p["price"].sort_values(ascending = False)

结果如下,可以看到,房价和经纬度(latitude、longitude)的相关性是最高的,除此以外相比其他变量,可预定天数(availability_365)和价格最正相关的,其次每月评论数量(reviews_per_month)和价格呈负相关。



@ 作者:可乐

@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路

@ 个人微信:data_cola

相关推荐

Java对象序列化与反序列化的那些事

Java对象序列化与反序列化的那些事在Java的世界里,对象序列化和反序列化就像一对孪生兄弟,它们共同构成了Java对象存储和传输的基础。如果你曾经尝试将对象保存到文件中,或者在网络中传输对象,那么你...

集合或数组转成String字符串(集合怎么转换成字符串)

1.将集合转成String字符串Strings="";for(inti=0;i<numList.size;i++){if(s==""){s=numL...

java学习分享:Java截取(提取)子字符串(substring())

在String中提供了两个截取字符串的方法,一个是从指定位置截取到字符串结尾,另一个是截取指定范围的内容。下面对这两种方法分别进行介绍。1.substring(intbeginIndex)形...

deepseek提示词:sql转c#代码示例。

SELECTRIGHT('0000'+CAST(DATEDIFF(DAY,'2024-01-01',GETDATE())ASVARCHAR(4)),4)...

Java 21 新特性的实践,确实很丝滑!

1虚拟线程创建虚拟线程...

为什么Java中的String是不可变的(Immutable)

在Java中,String类型是用于表示字符串的类,而字符串则是字符序列,是Java编程中最常用的数据类型之一。String类是不可变的,这意味着一旦创建,字符串的值就不能改变,下面我们就来介绍一下为...

Java中读取File文件内容转为String类型

@Java讲坛杨工开发中常常会碰到读取磁盘上的配置文件等内容,然后获取文件内容转字符串String类型,那么就需要编写一个API来实现这样的功能。首先准备一个测试需要的文件test.xml...

从Pandas快速切换到Polars :数据的ETL和查询

对于我们日常的数据清理、预处理和分析方面的大多数任务,Pandas已经绰绰有余。但是当数据量变得非常大时,它的性能开始下降。我们以前的两篇文章来测试Pandas1.5.3、polar和Pandas...

Pandas高手养成记:10个鲜为人知的高效数据处理技巧

Pandas是Python中非常强大的数据分析库,提供了高效的数据结构和数据处理工具。以下是一些鲜为人知但极其有用的Pandas数据处理技巧,可以帮助你提高工作效率:使用.eval()执行行...

灵活筛选数据,pandas无需指定行列的筛选方法,步骤详解

pandas库可轻松地筛选出符合特定条件的数据,无需指定筛选的行和列。通过灵活运用pandas的筛选功能,我们能够高效、准确地获取到感兴趣的数据,本文将介绍以下几种方法,在不指定行列的情况下使用pan...

【Pandas】(4)基本操作(pandas的基本操作)

选择数据获取列单列获取要获取DataFrame的单个列,你可以使用列名以两种不同的方式:...

「Python数据分析」Pandas基础,用iloc函数按行列位置选择数据

前面我们学过,使用loc函数,通过数据标签,也就是行标签和列标签来选择数据。行和列的标签,是在数据获取,或者是生成的时候,就已经定义好的。行数据标签,也就是唯一标识数据,不重复的一列,相当于数据库中的...

Python数据的选取和处理(python数据提取方法)

importpandasaspdimportnumpyasnpdata=pd.DataFrame(np.arange(1,10).reshape(3,3),index=['...

天秀!一张图就能彻底搞定Pandas(10分钟搞定pandas)

作者:刘早起公众号:早起Python大家好,在三月初,我曾给大家分享过一份Matplotlib绘图小抄,详见收下这份来自GitHub的神器,一图搞定Matplotlib!昨天在面向GitHub编程时,...

Python学不会来打我(92)python代码调试知识总结(五)属性问题

Attributeerror是属性问题,这个问题的报错也经常会出现,今天我们就分享一下:Python中引发AttributeError的常见原因及对应解决方案的详细分析。...

取消回复欢迎 发表评论: