dataframe进行常用统计、分组统计平均绝对偏差等操作函数。
时间:2022-05-04
本文章向大家介绍dataframe进行常用统计、分组统计平均绝对偏差等操作函数。,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
pandas在dataframe中提供了丰富的统计、合并、分组、缺失值等操作函数。
1.统计函数
df.count() #非空元素计算 df.min() #最小值 df.max() #最大值 df.idxmin() #最小值的位置,类似于R中的which.min函数 df.idxmax() #最大值的位置,类似于R中的which.max函数 df.quantile(0.1) #10%分位数 df.sum() #求和 df.mean() #均值 df.median() #中位数 df.mode() #众数 df.var() #方差 df.std() #标准差 df.mad() #平均绝对偏差 df.skew() #偏度 df.kurt() #峰度 df.describe() #一次性输出多个描述性统计指标
2.分组统计 依托group by 单列如:df.groupby(‘sex’).sum() 通过多个列进行分组形成一个层次索引,然后执行函数:df.groupby([‘sex’,’B’]).sum()
案例:
#!usr/bin/env python
#_*_ coding:utf-8 _*_
import pandas as pd
import pymysql
def get_data():
conn=pymysql.connect(
host='192.168.1.xxx',
port=3306,
user='root',
passwd='xxx',
db='kmind',
charset='utf8'
)
sqldb="SELECT socre,review_star,review_author_id,review_author_level as count2 FROM source_mg_mfw_socre_ljon_01 WHERE
review_author_id IN (select review_author_id from (SELECT review_author_id,COUNT(*) AS count1 FROM
source_mg_mfw_socre_ljon_01 GROUP BY review_author_id HAVING count1>3)A)and socre!=' '"
pd_data=pd.read_sql(sqldb,conn)
pd_data["subtract"]=(pd_data["socre"]-pd_data["review_star"]*2)**2
print(pd_data.head(5))
#获取对应统计效果描述
print(pd_data.groupby("review_author_id").mean().describe())
print(pd_data.groupby("review_author_id").mad().describe())
print(len(pd_data.loc[pd_data["subtract"]<0.983275]))
print(pd_data.loc[pd_data["subtract"]<0.983275])
if __name__=="__main__":
get_data()
对应的原始数据结构
对应的部分数据描述
- eclipse+webservice开发实例
- tomcat 用AXIS2发布WebService 网站的方法
- JSP 中EL表达式用法详解
- CSS判断不同分辨率显示不同宽度布局CSS3技术支持IE6到IE8
- Hibernate详细教程
- TensorFlow中的多线程
- nginx 域名绑定 域名, nginx 域名绑定 端口
- Centos下Yum安装PHP5.5,5.6,7.0
- 请注意,我们要谈谈神经网络的注意机制和使用方法
- Configure Apache Virtual Hosts - CentOS 7
- centos7查看端口命令
- 为什么算法容易忘记之快速排序
- 为什么算法容易忘记之插入排序
- 让你又爱又恨的推荐系统--程序猿篇
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 使用shell-operator实现Operator
- 教你用Python 操作 PDF 的几种方法
- 如何在K8s上设置生产级的EFK?(上)
- IntelliJ IDEA 构建 Maven 多模块工程项目
- GDP越高就越幸福吗?用Python分析《世界幸福指数报告》后我们发现…
- 图解:什么是哈希?
- 【Python基础】一文看懂 Pandas 中的透视表
- 彻底干掉恶心的 SQL 注入漏洞, 一网打尽!
- 某小型公司持续集成工具 Jenkins 实践
- 使用RBAC Impersonation简化Kubernetes资源访问控制
- 求求你别再用 MySQL offset 和 limit 分页了?
- 短视频带货源码,获取购物车中所有商品列表并加载显示
- 【Flutter 实战】菜单(Menu)功能
- 【Flutter 实战】路由堆栈详解
- 【Flutter 实战】全局监听路由堆栈变化