浅析Python数据处理
Numpy、Pandas是Python数据处理中经常用到的两个框架,都是采用C语言编写,所以运算速度快。Matplotlib是Python的的画图工具,可以把之前处理后的数据通过图像绘制出来。之前只是看过语法,没有系统学习总结过,本博文总结了这三个框架的API。
以下是这三个框架的的简单介绍和区别:
- Numpy:经常用于数据生成和一些运算
- Pandas:基于Numpy构建的,是Numpy的升级版本
- Matplotlib:Python中强大的绘图工具
Numpy
Numpy快速入门教程可参考:Numpy tutorial
Numpy属性
ndarray.ndim:维度
ndarray.shape:行数和列数,例如(3, 5)
ndarray.size:元素的个数
ndarray.dtype:元素类型
Numpy创建
array(object, dtype=None):使用Python的list或者tuple创建数据
zeors(shape, dtype=float):创建全为0的数据
ones(shape, dtype=None):创建全为1的数据
empty(shape, dtype=float):创建没有初始化的数据
arange([start, ]stop, [step, ]dtype=None):创建固定间隔的数据段
linspace(start, stop, num=50, dtype=None):在给定的范围,均匀的创建数据
Numpy运算
加、减:a + b、a - b
乘:b*2、10*np.sin(a)
次方:b**2
判断:a<35,输出True或False的数组
矩阵乘:np.dot(A,B) 或 A.dot(B)
其他:+=、-+、sin、cos、exp
Numpy索引
数组索引方式:A[1, 1]
切片:A[1, 1:3]
迭代:for item in A.flat
Numpy其他
reshape(a, newshape):改变数据形状,不会对原始数据进行修改,返回一组新数据
resize(a, new_shape):改变数据形状,会对原始数据进行修改,不返回数据
ravel(a):将成一维返回
vstack(tup):上下合并
hstack(tup):左右合并
hsplit(ary, indices_or_sections):水平分割n份
vsplit(ary, indices_or_sections):垂直分割n份
copy(a):深度拷贝
Pandas
Pandas快速入门教程可参考:10 Minutes to pandas
Pandas数据结构
Pandas的数据结构有两种:Series和DataFrame。
Series:索引在左边,值在右边。创建方式如下:
In [4]: s = pd.Series([1,3,5,np.nan,6,8]) In [5]: s Out[5]: 0 1.0 1 3.0 2 5.0 3 NaN 4 6.0 5 8.0 dtype: float64
DataFrame:是一个表格型的数据结构,既有行索引也有列索引, 它可以被看做由Series组成的大字典。创建方式如下:
In [6]: dates = pd.date_range('20130101', periods=6) In [7]: dates Out[7]: DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='D') In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
Pandas查看数据
index:索引
columns:列索引
values:值
head(n=5):返回前n项数据
tail(n=5):返回后n项数据
describe():打印出数据的数量、平均值等各项数据
sort_index(axis=1, ascending=False):根据索引排序
sort_values(by='B'):根据索引值排序
Pandas选择数据
数组选择方式:df[‘A']
切片选择方式:df[0:3] 或 df[‘20130102':'20130104']
根据标签选择:df.loc[‘20130102':'20130104',[‘A','B']]
根据位置选择:df.iloc[3:5,0:2]
混合选择:df.ix[:3,[‘A','C']]
条件判断选择:df[df.A > 0]
Pandas处理丢失数据
删除丢失数据的行:df.dropna(how='any')
填充丢失数据:df.fillna(value=5)
数据值是否为NaN:pd.isna(df1)
Pandas合并数据
pd.concat([df1, df2, df3], axis=0):合并df
pd.merge(left, right, on='key'):根据key字段合并
df.append(s, ignore_index=True):添加数据
Pandas导入导出
df.to_csv(‘foo.csv'):保存到csv文件
pd.read_csv(‘foo.csv'):从csv文件读取
df.to_excel(‘foo.xlsx', sheet_name='Sheet1'):保存到excel文件
pd.read_excel(‘foo.xlsx', ‘Sheet1', index_col=None, na_values=[‘NA']):从excel文件读取
Matplotlib
这里只介绍最简单的出图方式:
import pandas as pd import numpy as np import matplotlib.pyplot as plt # 随机生成1000个数据 data = pd.Series(np.random.randn(1000),index=np.arange(1000)) # 为了方便观看效果, 我们累加这个数据 data.cumsum() # pandas 数据可以直接观看其可视化形式 data.plot() plt.show()
- 关于抓取session信息的一个脚本(r3笔记第8天)
- oracle PL/SQL中的重载 (r3笔记27天)
- 使用Python进行描述性统计
- 关于修改分区表的准备和操作细则(r3笔记26天)
- 一条"简单"的sql语句和小兔子买面包的故事 (r3笔记第25天)
- 生产环境sql语句调优实战第八篇(r3笔记第24天)
- Python做文本挖掘的情感极性分析
- 通过vmstat的简单分析数据库操作 (r3笔记23天)
- 海量数据迁移之一个误操作的问题总结(r3笔记第21天)
- 关于dblink锁定带来的问题(r3笔记第20天)
- 利用sql语句解决简单的数学题(r3笔记第19天)
- 用XGBoost做时间序列预测—forecastxgb包
- 数据挖掘算法(logistic回归,随机森林,GBDT和xgboost)
- 关于修改数据库参数的测试(r3笔记第18天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- LeetCode43|最大层内元素和
- 搭建简易的物联网服务端和客户端-Maibu控制(二十一)
- LeetCode42|层数最深叶子节点的和
- LeetCode41|数组中数组出现的次数
- Django后台管理界面修改(源文件修改)
- 前端工程师不可不知的Nginx知识
- Django1.11 简单登录注册
- 基因表达聚类分析之初探SOM - 自组织特征图
- JMH - Java 代码性能测试的终极利器、必须掌握
- 从零搭建Spring Boot脚手架(6):整合Redis作为缓存
- 换一种姿势挖掘CORS漏洞
- 新的Spring OAuth2.0 授权服务器项目正式发布
- spring boot整合apollo
- 枚举和List的几个共有方法
- AtomicInteger源码解析