DataFrame 数据合并实现(merge,join,concat)
merge
merge 函数通过一个或多个键将数据集的行连接起来。 场景:针对同一个主键存在的两张包含不同特征的表,通过主键的链接,将两张表进行合并。合并之后,两张表的行数不增加,列数是两张表的列数之和。
def merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False,
suffixes=('_x', '_y'), copy=True, indicator=False,
validate=None):
参数 |
描述 |
---|---|
how |
数据融合的方法,从在不重合的键,方式(inner、outer、left、right) |
on |
用来对齐的列名,一定要保证左表和右表存在相同的列名。 |
left_on |
左表对齐的列,可以是列名。也可以是DataFrame同长度的arrays |
right_on |
右表对齐的列,可以是列名。 |
left_index |
将左表的index用作连接键 |
right_index |
将右表的index用作连接键 |
suffixes |
左右对象中存在重名列,结果区分的方式,后缀名。 |
copy |
默认:True。将数据复制到数据结构中,设置为False提高性能。 |
特性示例(1)
默认:以重叠的列名当作连接键
df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
print(df1)
print(df2)
print(df3)
key data1
0 one 0
1 two 1
2 two 2
key data2
0 one 0
1 three 1
2 three 2
key data1 data2
0 one 0 0
特性示例(2)
默认:做inner连接,取key的交集 连接方式还有left right outer
df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
df4 = pd.merge(df1, df2, how='left')
print(df3)
print(df4)
key data1 data2
0 one 0 0
key data1 data2
0 one 0 0.0
1 two 1 NaN
2 two 2 NaN
特性示例(3)
多键连接时将连接键做成列表传入。 on默认是两者同时存在的列
df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
'value': ['a', 'b', 'c'],
'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'two', 'three'],
'value': ['a', 'c', 'c'],
'data2': np.arange(3)})
df5 = pd.merge(df1, df2)
df6 = pd.merge(df1, df2, on=['key', 'value'], how='outer')
print(df5)
print(df6)
key value data1 data2
0 one a 0 0
1 two c 2 1
key value data1 data2
0 one a 0.0 0.0
1 two b 1.0 NaN
2 two c 2.0 1.0
3 three c NaN 2.0
特性示例(4)
两个对象的列名不同,需要分别制定。
df7 = pd.merge(df1, df2, left_on=['key1','data1'], right_on=['key2','data2'], how='outer')
print(df7)
key1 value_x data1 key2 value_y data2
0 one a 0.0 one a 0.0
1 two b 1.0 two c 1.0
2 two c 2.0 NaN NaN NaN
3 NaN NaN NaN three c 2.0
join
join方法将两个DataFrame中不同的列索引合并成为一个DataFrame 参数的意义与merge基本相同,只是join方法默认左外连接how=left
def join(self, other, on=None, how='left', lsuffix='', rsuffix='',
sort=False):
示例
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
'B': ['B0', 'B1', 'B2']},
index=['K0', 'K1', 'K2'])
df2 = pd.DataFrame({'C': ['C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2']},
index=['K0', 'K1', 'K3'])
df3 = df1.join(df2)
df4 = df1.join(df2, how='outer')
df5 = df1.join(df2, how='inner')
print(df3)
print(df4)
print(df5)
A B C D
K0 A0 B0 C1 D0
K1 A1 B1 C2 D1
K2 A1 B2 NaN NaN
A B C D
K0 A0 B0 C1 D0
K1 A1 B1 C2 D1
K2 A1 B2 NaN NaN
K3 NaN NaN C3 D2
A B C D
K0 A0 B0 C1 D0
K1 A1 B1 C2 D1
concat
制定按某个轴进行连接(可横向可纵向),也可以指定连接方法。
def concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False,
sort=None, copy=True):
属性 |
描述 |
---|---|
objs |
合并的对象集合。可以是Series、DataFrame |
axis |
合并方法。默认0,表示纵向,1横向 |
join |
默认outer并集,inner交集。只有这两种 |
join_axes |
按哪些对象的索引保存 |
ignore_index |
默认Fasle忽略。是否忽略原index |
keys |
为原始DataFrame添加一个键,默认无 |
示例(1)
s1 = pd.Series(['a', 'b'])
s2 = pd.Series(['c', 'd'])
s3 = pd.concat([s1, s2])
s4 = pd.concat([s1, s2], ignore_index=True)
print(s3)
print(s4)
0 a
1 b
dtype: object
0 c
1 d
dtype: object
0 a
1 b
0 c
1 d
dtype: object
0 a
1 b
2 c
3 d
dtype: object
示例(2)
df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], join='inner')
print(df3)
0
0 1
1 2
0 1
1 2
示例(3)
df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], axis=1, join_axes=[df1.index])
print(df3)
A 0 B 0
0 a 1 a 1
1 b 2 b 2
append
横向和纵向同时扩充,不考虑columns和index
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
'B': ['B0', 'B1', 'B2']},
index=['K0', 'K1', 'K2'])
s2 = pd.Series(['X0','X1'], index=['A','B'])
result = df1.append(s2, ignore_index=True)
print(result)
A B
K0 A0 B0
K1 A1 B1
K2 A1 B2
A B
0 A0 B0
1 A1 B1
2 A1 B2
3 X0 X1
汇总
- concat:可以沿一条轴将多个对象连接到一起
- merge:可以根据一个或多个键将不同的DataFrame中的行连接起来。
- join:inner是交集,outer是并集。
到此这篇关于DataFrame 数据合并实现(merge,join,concat)的文章就介绍到这了,更多相关DataFrame 数据合并内容请搜索ZaLou.Cn以前的文章或继续浏览下面的相关文章希望大家以后多多支持ZaLou.Cn!
- 使用 Referer Meta 标签控制 referer—详解 referrer-policy
- 网站抓取引子 - 获得网页中的表格
- Android Firebase 服务简介
- CVE-2015-0393:Oracle发布严重安全漏洞预警
- 研究人员发现一种利用Siri窃取苹果iPhone/iPad数据的方法
- 关于Python中的__main__和编程模板
- 世界大战尽在掌控:盘点全球网络攻击实时追踪系统
- Activity数据传递
- apache反向代理一、泛解析域名二、APACHE配置
- Python学习 - 可视化变量赋值、循环、程序运行过程
- jdk源码分析红黑树——插入篇1.插入root2.父黑3.父红4.父红,叔红5.1父红,叔黑,外侧子孙5.2父红,叔黑,内侧子孙
- WIFI环境下Android手机和电脑通信
- 破解之美:利用ECB加密缺陷突破cookie加密
- 让Python猜猜你是否能约会成功
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android加密之全盘加密详解
- Android 实现彻底退出自己APP 并杀掉所有相关的进程
- 使用Android开发接入第三方原生SDK实现微信登录
- Android打包篇:Android Studio将代码打包成jar包教程
- Android系统制作自定义签名的例子
- 抖音短视频系统开发,日期加减
- Android开发之InetAddress基础入门简介与源码实例
- Android实现通讯录功能
- 教你用CentOS7下使用mktorrent制作PT种子
- 让 Python 的高阶函数支持链式调用[实用库/轮子]
- 解决了一个 Python Type Hints 的问题,分享一下
- Elasticsearch:flattened 数据类型 (7.3 发行版新功能)
- Android开发准确获取手机IP地址的两种方式
- Android网络请求-sign参数的设置方式
- Android使用自定义View实现横行时间轴效果