Python 数据分析学习笔记

时间:2022-04-21
本文章向大家介绍Python 数据分析学习笔记,主要内容包括一、基本语法、二、数据分析、2.2 基本工具、2.3 Pandas、2.4 Sklearn、2.5 imblearn、2.6 statsmodels、2.7 tushare、三、金融数据分析基础、3.2 金融数据分析建模基础、四、数据分析实例、4.2 CASE: 逻辑回归做Lending Club 借贷数据分析、4.3 CASE: 股票量化示例、4.4 CASE: 银行客户流失预警模型、4.5 CASE: 互联网金融/银行 申请评分卡模型、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。

一、基本语法

资料地址http://www.icoolxue.com/album/show/113

1)python3新增特性:

A: print()变化

B: 新增bytes类型,可以与str进行互换,以b字母作为前缀

C: 新增format()进行格式化处理

D: dict里面删除了iterkeys(),itervalues(), iteritems(), 新增keys(), values(), items()

二、数据分析

2.1 基本理论

资料地址http://www.chinahadoop.cn/course/840/learn#lesson/16491

1)数据处理的最基本前期工作:

A: 类别型数据

明确取值类别

明确每类取值的分布

B: 数值型数据

了解极值与分位情况

了解正态性,均值,方差情况

了解变量相关性

C: 通用处理

缺失值情况

重复性情况

Inspecting——> Cleaning——>transforming——>modeling——>discover useful info/suggest conclusion/support decision making

2)常见的任务分类:

A: 分类问题

B: 回归问题

C: 聚类问题

D: 时序分析问题

2.2 基本工具

1)Numpy: ndarray

2)Pandas: Series和DataFrame

3)EDA的工具: Matplotlib, Seaborn, Bokeh

4)机器学习Scikit-learn

5)量化分析与回测:Talib/Zipline/PyAlgoTrade/Pybacktest

6)Scikit-Image: 图像处理

7)NLTK: 自然语言处理

2.3 Pandas

资料地址:http://pandas.pydata.org/pandas-docs/stable/

1)数据结构: Series/DataFrame/GroupBy/Index/Style/Resample/Window

2)Index: IntegerIndex/CategoricalIndex/IntervalIndex/DatetimeIndex/TimedeltaIndex

3)Functions: creation/conversion/attributes/index/selection/slice/groupby/sort

4)Reshape/combine/merge/join/serialization/plot/missing data/data manipulation

2.4 Sklearn

资料地址:http://scikit-learn.org/stable/

1) preprocessing: 包括样本切割,特征提取,

2) Model_selection: 包括特征选择,交叉验证等

3) Dimensionality reduction: 包括PCA, FA等

4) Classification/Regression/Clustering: 分类器、回归、聚类

2.5 imblearn

资料地址:

http://contrib.scikit-learn.org/imbalanced-learn/api.html#

http://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/

2.6 statsmodels

资料地址:http://www.statsmodels.org/stable/index.html

2.7 tushare

资料地址:http://www.statsmodels.org/stable/index.html

三、金融数据分析基础

3.1 业务背景

1)客户类型,业务类型,建模类型

3.2 金融数据分析建模基础

1)EDA的常用方法

2)极值、缺失值的处理方法

3)标准化与归一化的处理

4)Category变量的编码方式

5)变量分箱的常用方式

6)IV值的计算与经验判断

7)WOE的计算, WOE编码

8)交叉验证的策略与评价

9)各类模型的优缺点, 各类模型对输入的质量敏感性程度

10)各类模型的调参经验总结

四、数据分析实例

4.1 CASE: KNN做玻璃分类——KNN、sklearn、seaborn

示例代码:https://github.com/esppk/Glass_Classification

第一步:用pandas读取csv文件, 用df.info()方法查看

第二步:查看直观特征:

df.shape 查看有几行几列

df.columns获取每一列的表头名称,可以将y过滤掉,只留下x

df.head(n)可以预览读取的数据n行

df.dtypes可以查看df的数据类型

第三步:查看简单的统计特征:

df.describe()可以查看count,mean, sd, min,max, 25%,50%,75%

比如:通过mean可以查看各个x的取值范围是否大概一致,如果相差太大,要做归一化处理

df'y'.value_counts()可以用来查看样本里面y标签的取值与对应个数情况

比如:如果某个取值的数目特别多,表名样本非常不平衡,需要做sample weight等相关处理,或者将样本分割一下

第四步:查看可视化的统计特征:

skew的计算与描述——每个单变量x与y的分布情况——distplot

查看哪些变量需要做归一化处理——boxplot

查看两两变量之间的关系——pairplot

第五步: 分割数据集: trainset和testset, 可以直接用sklearn.model_selection里面的train_test_split

第六步:使用KNN分类器做分类算法, 看各个k取值下的准确率,从而决定best_k

第七步:使用KNN模型fit trainset,查看testset的准确率

提升模型准确率:

1)非平衡样本的数据处理

2)特征的归一化处理

3)其他分类器的尝试

4)尝试获取更多的数据

4.2 CASE: 逻辑回归做Lending Club 借贷数据分析

资料地址:http://www.chinahadoop.cn/classroom/48/introduction

第一步:文件目录相关操作 import os

os.path.exists(filepath) check某个文件或目录是否存在

os.path.join(a,b)拼接目录地址

第二步:文件压缩与解压相关操作: import zipfile

with zipfile.ZipFile(originalFilepath) as zf:

 zf.extractAll(targetPath)

第三步:pandas DataFrame里面取到某个列target的数据, 做类型转换:

data'newcolname' = pd.to_datetime(data'oldcolname')

data2=data.groupby('newcolname')'target'.sum()

df=pd.DataFrame(data2).reset_index()

将日期换成月份:(将DateTimeIndex变更为PeriodIndex)

data'newcolname_2'=data'newcolname'.apply(lamda x: x.to_period('M'))

第四步:观察数据

直观情况:raw_data.head()、raw_data.info()、raw_data.describe()

类型分布:used_data'loan_status'.value_counts()

按时间统计: 新增一列作为datetime index, group by这个index列

used_data'issue_d2'=pd.to_datetime(used_data'issue_d')

data_group_by_date=used_data.groupby('issue_d2').sum()

data_group_by_date.reset_index(inplace=True)

data_group_by_date'issue_month'=data_group_by_date'issue_d2'.apply(lambda x:x.to_period('M')) loan_amount_group_by_month=data_group_by_date.groupby('issue_month')'loan_amnt'.sum() loan_amount_group_by_month_df=pd.DataFrame(loan_amount_group_by_month).reset_index()

查看多变量间的分类统计情况:

data_group_by_state=used_data.groupby('addr_state')'loan_amnt'.sum()

data_group_by_state_df=pd.DataFrame(data_group_by_state).reset_index()

data_group_by_term=used_data.groupby('grade','term')'int_rate'.mean()

data_group_by_term_df=pd.DataFrame(data_group_by_term).reset_index()

第五步:处理category 变量,改成0,1这样的label

filtered_mask=raw_data'loan_status'.isin('Fully Paid','Charged Off','Default')

filtered_data=raw_datafiltered_mask

proc_filter_data=filtered_data.copy()

proc_filter_data'label'=filtered_data'loan_status'.apply(formateY)

proc_filter_data'emp_length_feat'=filtered_data'emp_length'.apply(formateEmpLength)

第六步:原始特征选择

第七步:缺失值处理

第八步:开始学习

A: LabelEncoder()、OneHotEncoder() check category var

B: 处理不平衡数据: SMOTE

C: 分割train set, test set

D: 选择模型, eg LogisticRegression

E: 交叉验证调整最优化的超参数: cross_val_score

1) 迭代策略的选择: KFold/LeaveOneOut/LeavePOut/ShuffleSplit

2) 交叉验证评估的度量: score类型(eg, accuracy/f1/precision/recall/roc_auc/r2)

4.3 CASE: 股票量化示例

资料地址:http://www.chinahadoop.cn/classroom/48/introduction

1)股票收益率( log(pt/p(t-1)) )的计算

1)使用tushare提供的接口,获取上证指数的价格数据

2)使用tushare提供的接口,获取某只股票的价格数据

3)股票价格服从log-normal分布, 所以对价格数据,需要求log price的序列

 log_return = np.log(price/price.shift(1))

4)两个序列处理缺失值: 方案, dropna

5)add_constant(x)加入截距数据

 sm.add_constant(x)

6)调用OLS fit 两个log price序列

 sm.OLS(y, x_cons).fit()

7)查看model的情况:

 res_ols.summary()

2)预测某只指数的涨跌

1)使用tushare读取某只指数(股票)的日K线数据

2)生成对应的时滞序列: price.shift(x)

hist_lag'lag{}'.format(str(i + 1)) = hist_data'close'.shift(i + 1)

3)label每天的涨跌:

ret_df'today' = hist_lag'today'.pct_change() * 100.0

ret_df'lag{}'.format(str(i + 1)) = hist_lag'lag{}'.format(str(i + 1)).pct_change() * 100.0

ret_df'direction' = np.sign(ret_df'today')

4)分割train set/test set

X = lag_ret_df['lag1', 'lag2']

y = lag_ret_df'direction'

start_test = dt.datetime(2016, 1, 1)

X_train = XX.index < start_test

X_test = XX.index >= start_test

y_train = yy.index < start_test

y_test = yy.index >= start_test

5)选择不同的模型,交叉验证获取优化的超参数,在train set上fit, 在test set上predict, 评估模型的优劣

4.4 CASE: 银行客户流失预警模型

资料地址:http://www.chinahadoop.cn/classroom/48/introduction

1)使用Pandas读取2个数据源文件

2)Merge on ID: pd.merge(A, B, on=‘ID’)

3)区分数据类型:

if isinstance(x[0], numbers.Real):
     numericCols.append(var)
elif isinstance(x[0], str):
     stringCols.append(var)

4) EDA

A: distplot, 看X的偏度,分布

B: boxplot, 看所有X的分布(比对哪些需要做归一化、标准化)

C: pairplot, 看X两两之间的关联情况

D: category var各个取值与X的分布情况——subplots合并多张图、轴

E: 查看X是否需要做截断,截断前和截断后与Y的关系

5) 变量预处理:

A: 时间变量的处理,作为label或者作为基于某一天之间的天数

统一处理两个时间的格式,转变为datetime变量,两者相减之后取days属性

base2 = time.strptime(base,'%Y/%m/%d')
base3 = datetime.datetime(base2[0],base2[1],base2[2])
date1 = [time.strptime(i,'%Y/%m/%d') for i in df[dateCol]]
date2 = [datetime.datetime(i[0],i[1],i[2]) for i in date1]
daysGap = [(date2[i] - base3).days for i in range(len(date2))]

B: 类别变量的编码,

最常用的做法, 用y变量在这个category变量的某一类中的比率来代替这一类的取值。

如: gender=’女’——用等于‘女’的坏样本比率ratio1来替代

gender=’男’——用等于‘男’的坏样本比率ratio2来替代

第二种做法,添加哑变量,适合于category取值较少的情况

如: city=’guangzhou’

city=’nanjing’

用isGuangzhou, isNanjing这两个变量来替换掉city这个变量

第三种做法,用category变量的某一类在样本中的出现次数来代替。

如: status=’default’出现100次,‘’default‘’用100表示

Status=’normal’出现1000次,‘normal’用1000表示

C: Missing Value的处理

判断是不是有存在Missing Value——从原始数据中取出非missing数据,比对shape

#Take the sample with non-missing value in col

validDf = df.loc[df[col] == df[col]][[col]]

if validDf.shape[0] == df.shape[0]:

return 'There is no missing value in {}'.format(col)

数值型变量的outlier detection,通常超过均值上下3个标准差就算outlier

D: 去掉使用循环的思维:

[functioncall(x)  for x in  df[col]]
[functioncall(x) for x in dif[col] if xxx ]
for v in set(df[col]):
   encoder[v] = sum(subDf[target])*1.0/subDf.shape[0]
newCol = [encoder[i] for i in df[col]]    

6)变量衍生

A: X之间相除得到某个ratio

B: X的均值,最大值,最小值

C: X的求和

7)模型选择与训练:

A: train_test_split

B: 选择模型:

GBDT

神经网络

C: 参数调整:

默认参数, parameter tuning

D: 查看variable importance in selected model

4.5 CASE: 互联网金融/银行 申请评分卡模型

资料地址:http://www.chinahadoop.cn/classroom/48/introduction

1)使用pandas读取3个input文件

2)查看3个input文件里面的ID,是否存在有的有值,有的没值, 取3个里面都有的数据出来做train set

data1_Idx, data2_Idx, data3_Idx = set(data1'Idx'), set(data2'Idx'), set(data3'Idx')

check_Idx_integrity = (data1_Idx - data2_Idx)|(data2_Idx - data1_Idx)|(data1_Idx - data3_Idx)|(data3_Idx - data1_Idx)

set(xxx)能够去掉xxx里面的重复数据

3)特征衍生:

A: 一些原始变量,衍生不同time window下面的count, mean等变量

B: category变量:

如果缺失率超过50%, 则去掉这个变量

如果不超过,作为一种特殊取值留着

C: continuous变量:

如果缺失率超过70%, 则去掉这个变量

如果不超过,则考虑用填充的方式进行填充(random, mean, min)

4)特征分箱:

A: category变量:

如果分类的取值个数>5个,则用每种分类里面的bad rate代替每个分类

如果分类的取值个数<=5个,则看size最大的那个bin, 如果这个bin的size超过90%, 则去掉这个变量。 如果这个bin的size坏样本占比为0, 则将这个bin与最小的那个bin合并, 再重新check maximum bin

B: continuous变量:

使用卡方分箱方法, default 5个bin

查看每个bin里面的bad rate,如果bad rate不单调,则降低bin的个数重新分bin

查看maximum size的bin占比,如果超过90%, 则删掉这个变量

5)变量选择:

A: 计算每个剩下来的变量的IV值, WOE值

B: 取IV>= 0.02的所有变量

C: 生成变量对, 计算变量对之间的相关系数,如果相关系数大于某个阈值(取0.8), 则变量对里面选IV值高的那个变量入模

D: 查看每个变量的VIF值, VIF = 1/ (1-R2) , VIF>10的去掉

E: 循环检查入模变量是否显著,如果不显著(取Pvalue>0.1为不显著),就去掉之后再跑一遍

F: 直到所有变量都是显著的为止

6)跑基础的逻辑回归模型, 将model 序列化存下来

LR = sm.Logit(y, X).fit()

saveModel =open('./data/LR_Model_Normal.pkl','w')

pickle.dump(LR,saveModel)

saveModel.close()

7)跑Lasso正则化(L1)的逻辑回归模型, type1 error和type 2 error采用不同的惩罚系数

A: 用交叉验证的方式tune hyper parameter:

LR_model_2 = LogisticRegressionCV(Cs=C_penalty, penalty='l1', solver='liblinear', class_weight={1:bad_weight, 0:1})

LR_model_2_fit = LR_model_2.fit(X_train,y_train)

B: 序列化应用Lasso的逻辑回归模型

8)可以通过随机森林的方式确定变量的重要性, 根据随机森林的结果(如: 取importance top 10的变量入模等)来跑逻辑回归模型