Python数据科学：线性回归

import numpy as np
import pandas as pd
import statsmodels.api as sm
import matplotlib.pyplot as plt
from statsmodels.formula.api import ols

# 消除pandas输出省略号情况及换行情况
pd.set_option('display.max_columns', 500)
pd.set_option('display.width', 1000)
# 读取数据,skipinitialspace:忽略分隔符后的空白
df = pd.read_csv('creditcard_exp.csv', skipinitialspace=True)
print(df.head())

# 获取信用卡有支出的行数据
exp = df[df['avg_exp'].notnull()].copy().iloc[:, 2:].drop('age2', axis=1)
# 获取信用卡无支出的行数据,NaN
exp_new = df[df['avg_exp'].isnull()].copy().iloc[:, 2:].drop('age2', axis=1)
# 描述性统计分析
exp.describe(include='all')
print(exp.describe(include='all'))
# 相关性分析
print(exp[['avg_exp', 'Age', 'Income', 'dist_home_val']].corr(method='pearson'))

# 使用简单线性回归建立模型
lm_s = ols('avg_exp ~ Income', data=exp).fit()
print(lm_s.params)
# 输出模型基本信息,回归系数及检验信息,其他模型诊断信息
print(lm_s.summary())

# 生成的模型使用predict产生预测值,resid为训练数据集的残差
print(pd.DataFrame([lm_s.predict(exp), lm_s.resid], index=['predict', 'resid']).T.head())

# 对待预测数据集使用模型进行预测
print(lm_s.predict(exp_new)[:5])

# 使用多元线性回归建立模型
lm_m = ols('avg_exp ~ Age + Income + dist_home_val + dist_avg_income', data=exp).fit()
print(lm_m.summary())

# 向前回归法
def forward_select(data, response):
    """data是包含自变量及因变量的数据,response是因变量"""
    # 获取自变量列表
    remaining = set(data.columns)
    remaining.remove(response)
    selected = []
    # 定义数据类型(正无穷)
    current_score, best_new_score = float('inf'), float('inf')
    # 自变量列表含有自变量时
    while remaining:
        aic_with_candidates = []
        # 对自变量列表进行循环
        for candidates in remaining:
            # 构建表达式,自变量会不断增加
            formula = "{} ~ {}".format(response, ' + '.join(selected + [candidates]))
            # 生成自变量的AIC解释力度
            aic = ols(formula=formula, data=data).fit().aic
            # 得到自变量的AIC解释力度列表
            aic_with_candidates.append((aic, candidates))
        # 对解释力度列表从大到小排序
        aic_with_candidates.sort(reverse=True)
        # 得到解释力度最大值(AIC值最小)及自变量
        best_new_score, best_candidate = aic_with_candidates.pop()
        # 1.正无穷大大于解释力度最大值 2.上一期实验的AIC值需大于下一期的AIC实验值,即添加变量越多,AIC值应该越小,模型效果越好
        if current_score > best_new_score:
            # 移除影响最大的自变量
            remaining.remove(best_candidate)
            # 添加影响较大的自变量
            selected.append(best_candidate)
            # 赋值本次实验的AIC值
            current_score = best_new_score
            print('aic is {},continue!'.format(current_score))
        else:
            print('forward selection over!')
            break
    # 采用影响较大的自变量列表,对数据做线性回归
    formula = "{} ~ {}".format(response, ' + '.join(selected))
    print('final formula is {}'.format(formula))
    model = ols(formula=formula, data=data).fit()
    return model


# 采用向前回归法筛选变量,利用筛选的变量构建回归模型
data_for_select = exp[['avg_exp', 'Income', 'Age', 'dist_home_val', 'dist_avg_income']]
lm_m = forward_select(data=data_for_select, response='avg_exp')
print(lm_m.rsquared)