Xgboost简单建模——Kaggle项目GiveMeSomeCredit实战

环境配置

# 基本功能
import pandas as pd
import numpy as np


# 画图
import matplotlib.pyplot as plt
import seaborn as sns
# 数据处理
from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold, cross_validate
from sklearn.preprocessing import OneHotEncoder
import imblearn


# 模型算法
import xgboost as xgb


# 模型评价
from sklearn.metrics import roc_curve
from sklearn.metrics import auc,roc_auc_score
from sklearn.metrics import accuracy_score,confusion_matrix,f1_score
from sklearn.model_selection import cross_val_score


# 风控
import toad
from toad.plot import  bin_plot,badrate_plot


# pd显示配置
pd.set_option('precision',3)
pd.set_option('display.float_format',lambda x:'{:.4f}'.format(x))


# sns风格与装饰
sns.set(style='whitegrid',font='Simhei')


# 系统路径
import os
os.chdir(r'C:\Users\28779\Desktop\GiveMeSomeCredit\GiveMeSomeCredit')


# 输出每个cell代码返回的所有结果
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'


# 屏蔽提示
import warnings
warnings.filterwarnings('ignore')

读取数据

# 训练数据示例
data = pd.read_csv('cs-training.csv')

# 查看尾部两行
data.tail(2)
# 查看&重命名列
data.columns
data.drop(columns='Unnamed: 0',inplace=True)
column = ['target', 'RevUtilOfUnsecLines', 'age',
       '30-59DPD', 'DebtRatio', 'MonthlyIncome',
       'NumOfOpCreAndLoans', 'NumOf90DPD',
       'NumReaEstLoansOrLines', '60-89DPD',
       'NumberOfDependents']
data.columns = column
data.head()

# 区分特征与标签
fea = ['RevUtilOfUnsecLines', 'age',
       '30-59DPD', 'DebtRatio', 'MonthlyIncome',
       'NumOfOpCreAndLoans', 'NumOf90DPD',
       'NumReaEstLoansOrLines', '60-89DPD',
       'NumberOfDependents']
label = 'target'
ex_lis = []

数据概览

# 查看标签分布
data.target.value_counts()
print('坏样本浓度为{:.4f}%'.format(100*data.target.mean()))

# 查看数据重复情况
data.duplicated().sum()
# 查询重复数据明细
data[data.duplicated()]

# 查看数据缺失情况
missing_num = data.isna().sum()
missing_rate = data.isnull().sum()/(data.isna().count())
df_missing = pd.DataFrame({'num':missing_num,'rate':missing_rate})
df_missing.rate = df_missing.rate.apply(lambda x :'{:.4f}%'.format(100*x))
df_missing

# 查看异常数据情况
plt.figure(figsize=(20,15),dpi=100)
for i in range(len(fea)):
    plt.subplot(3,4,i+1)
    sns.boxplot(y=data[fea[i]],orient='v',width=0.5)
    plt.title(fea[i])
plt.tight_layout()
plt.show()

数据划分

模型训练

# 参数设定
model_xgb = xgb.XGBClassifier( 
                objective='binary:logistic',              
                n_estimators= 200, 
                max_depth= 12, 
                min_child_weight= 1, 
                seed= 42,
                subsample= 0.8, 
                reg_alpha= 0, #L1正则化项的系数，用于减轻过拟合
                reg_lambda= 1,#L2正则化项的系数，用于减轻过拟合
                verbosity=2,#训练日志打印等级
                silent=0,
                nthread= -1,#并行线程数
                n_jobs=-1,
                eta=0.01,#学习率，控制每次学习的权重缩减
                gamma=10,#叶子节点分裂时的损失减少量下线
                scale_pos_weight=1,#样本权重，通常用于处理样本不均衡的情况
                early_stopping_rounds = 200,
                eval_metric= 'auc'
)

# 交叉验证
cv = KFold(n_splits=5,shuffle=True,random_state=1412)
model_xgb_cv = cross_val_score(model_xgb,X_train,y_train,cv=cv,scoring='roc_auc')
model_xgb_cv.mean()
model_xgb_cv.var()

模型预测

# 评估函数
def model_evaluate(y_true,y_pre):
    '''
    input:
        y_true,series，样本标签，0或1
        y_pre,series，样本预测值，范围不限
    output:
        ks,auc,float,模型ks,auc指标值
        ROC图
    ''' 
       
    fpr,tpr,thresholds=roc_curve(y_true,y_pre,pos_label=None,sample_weight=None,drop_intermediate=True)
    ks_cal = abs(fpr-tpr)
    ks = max(ks_cal)
    print('ks:',ks)


    auc = roc_auc_score(y_true,y_pre)
    print('auc:',auc)


    # plot
    plt.figure()
    plt.plot([0,1],[0,1],lw=2,linestyle='--')
    plt.plot(fpr,tpr,label='ROC Curve')
    plt.title('ROC Curve')
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.legend()
    plt.show()
    
    return ks,auc

# 模型评估
model_evaluate(y_train,y_pre_train_xgb)
model_evaluate(y_test,y_pre_test_xgb)

可以看到，经过训练后的Xgboost模型表现如下：

训练集：ks约为0.583，auc约为0.867

测试集：ks约为0.570，auc约为0.858

以上，我们建立了简单的Xgboost模型，并且取得了一个还不错的auc结果，但其实，其实这个过程中还有许多可以调整和提升的地方，例如缺失值的处理、模型参数的调整等，小记也会持续和大家分享~