LR评分卡建模流程实操——Kaggle项目GiveMeSomeCredit实战

Kaggle项目GiveMeSomeCredit实战

# 训练数据示例
data = pd.read_csv('cs-training.csv')

数据字典信息如下：

# 查看尾部两行
data.tail(2)
# 查看&重命名列
data.columns
data.drop(columns='Unnamed: 0',inplace=True)
column = ['target', 'RevUtilOfUnsecLines', 'age',
       '30-59DPD', 'DebtRatio', 'MonthlyIncome',
       'NumOfOpCreAndLoans', 'NumOf90DPD',
       'NumReaEstLoansOrLines', '60-89DPD',
       'NumberOfDependents']
data.columns = column
data.head()

# 区分特征与标签
fea = ['RevUtilOfUnsecLines', 'age',
       '30-59DPD', 'DebtRatio', 'MonthlyIncome',
       'NumOfOpCreAndLoans', 'NumOf90DPD',
       'NumReaEstLoansOrLines', '60-89DPD',
       'NumberOfDependents']
label = 'target'
ex_lis = []

# 样本概览
data.info()
data.shape

RangeIndex: 150000 entries, 0 to 149999
Data columns (total 11 columns):
 #   Column                 Non-Null Count   Dtype  
---  ------                 --------------   -----  
 0   target                 150000 non-null  int64  
 1   RevUtilOfUnsecLines    150000 non-null  float64
 2   age                    150000 non-null  int64  
 3   30-59DPD               150000 non-null  int64  
 4   DebtRatio              150000 non-null  float64
 5   MonthlyIncome          120269 non-null  float64
 6   NumOfOpCreAndLoans     150000 non-null  int64  
 7   NumOf90DPD             150000 non-null  int64  
 8   NumReaEstLoansOrLines  150000 non-null  int64  
 9   60-89DPD               150000 non-null  int64  
 10  NumberOfDependents     146076 non-null  float64
dtypes: float64(4), int64(7)
memory usage: 12.6 MB

可以看到，样本数量为150000，特征数为10个，特征值均为数值型，标签值无缺失，数据大小是12.6MB，不用压缩可以直接拿来分析

# 标签分析
data.target.value_counts()
print('坏样本浓度为{:.4f}%'.format(100*data.target.mean()))

0    139974
1     10026

Name: target, dtype: int64

坏样本浓度为6.6840%

# 特征分析
data.describe()

查看特征的非空数量、均值、方差、极大值、极小值和四分位值

# 查看数据重复情况
data.duplicated().sum()
# 查看重复数据明细
data[data.duplicated()]
# 查看重复值中坏样本数量
data[data.duplicated()].target.sum()

17

通过明细和重复值数量可以看出，拥有重复特征值的数据并没有表现出异常，可能是自然存在的，因此这里不做处理

2.缺失值处理

在之前的《Xgboost简单建模——Kaggle项目GiveMeSomeCredit实战》一文中，我们对缺失值进行了查看，但并没有做处理，这是由于Xgboost中自带缺失值处理函数，我们将带有缺失值的数据直接扔进模型，模型也可以支持处理。而LR模型是不支持缺失值自动处理的，所以一定要记得先对缺失值做好处理再把数据丢进模型，不然模型训练时就会报错喔~

# 查看数据缺失情况
missing_num = data.isnull().sum()
missing_rate = data.isnull().sum()/(data.isnull().count())
df_missing = pd.DataFrame({'num':missing_num,'rate':missing_rate})
df_missing.rate = df_missing.rate.apply(lambda x :'{:.4f}%'.format(100*x))
df_missing

图表显示，有两个字段存在缺失，分别是MonthlyIncome和

NumberOfDependents，其中NumberOfDependents字段的缺失率比较低，我们可以直接丢掉，MonthlyIncome的缺失值接近20%，我们对缺失值进行填补，此处采用均值填补法，缺失值的处理其实方法有很多，先放一个坑在这里，我们在后续推送中再单独进行详细说明~

# 丢弃NumberOfDependents字段值为空的数据
data.dropna(subset=['NumberOfDependents'],inplace=True)
# 使用均值填补法对MonthlyIncome字段的缺失值进行填补
data['MonthlyIncome'].fillna(data['MonthlyIncome'].mean(),inplace=True)

3.异常值处理

# 查看异常数据情况
plt.figure(figsize=(20,15),dpi=100)
for i in range(len(fea)):
    plt.subplot(3,4,i+1)
    sns.boxplot(y=data[fea[i]],orient='v',width=0.5)
    plt.title(fea[i])
plt.tight_layout()
plt.show()

对每个特征的分布和极值情况进行观察，结合对字段的理解，我们将三个逾期字段30-59DPD，60-89DPD，和NumOf90DPD中逾期次数超过90的数据去除，同时也去除掉RevUtilOfUnsecLines字段值大于50000的数据

data = data[(data['RevUtilOfUnsecLines']<50000)&(data['30-59DPD']<90)]

# 画出数据分布图
data.hist(figsize=(20,15))

# 抽取30%的验证集
X_train,X_test,y_train,y_test = train_test_split(  
    data[fea],data[label],test_size=0.3,random_state=42)
data_training = pd.concat([X_train,y_train],axis=1)
data_test = pd.concat([X_test,y_test],axis=1

# 生成分箱实例
combiner_chi = toad.transform.Combiner()
# 进行卡方分箱
combiner_chi.fit(data_training,data_training[label],method='chi',min_samples = 0.05,\
             empty_separate=True,exclude=label)
# 导出分箱节点
bins_chi = combiner_chi.export()

# 对上一步得到的节点直接进行调整
adj_bin = {'RevUtilOfUnsecLines': [0.061872817999999996,0.299745148,0.48757002,0.8826939290000001],
'age': [36, 44, 51, 56, 58, 63, 68],
'30-59DPD': [1, 2],
'DebtRatio': [0.016196761, 0.40660066, 0.7264729409999999, 3.9728435277938843],
 'MonthlyIncome': [5409.0, 7332.0],
 'NumOfOpCreAndLoans': [2.5],
 'NumOf90DPD': [1,4],
 'NumReaEstLoansOrLines': [1, 3],
 'NumOf90DPD': [1,3],
 'NumberOfDependents': [1.0, 2.0]
}
combiner_chi.set_rules(adj_bin)

# 根据节点实施分箱
data_training_bins_adj = combiner_chi.transform(data_training)
# 验证集同步划分
data_test_bins_adj = combiner_chi.transform(data_test[data_training.columns])

# 查看各箱标签分布
for col in fea:
    bin_plot(data_training_bins_adj,x=col,target=label)

# WOE映射处理
# 生成WOETransformer实例
transer = toad.transform.WOETransformer()
# 训练集、验证集WOE同步转换
data_training_woe = transer.fit_transform(data_training_bins_adj, data_training_bins_adj[label], exclude=label)
data_test_woe = transer.transform(data_training_bins_adj)

# 计算特征相关性
data_training_woe_corr = data_training_woe.corr()
# 设置画布大小
plt.figure(figsize=(10,10),dpi=100)
# 绘制热力图
sns.heatmap(data=data_training_woe_corr,annot=True)

# 实施双向stepwise筛选
data_training_woe_slct_stp,drop_lst_stp = toad.selection.stepwise(data_training_woe,
                                              data_training_woe[label],
                                              intercept = True,
                                              return_drop=True)
# 查看drop的特征
drop_lst_stp
# 查看剩余特征数据
data_training_woe_slct_stp
# 保持验证集与训练集同步处理
data_test_woe_slct_stp = data_test_woe_slct[data_training_woe_slct_stp.columns]
# 更新特征列表，去除筛除的特征
fea = data_training_woe_slct_stp.columns

# 生成LR模型实例
model_lr  = LR(random_state=2022, solver='saga', penalty='l2', C=1.0, max_iter=500)
# LR模型训练
model_lr.fit(data_training_woe_slct[fea],data_training_woe[label])
# LR模型预测
y_pre_lr = model_lr.predict_proba(data_test_woe_slct[fea])[:,1]
# 查看权重值
model_lr.coef_

# 定义y_test
y_test = data_test_woe[label]
# 计算auc值
roc_auc_score(y_test,y_pre_lr)

# 绘制roc曲线
# 计算fpr_ci,tpr_ci
fpr,tpr,thresholds=roc_curve(y_test,y_pre_lr,pos_label=None,\
                                               sample_weight=None,drop_intermediate=True)
# plot
plt.figure()
plt.plot([0,1],[0,1],lw=2,linestyle='--')
plt.plot(fpr,tpr,label='ROC Curve')
plt.title('ROC Curve')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend()
plt.show()

max(tpr_ci-fpr_ci)

# 计算参数A、B的值
A = base_score + PDO * np.log(Odds)  np.log(2)
B = PDO/np.log(2)
# 定义评分卡映射函数
def scorecard(p,A,B):
    p = min(p,0.9999)
    odds = p  (1 - p)
    score = A - B * np.log(odds)
    score = max(300, score)
    score = min(1000, score)
    return score
# 评分映射
df_score = pd.DataFrame()
df_score['pre'] = y_pre_lr
df_score['score'] = df_score['pre'].apply(lambda x: scorecard(p=x,A=A,B=B))
df_score    

# 绘制评分分布图
sns.distplot(df_score['score'])