这是常见的数据科学面试问题之一，要求从头开始创建 ROC 和类似曲线，即手头没有数据。为了撰写本文，我将假设读者了解这些指标背后的含义和计算，以及它们代表什么以及如何解释它们。因此，我将重点介绍其实现方面。我们首先导入必要的库（我们也导入数学，因为该模块用于计算）   import pandas as pd import numpy as np import matplotlib.pyplot as plt import math 第一步是生成 1（坏）和 0（好）的“实际”数据，因为这将用于通过上述指标计算和比较模型准确性。在本文中，我们将从均匀分布创建“实际向量”。对于后续相关文章，我们将使用二项分布。   actual = np.random.randint(0, 2, 10000) 上述代码生成了 10,000 个属于 [0,1] 的随机整数，这是我们实际二进制类的向量。现在，我们当然需要这些实际类的另一个概率向量。通常，这些概率是机器学习模型的输出。但是，在这里我们将根据一些有用的假设随机生成它们。让我们假设底层模型是“逻辑回归模型”，因此，链接函数是逻辑或逻辑函数。 下图描述了标准逻辑函数。对于逻辑回归模型，表达式 -k(x-x_0) 被“分数”取代。“分数”是模型特征和模型参数的加权和。  因此，当“分数”= 0 时，逻辑函数必须在 Y 轴上通过 0.5。这是因为 logit(p) = log-odds(p) = log(p/(1-p)) = 0 => p = 1-p => p =0.5。还要注意，当“分数”达到高正值或高负值时，函数会渐近地移向 1（坏）或 0（好）。因此，“分数”的绝对值越高，预测概率也越高。但是我们要给什么打分呢？我们正在为“实际向量”中存在的每个数据输入打分。然后，如果我们想假设我们的基础逻辑回归模型是熟练的，即具有预测性；该模型应该为坏的和好的分配相对较高的分数。因此，坏的应该有更多的正分数（以确保预测概率接近 1），而好的应该有更多的负分数（以确保预测概率接近 0）。这被称为模型的排序。换句话说，分数之间应该有区别或分离，因此预测的坏的概率和好的概率应该是不同的。因为，我们已经看到，分数为 0 意味着好的概率 = 坏的概率 = 0.5；这意味着模型无法区分好与坏。但由于我们确实知道数据点实际上要么是好的，要么是坏的，因此，分数为 0.5 是模型可能的最差分数。这给了我们一些直觉来进入下一步。 可以使用平均值为 0、标准差为 1 的标准正态分布随机生成分数。但是，我们希望对坏品和好品的预测分数不同。我们还希望坏品的分数应该高于好品的分数。因此，我们使用标准正态分布并移动其平均值以区分好品和坏品。     # scores for bads bads = np.random.normal(0, 1, actual.sum()) + 1 # scores for goods goods = np.random.normal(0, 1, len(actual) - actual.sum()) - 1 plt.hist(bads) plt.hist(goods) 在上述代码中，我们从两个不同的标准正态分布中抽样了坏分数和好分数，但我们对它们进行了移动，以在两者之间建立分离。我们将坏分数（由图中的蓝色表示）向右移动 1，反之亦然向左移动 1。这确保了以下几点： 对于视觉效果相当好的案例，坏的分数高于好的分数 评分为差的评分所对应的正分数比例较高，评分为好的评分所对应的负分数比例较高 当然，我们可以通过增加“shift”参数并为其分配高于 1 的值来最大化这种分离。但是，在这个故事中，我们不会这样做。我们将在后续的相关故事中探讨这一点。现在，让我们看看这些分数产生的概率。     # prob for bads bads_prob = list((map(lambda x: 1/(1 + math.exp(-x)), bads))) # prob for goods goods_prob = list((map(lambda x: 1/(1 + math.exp(-x)), goods))) plt.hist(bads_prob) plt.hist(goods_prob) 如前所述，当“分数”通过逻辑函数时，我们会得到概率。很明显，坏概率（蓝色）高于好概率（橙色）（偏向 0）。 下一步是将实际值和预测值向量组合成一个数据框进行分析。我们在数据实例实际上是坏的时分配坏概率，反之亦然 # create predicted array bads = 0 goods = 0 predicted = np.zeros((10000)) for idx in range(0, len(actual)): if actual[idx] == 1: predicted[idx] = bads_prob[bads] bads += 1 else: predicted[idx] = goods_prob[goods] goods += 1 actual_df = pd.DataFrame(actual, columns=['actual']) predicted_df = pd.DataFrame(predicted, columns=['predicted']) predicted_df = pd.concat([actual_df, predicted_df], axis = 1) predicted_df = predicted_df.sort_values(['predicted'], ascending = False).reset_index() predicted_df = predicted_df.drop(columns = 'predicted') 下一步是创建箱体。这是因为我们想要生成的曲线本质上是离散的。对于每个箱体，我们累积计算所需的指标。换句话说，我们为离散随机变量（好货和坏货）生成累积分布函数。 箱子的数量是任意的（我们指定 n_bins = 50）。 注意使用 floor 函数。这是因为数据框的长度可能无法均匀地划分为 50 个 bin。因此，我们取其底数并修改代码，以便最后一个 bin（第 50 个 bin）包含额外的观测值（将小于 50）。   n_bins = 50 bin_size = math.floor(len(predicted_df) / n_bins) curve_metrics = [] 我们应该列出坏货和好货的数量以及垃圾箱尺寸以供参考 print("number of bads:", bads) print("number of goods:", goods) print("number of total data points:", len(actual)) print("bin size:", len(predicted_df) / n_bins) 坏件数量：4915 商品数量：5085 总数据点数：10000 箱子大小：200.0 接下来是 ，我们对底层指标进行实际计算 主要代码片段 for k in range(1, n_bins + 1): if k < n_bins: TP = predicted_df.loc[ : k*bin_size-1, "actual"].sum() FP = k*bin_size - TP FN = predicted_df.loc[(k*bin_size) : , "actual"].sum() TN = len(actual) - k*bin_size - FN cum_bads = predicted_df.loc[ : k*bin_size-1, "actual"].sum() cum_goods = k*bin_size - cum_bads else: TP = predicted_df.loc[ : , "actual"].sum() FP = len(actual) - TP FN = 0 TN = 0 cum_bads = bads cum_goods = goods curve_metrics.append([k, TP, FP, TN, FN, cum_bads, cum_goods]) 请注意，for 循环将从 1 运行到 n_bins，即最后会遗漏一个。因此，我们将 n_bins + 1 作为“停止值”。 对于 k = 1 到 k = n_bins-1，我们使用 bin_size 对真阳性、假阳性、假阴性、真阴性、累积 bds 和累积商品进行累积计算。 请注意，代码片段“predicted_df.loc[ : k*  。因此，我们从  *bin_size 中减去 1 bin_size-1, "actual"].sum()”将从 index = 0 运行到 index = kbin_size-1。因此，它取出等于 k bin_size 的块 k 类似地，代码片段“predicted_df.loc[(k*bin_size) : , "actual"].sum()”将从 index = k*bin_size 运行到最终索引。因此，如果 bin 的范围从 0 到 49（大小为 50），则代码片段将从 index = 50（等于 bin_size）开始运行 对于 k = n_bins，我们只需将其扩展到数据集的最终索引。其中，代码片段“predicted_df.loc[ : , "actual"].sum()”将所有坏项加起来，因为索引从 index = 0 运行到数据框的最终索引。我们也可以用“TP = bads”替换它。FN 和 TN 都为 0，因为在最后的截止点我们将所有内容指定为“坏”。因此，没有假阴性（实际坏）或真阴性（实际好）。因为，当 k = n_bins 时不存在负类。 检查累积矩阵是什么样子的很有用。     curve_metrics 请注意，对于 k = n_bins = 50，我们已经积累了所有商品（5085）和所有不良商品（4915）。 现在我们准备对所需曲线进行实际计算 curve_metrics_df = pd.DataFrame(curve_metrics, columns=["cut_off_index", "TP", "FP", "TN", "FN", "cum_bads", "cum_goods"]) curve_metrics_df["cum%bads"] = curve_metrics_df["cum_bads"] / (actual.sum()) curve_metrics_df["cum%goods"] = curve_metrics_df["cum_goods"] / (len(actual) - actual.sum()) curve_metrics_df["precision"] = curve_metrics_df["TP"] / (curve_metrics_df["TP"] + curve_metrics_df["FP"]) curve_metrics_df["recall"] = curve_metrics_df["TP"] / (curve_metrics_df["TP"] + curve_metrics_df["FN"]) curve_metrics_df["sensitivity"] = curve_metrics_df["TP"] / (curve_metrics_df["TP"] + curve_metrics_df["FN"]) # specificity is the recall on the negative class curve_metrics_df["specificity"] = curve_metrics_df["TN"] / (curve_metrics_df["TN"] + curve_metrics_df["FP"])  ROC 曲线是累积坏项（Y 轴）和累积好项（X 轴）之间的曲线 ROC 曲线是敏感度（也是累积坏点或召回率：Y 轴）和 1-特异度（X 轴）之间的曲线 准确率召回率曲线是准确率（Y 轴）和召回率（也是敏感度或累积坏处：X 轴）之间的曲线 就这样。现在我们已经拥有了绘制曲线所需的一切。     plt.plot(curve_metrics_df["cum%goods"], curve_metrics_df["cum%bads"], label ="roc curve") plt.xlabel("cum%goods") plt.ylabel("cum%bads") plt.title("ROC Curve") plt.legend() plt.show() plt.plot(1 - curve_metrics_df["specificity"], curve_metrics_df["sensitivity"], label ="sensitivity specificity curve") plt.xlabel("1 - Specificity") plt.ylabel("Sensitivity") plt.title("Sensitivity vs 1-Specificity Curve") plt.legend() plt.show() plt.plot(curve_metrics_df["recall"], curve_metrics_df["precision"], label ="precision recall curve") plt.xlabel("Precision") plt.ylabel("Recall") plt.title("Precision Recall Curve") plt.legend() plt.show() 所有曲线都证实了我们采用了高技能模型（正如我们在开始时所制定的）。这完成了从头开始创建这些曲线的任务。 值得深思的是——“当类别严重不平衡时，这些曲线会发生什么变化？”这将是下一个故事的主题。 如果您喜欢这个，那么请看看我的 。 其他故事

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

数据科学面试问题：从头开始创建 ROC 和精确召回曲线

About Author

註釋

標籤

这篇文章刊登在

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

看不见的层面：为什么用户访谈是不可替代的资产

比特币 UTXO 模型，为独特的生态系统提供动力

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

看不见的层面：为什么用户访谈是不可替代的资产

比特币 UTXO 模型，为独特的生态系统提供动力

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps