7、机器学习项目中的数据处理与探索

机器学习项目中的数据处理与探索

在机器学习项目中，数据处理和探索是至关重要的环节。下面将详细介绍数据处理和探索的相关内容。

数据问题分析

在处理数据时，我们会遇到一些问题，需要对其进行分析和处理。
1.数据计算方式：虽然这不一定是问题，但我们应该尝试理解数据是如何计算的。
2.数据上限问题：住房中位年龄和中位房价被设定了上限。由于中位房价是目标属性，这可能是一个严重的问题，机器学习算法可能会学习到价格不会超过这个上限。我们需要与客户团队沟通，确认这是否是一个问题。如果他们需要对超过 50 万美元的房价进行精确预测，我们有两个选择：
- 收集标签被设限地区的正确标签。
- 从训练集和测试集中移除这些地区，因为如果系统预测超过 50 万美元的值，不应该因此被评估为表现不佳。
3.属性尺度差异：不同属性的尺度差异很大，这在后续特征缩放部分会进行讨论。
4.长尾分布问题：许多直方图呈现长尾分布，即中位数右侧的延伸比左侧远得多。这可能会使一些机器学习算法难以检测到模式，后续我们会尝试对这些属性进行转换，使其分布更接近钟形。

创建测试集

在深入分析数据之前，我们需要创建一个测试集并将其搁置，避免查看。这是因为我们的大脑是强大的模式检测系统，查看测试集可能会导致数据窥探偏差，使我们选择特定的机器学习模型，从而高估系统的泛化能力。

随机抽样方法

创建测试集理论上很简单，随机选择一部分实例，通常是数据集的