如今，组织高度依赖数据来指导其各个层面的决策过程。然而，数据生态系统日益复杂，这带来了一个挑战：我们所依赖的数据可能并不总是能说明全部事实。识别和理解数据异常的能力已成为整个企业的高管、数据专业人员和决策者的一项基本技能。
异常检测是识别组织数据中的模式和不一致之处的重要工具，这些模式和不一致之处可能预示着潜在的问题或机会。这些异常可能表现为各种形式，每种形式都会对业务运营和战略产生影响。
价值逐渐漂移是指随着时间的推移而发生的细微变化，可能预示着校准或计算问题。例如，尽管利率稳定，但银行可能会观察到零售投资组合中的净息差逐渐下降。这种异常现象可能特别隐蔽，因为它可能在很长一段时间内都未被注意到，可能会对业务绩效产生重大的累积影响。
突然分布变化是指数据模式的突然转变，可能表明上游系统或流程发生了变化。例如，一家电信公司注意到，在费率结构发生变化后，其企业客户的数据使用突然集中在非高峰时段。
这种转变可以揭示有关客户行为的重要见解或凸显商业决策的意外后果。
当有效的单个数据点以表明流程故障的方式组合时，就会出现异常值组合。例如，一家经纪公司可能会观察到高价值客户的数字参与度下降，同时保持分支机构活动。这些异常可能表明客户偏好发生变化或数字服务存在需要注意的潜在问题。
时间序列异常是指时间数据中意外出现的缺口或聚集，这可能表明数据收集或合规性存在问题。例如，高额放射科索赔聚集在标准审查窗口之外可能需要调查，这可能会发现有人试图规避审查流程，或凸显当前系统的低效率。
检测这些异常需要采用多方面的方法，结合统计方法、机器学习技术和领域专业知识。统计方法是基础，分析数据分布并根据平均值、方差和标准差等指标识别异常值。例如，Z 分数方法测量数据点在标准差方面偏离平均值的程度，有助于标记异常值。
机器学习算法对于异常检测越来越有价值，尤其是在处理复杂的高维数据集时。无监督学习技术（例如 K-Means 等聚类算法或 DBSCAN 等基于密度的方法）可以识别不符合标准模式的数据点。当有标记数据时，可以训练监督学习方法以高精度区分正常模式和异常模式。
时间序列数据通常采用专门的技术。季节性分解和自回归综合移动平均线 (ARIMA) 等方法可以对时间模式进行建模并检测与预期趋势的偏差。长短期记忆 (LSTM) 神经网络在捕捉复杂的时间依赖性和预测未来值方面表现出色，可以在实际值与预测值存在显著差异时识别异常。
虽然异常检测在整个数据管道中都很重要，但在数据出口点尤其重要。当异常数据到达高级报告或仪表板时，后果可能是立竿见影的，而且很严重，可能会导致错误的战略决策或合规性问题。出口点提供了所有相关数据流的全面视图，可以检测到在早期阶段可能不可见的细微跨系统异常。
随着组织整合来自多个来源的数据，新的挑战也随之而来。当组合来自不同领域的数据时，可能会出现语义不一致，从而暴露出含义或解释上的不匹配。合并时间序列数据时可能会出现时间异常，从而暴露出跨系统的同步问题。新颖的数据组合可能会揭示在单独考虑数据时不明显的业务规则违规行为。跨系统集成通常会发现单系统验证遗漏的数据质量问题。
为了有效地检测异常并管理数据质量，组织内需要采用涵盖域数据、联合数据和跨数据团队的协作方法。域数据团队在特定数据领域提供深厚的专业知识，而联合数据团队则充当连接器，促进域之间的数据流动和集成。跨域数据团队推动创新和控制，整合整个企业的数据并保持高质量标准。
实施强大的异常检测可以带来持续改进。组织可以根据观察到的问题改进数据收集方法，调整业务假设以反映新的理解，并更新文档以捕获学到的最佳实践。通过建立这些反馈循环，组织可以提高数据质量，提高洞察速度，有时还可以自动化决策过程。
人们正在探索诸如迁移学习和主动学习等先进方法来应对现实场景中的挑战。这些方法旨在利用现有数据集中的知识来改进新的未标记数据集中的异常检测，从而减少大量手动标记的需要。定期审核、明确的数据质量标准和自动化监控解决方案对于在动态企业环境中保持异常检测工作的有效性至关重要。
随着数据在业务运营和决策中发挥越来越重要的作用，检测和解释异常的能力成为一项关键能力。通过实施全面的异常检测策略（尤其是在数据输出点），组织可以发现隐藏的见解、防止代价高昂的错误并推动其数据生态系统的持续改进。这种方法不仅可以提高数据质量，还可以在整个企业中形成一种数据驱动的决策和创新文化。
虽然数据有时会因异常和不一致而“撒谎”，但异常检测的战略方法可以揭示企业信息中隐藏的真相。通过开发这种能力并采用一系列统计和机器学习技术，组织可以将潜在的陷阱转化为增长、效率和竞争优势的机会。
原文地址：https://www.dbta.com/BigDataQuarterly/Articles/Your-Data-is-Lying-to-You-A-Guide-to-Detecting-Information-Anomalies-168549.aspx
原文作者：Ken Stott
