合作伙伴 | 明析数据日志分析

业务挑战

随着业务的飞速发展以及业务与IT 越来越紧密的结合，当今的信息技术需要与业务同样快速度、高可用地运行，因此业务对IT 运维的要求，已经从发现问题，及时报警逐步向分析问题，诊断故障演进。而当面对海量的IT 数据时，IT 部门却常常缺乏必要的工具和手段对数据进行分析。这样的需求催生出了IT 运营分析（IT Operation Analytics），即运用基于大数据分析的洞察力帮助IT 部门更加快速、主动、有效地处理并解决IT 难题。Gartner 在2016 年提出了AIOps 的概念，即基于算法的IT 运维（Algorithmic IT Operations）。AIOps 是ITOA 的进一步演进，简单来说，AIOps 就是希望基于各种运维数据（性能、告警、日志等），通过机器学习的方式来解决现有运维中的问题，帮助IT 人员做出故障预警或大大缩短排除故障所需的时间，整合不同形态及分散的数据，并提供关联性的洞察以便找出问题的根源。IT 运营分析所需要处理的数据类型多种多样，包括性能、日志、流量、告警、工单、配置等各种IT 运行所产生的数据，其中对于非结构化的日志数据的管理和分析正是传统IT 运维的薄弱环节。因此从日志分析着手来建立IT 运营分析的能力成为大多数企业的路径选择。

明析数据日志分析底层使用了Cloudera CDH 大数据分析服务和组件，如HDFS、Spark Streaming、Solr、Kafka 等，采用具有高度扩展性的架构设计，提供大容量、高速度、智能化的日志分析处理能力。并且借助ClouderaManager 提供的运维管理能力，使得明析大数据日志分析平台易于安装部署和管理。

应用场景

对于许多企业来说，日志是一个未经开掘的金矿。明析数据日志分析能够帮助您从日志中挖掘信息，提供价值。

应用性能监控

从应用日志中获取应用交易量、成功率、交易响应时间等应用性能数据，能够实时监控应用的可用性和性能，掌握用户的应用访问体验。基于应用日志分析的应用性能监控，是实现应用性能管（Application Performance Management, APM）的主流方式，这种方式具有非侵入性，对应用和网络无影响，易于实现的特点，被大量的金融、电信、制造业等用户广泛采用。

安全事件分析

安全事件来源庞杂，包括防火墙、VPN、IDS、IPS、DNS、网络设备、服务器等。真正有效地识别网络攻击行为，需要能够对各类安全日志进行整合和关联分析，避免淹没在海量的安全事件之中。

明析数据日志分析帮助用户分析防火墙、VPN、IDS、网络设备等各类安全相关的日志，检测网络入侵、账号破解等攻击行为。并且能够通过大数据的关联分析和智能分析技术，实现对未知威胁的有效预防。

快速定位问题

当业务应用发生问题时，IT 部门常常会充当救火队的角色，各个系统管理员、网络管理员、DBA 都常常需要登录系统查看日志，找寻问题根源，这个过程通常都是费时费力的。

通过明析数据日志分析对服务器、数据库、中间件以及应用日志的集中管理、查询和展现，能够帮助管理员在应用问题发生时能够方便地总览应用相关的各类日志，一站式查询相关日志信息，快速定位问题根源，从而加速问题的解决，降低MTTR 时间。

用户行为分析

当企业内有用户进行了非法操作的时候，常常需要追踪到具体的操作人员。当用户操作涉及一个比较长的访问链条时，相关的用户信息会分散在数据库审计、AD域控、操作系统日志、VPN 日志、IM 系统等多个数据源中，这就需要能够结合多个日志源进行关联分析。

明析数据日志分析能够从各类访问日志中分析用户对系统、数据库和应用的访问行为模式并发现异常访问行为，当发生异常操作时能够通过日志分析追踪到责任人员。

满足审计需求

各类监管机构都对IT 系统的日志审计提出了要求，2017 年正式施行的网络安全法也对日志留存有具体的要求，在这样的背景下，日志审计成为许多用户必需的能力。

基于大数据平台提供的海量存储能力，明析数据日志分析能够对各类日志实现长期、安全、可靠的集中保存，防止丢失和篡改，并且随时可以进行查询，帮助企业轻松应对审计需求。

关于明析数据

上海明析数据科技有限公司是中国领先的大数据产品和服务提供商，致力于为客户提供优秀的数据智能应用。作为Cloudera 在中国的核心合作伙伴，明析数据基于Cloudera CDH 自主研发了日志分析、智能运维和数据湖等一系列产品，同时也为制造、金融、政府、互联网、零售等数十家各行业客户提供了专业的大数据分析、咨询、架构设计、平台建设、数据治理等服务。

请点击“阅读全文”下载完整白皮书