随着云时代的来临，大数据也吸引了人们越来越多的关注。对企业而言，大数据（Big Data）代表着由各类系统运行数据和业务数据组成的海量非结构化和半结构化内容，如果将它们引入到传统的关系型数据库进行分析，那么无论从资源消耗上还是分析效率上都不是最优方案。
正是在这一背景之下，海天起点公司推出了“海天大数据管理平台”，帮助企业用户尽早进入智能大数据分析时代，充分发挥大数据的价值，为企业数字化转型保驾护航。
海天大数据管理平台能够全面采集各类数据，经过算法实时处理，只需要简单的操作就可以得到丰富的分析图表，不再需要复杂的建模和代码编写过程，数据实时更新、秒级响应，让大数据分析达到前所未有的灵活、简单。
一、成熟先进的技术架构：
数据采集对象包括业务数据、日志，各类服务指标以及服务状态，计算、网络、存储等基础资源的使用情况。数据采集服务采用分布式架构，能实现数据实时采集，从容应对高并发、高流量，兼容所有常见数据及日志的格式、协议。
数据融合负责对数据进行建模、索引以及永久储存，消息队列为日志数据的采集入库提供缓存服务，同时还提供了日志审计平台统一的数据总线。组成如下图：
数据存储过程中会自动完成建模以及全文索引的工作。数据解析一般按照正则或特殊协议格式进行，解析后转为结构化、半结构化数据，进入文档数据库进行归档。文档数据库采用分布式、多副本的机制保证数据的读写性能与可用性，可以灵活扩展。
数据分析引擎进一步利用解析后的数据进行挖掘、分析，提供诸多的核心功能。组成如下图所示：
搜索统计服务可以提供实时、分布式的搜索，也可以完成历史搜索，包括基础搜索和高级搜索（APL，Analysis Processing Language）两部分。支持多种函数如sort、where、head、tail、stats、eval等，可以将查询到的结果进行字段过滤、导出，提供海量数据中近实时的处理速度（秒级），以及可视化的结果展现。
统计分析模块则包括了日志聚合、数据透视、指标分析、多维分析等常用分析模型。
二、丰富的输出类型：
支持多种图表模型，例如指标卡、计量图、折线图、柱状图、条形图、饼图；
支持在界面上调整时间范围和数据源，以精准选择查找范围，生成报告图表；
支持所见即所得的PDF输出。
三、完善的配套功能：
灵活设置用户、角色和用户组；
自定义仪表板、数据沙盘、首页；
自定义数据源；
自定义收集器；
自定义解析器、解析规则（支持正则、JSON、KV、GeoIP、CSV等多种方式）；
自定义邮件告警服务、短信服务；
自定义脱敏规则。
四、广泛的应用场景：
海天大数据管理平台有广泛的应用场景，包括但不限于：
1. 自动化运维：
实时展示系统各项运行指标，锁定故障与瓶颈；
分析各项性能趋势、资源占用趋势；
分析系统相关日志（数据库、中间件、业务）中出现的告警和错误信息，分析关联关系，给出趋势分析和维护建议；
通过设置用户、权限、脱敏规则，有效保证信息安全。
2. 信息安全审计及合规性报告：
通过对不同数据源的合规要求关键指标配置规则，生成合规性报告；
灵活配置报告触发的不同周期、计划，定时完成报告发送任务；
对历史报告进行归档、留存，方便后续查找与调取。
3. 商业分析：
通过拆解商业逻辑分解出显性和隐性指标，自定义查询分析条件进行检索展示，为后续优化商业过程提供依据；
4. 工业数据和物联网：
检索分析设备日志，快速准确地查找出有价值的数据；
自定义仪表盘，用可视化图表的方式清晰明了地展现关注点的详细信息；
采集和展示各类目标信息，以及目标信息的趋势分析与对比分析。
总体而言，海天大数据管理平台支持来自应用、操作系统、数据库、中间件、网络安全、社交媒体和云服务等渠道的各类数据处理，从事件发生到响应，系统秒级返回事件统计信息，实时监控设备及指标状态。从数据采集、存储、查询、分析再到展示输出，提供完整解决方案，保障数据应用与企业业务无缝集成，不再需要工程师从零开始键入代码，自动并行既有工具，实现为工程师减负，为企业赋能。
原创文章，版权归本文作者所有，如需转载或合作，请务必联系我们
欢迎咨询海天起点技术专家
免费热线：800-810-3650 400-810-3650
喜欢本文请长按下方的二维码订阅海天起点
