云和恩墨 - 公安交通行业敏捷大数据平台解决方案

智能化交通的发展对数据管理与高效处理提出了新的要求。为适应新需求，公司为公安交管大数据实施提供了一套完整的一站式大数据解决方案，覆盖数据仓库、商业智能、机器学习、数据可视化等领域。方案借鉴互联网架构，引入流式处理和离线分析开源框架，在保障系统可靠性（High-Availability）和可水平扩展(Scale-Out)的基础上，助力公安交管在DT时代更敏捷、更智能、更具洞察力。

行业现状与问题

• 业务服务提出新需求： 公安部推出“放管服”改革新举措，要求核心业务系统具备简捷快办、网上通办、就近可办的连续服务形态，提高当前信息系统的数据敏捷应用和高稳定性、高连续性和高安全性成为业务导向的基础目标。
• 数据集中管控难度大： 随着各省数据集中管控模式的推广与运行，业务量与数据量剧增，导致机器故障发生概率直线上升。集中模式下数据库一旦宕机或崩溃，将影响或中断大范围的公安交管业务、甚至导致数据全盘丢失。数据集中所带来的业务连续性风险需要一套科学开放的大数据管理平台来化解，分布式架构可以提升系统稳定性、安全性、灵活性，降低数据管理成本、提高数据应用效率、降低故障率。
• 高效数据处理要求高： 信息化的快速发展带来了公安交管数据规模的几何倍增大，关键数据的抽取、转换、整合、消重、关联、应用必定会带来百亿条记录的检索、上千张表的碰撞、几百个小时的视频分析、大量的移动互联、社交媒体数据关联、实时、多维分析，对高效的数据分析处理能力和容量规模提出更高的要求。

方案优势

• 高性能： 分布式架构在进行数据处理时，一个巨大的数据处理任务将被分成许多小的任务，交由多台设备来协同完成，极大地提高了数据处理的能力，实现了海量数据的秒级查询、分钟级计算。
• 高扩展性： 采用分布式架构，随着业务的扩展，当数据的存储与计算能力不足时，只需在集群中添加节点，就可以实现性能的线性提升。
• 开放性： 采用完全开源的软件开发方式，支持五大主流x86、Power、ARM、MIPS、Alpha架构及硬件加速FPGA卡，同时基于YARN实现一体化的架构实现统一资源管理，可灵活的动态进行资源快速分配调整。