暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

偶数科技介绍

原创 墨天轮 2019-09-12
3873


Oushu有三个主要产品:Lava Cloud(简称Lava),Oushu Database(简称OushuDB)与LittleBoy。


Lava Cloud

Oushu Lava是一款针对企业用户推出的提供AI与数据仓库服务的云平台,可以支持公有云(http://cloud.oushu-tech.com)与私有云(客户单独部署)。 关于Lava的文档介绍,如果标有(公有云)或者(私有云),说明该章节或者段落只适用于公有云或私有云。 内部集成Oushu Database与LittleBoy两大模块, 目前已应用于金融、公安、制造、能源等众多领域,可为客户提供强大、便捷、高性价比的数据库与 AI一站式服务。 Lava通过UI为企业提供以下服务:

集群管理:一键部署/启动/停止/删除OushuDB或者LittleBoy集群。

集群监控:监控集群的软、硬件状态以及服务运行状态。

OushuDB:OushuDB数据库对象管理,SQL执行,数据导入,数据可视化。

LittleBoy:方便快捷的训练AI模型,管理模型,通过训练好的模型进行预测。


企业微信截图_1568281821682.png


平台架构

产品分为从层次上分为三大部分:前端UI、服务端、集群内部模块。


企业微信截图_15682817598417.png


前端UI:为用户提供交互式界面,方便用户使用产品所提供的服务。包括集群管理、数据库管理、AI工作室、账单管理、用户/权限管理等界面。

服务端:包含的模块比较多,主要的Lava云平台业务逻辑与服务都在于此处。主要包括会话管理、权限控制、日志、数据存储层等通用(服务于其他模块)模块与集群管理、SQL控制台、数据导入 、数据可视化、LittleBoy、集群管理等业务模块。(OushuDB与LittleBoy本身也是一款产品,内部包含若干个子模块,此处作为Lava云平台的模块来介绍,详情请参见OushuDB与LittleBoy章节)

集群:如上图所示,无论是公有云还是私有云,云平台所管理的集群有如下几种:OushuDB集群、LittleBoy集群、HDFS集群。 OushuDB提供分布式数据仓库服务。 LittleBoy集群分为LittleBoy Server与LittleBoy训练集群,LittleBoy Server只有一个,而训练集群可以有多个,每一个LittleBoy训练集群由多个Worker组成。 LittleBoy训练集群是LittleBoy服务用来做分布式模型训练用的。 Oushu Assistant负责监控集群的状态与管理集群内部服务的部署与启停,每个集群的所有节点上,都需要部署Oushu Assistant。 OushuDB集群与LittleBoy集群可以部署在同一个集群内部,也可以分开部署,两种集群的每个节点都需要部署Oushu Assistant。

Oushu Assistant:Oushu Assistant属于Lava不可或缺的重要模块,架构如下图所示。Oushu Assistant本身有Monitor 与Master之分,所有的Monitor定时以心跳的形式发送监控信息到Master,Master汇总之后 供Lava的UI显示集群的状态。同时,Lava可以通过Master可以给Monitor发送命令,用来启停具体到某一节点的某一服务。 私有云模式下,Oushu Assistant在添加机器的时候自动部署,部署好之后的Oushu Assistant会根据Gossip协议组成一个Oushu Assistant集群,并且选举一个节点作为Master。 公有云模式下,每一个企业用户下(包括子用户)的所有的虚拟机会组成一个Oushu Assistant集群,与其他企业用户的Oushu Assistant集群隔离,其他原理跟私有云一样。


企业微信截图_15682817681218.png


产品特性

· 高易用性: 一键创建集群,一键增加、删除集群节点。

· 新一代数仓服务: 支持完整TPC-H,全新执行器,性能提升5~10倍。

· 高可扩展性: 可扩展至上万节点,让企业轻松扩容。

· 稳定性强: 支持多级容错, 24*7持续运行。

· 成本可控: 根据业务需求按实际使用量计费(公有云)。

· 人工智能服务: 支持AutoML 自动化调优。

· 完整的生态系统: 支持从数仓的建立、数据的导入、数据可视化分析、人工智能模型训练、预测等完整的端到端解决方案。



Oushu Database

基本介绍

Oushu Database是基于Apache HAWQ的新一代数据仓库(New Data Warehouse),采用了MPP和Hadoop结合的创新技术架构,高可扩展,遵循ANSI-SQL标准,具有极速执行器,提供PB级数据交互式查询能力。并且提供对主要BI工具的描述性分析支持和高级机器学习功能。 兼容Oracle,GPDB和PostgreSQL,可以轻松取代传统MPP数据仓库和其他SQL-on-Hadoop引擎。并且原生支持Kubernetes容器平台,帮助企业无缝迁移到最新的云计算平台。HAWQ已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。


Oushu Database对Apache HAWQ的增强

· 全新执行引擎,充分利用硬件的所有特性,比Apache HAWQ性能高出5-10倍

· C++可插拔外部存储

    替换JAVA PXF,性能高数倍,无需安装部署PXF额外组件,极大简化了用户安装部署和运维

    原生支持CSV/TEXT外部存储

    可以用于不同集群之间共享数据,比如数据仓库和集市之间共享及传输数据

    可以用于高速数据加载和数据导出

    可以实现高速备份和恢复

    可以实现可插拔文件系统:比如S3, Ceph等

    可以实现可插拔文件格式:比如ORC,Parquet等

    C++可插拔外部存储

· 支持ORC/TEXT/CSV作为内部表格式,支持ORC作为外部表格式 (通过C++可插拔外部存储)

· 对PaaS/CaaS云平台的原生支持

    世界上首个可以原生运行与PaaS容器平台中的MPP++分析型数据库

    支持Kubernetes集群容器编排与部署

· csv和text文件格式中对非ASCII字符串或长度大于1的字符串作为分隔符的支持

· 关键Bug fixes


主要功能

· 极速执行器: 世界上最快的执行器,比传统数仓/MPP快5-10倍,比Hadoop SQL引擎要快5-30倍。

· 公有云和私有云部署:支持亚马逊和阿里云等公有云平台,同时可以支持主流PaaS云平台(比如Kubernetes等)和Docker部署。

· 对标准的完善支持:ANSI SQL标准,OLAP扩展,标准JDBC/ODBC,比其他Hadoop SQL引擎都要完善。

· 具有非常成熟的并行优化器。优化器是并行SQL引擎的重要组成部分,对性能影响很大,尤其是对复杂查询。

· 支持ACID事务特性:这是很多现有基于Hadoop的SQL引擎做不到的,对保证数据一致性很重要。可以有效减少开发及运维人员的负担。

· 动态数据流引擎:基于UDP的高速互联网络。

· 弹性调度执行:可以根据查询大小来决定执行查询使用的节点及Segment个数。

· 支持多种分区方法及多级分区:支持List分区和Range分区。分区表对性能有很大提升作用,如果用户只想访问最近一个月的热数据,查询只需要扫描最近一个月数据所在分区。

· 支持多种压缩方法:snappy,gzip,RLE等。

· 多种存储过程语言支持:python, c/c++, perl等。

· 动态扩容:动态按需扩容,按照存储大小或者计算需求,秒级添加节点。

· 多级资源和负载管理:和外部资源管理器YARN集成;可以管理CPU,Memory资源等;支持多级资源队列;具有方便的DDL管理接口。

· 支持访问任何HDFS及其他系统的数据:各种HDFS格式(文本,ORC等等)以及其他外部系统(Hive等),并且用户自己可以开发插件来访问新的数据源。

· 原生的机器学习数据挖掘库MADLib支持:易于使用及高性能。

· 与Hadoop系统无缝集成:存储、资源、安装部署、数据格式和访问等。

· 完善的安全及权限管理:kerberos;数据库,表等各个级别的授权管理。

· 支持多种第三方工具:比如Tableau,SAS,较新的Apache Zeppelin等。



LittleBoy


Oushu LittleBoy是一个通用的人工智能建模平台,可以帮助企业级用户轻松实现人工智能落地。Oushu LittleBoy可通过内置的AutoML从上亿个模型中自动挑选出优化的模型,让用户在不了解算法原理的情况下自动选出最佳配置并训练出模型,提升业务效率。 随着数据重要性的日益凸显,人工分析决策已无法解决企业面对海量数据时的决策难题,同时,企业若想通过自己组建专家团队从零开始打造人工智能系统也将花费巨资。因此,第三方的人工智能系统就成为了很多企业的不二之选。偶数科技以OushuDB In-Database AI团队为基础,组建了人工智能团队,开发出的LittleBoy不仅打通了数据仓库产品,同时大大降低了业务人员、数据分析人员使用人工智能系统的门槛。非人工智能专业出身的人员可以通过LittleBoy内置的经过行业优化过的模板,简单的配置即可轻松构建人工智能业务模型。


平台架构


企业微信截图_15682814057226.png


上图是一个典型LittleBoy集群。LittleBoy Sever是系统portal,在一个进程里对外提供html网页和REST API的访问,以及AI模型的预测服务;一个或多个Train Node节点(物理机或虚拟机)构成模型训练集群,其节点数量可由用户根据资源情况和训练任务的特点指定。

训练节点间、训练节点和LittleBoy Server间通过REST API通信。当指定一个训练节点时模型训练将在单节点模式下运行,而多节点分布式训练模式下各训练节点会自动进行不同角色的分工,主要角色有参数服务器PS,模型评估Evaluator,模型训练Workers。在训练过程中Evaluator会实时对训练中的模型进行评估并向用户界面输出模型收敛情况,训练完成后选择得分最高的模型写入HDSF保存,用户根据需求选择上线、下线模型到Model Serving里对外提供数据预测服务。

在公有云部署模式下,训练集群动态创建,训练完成后集群将自动删除以实现资源的合理利用。


产品特性

易用性强, 用户不需要专业背景就可轻松和LittleBoy交互 解决人工智能难题

自动调优, AutoML自动选出优化模型 无需深入理解算法原理 系统可以帮您选出最佳配置

深度集成OushuDB 大大提高数据读写速度,为人工智能运算赋能助力,提高模型训练及优化效率

准确性高 ,支持深度学习等 高级机器学习方法

行业应用广泛,可应用到金融、公安、电信、能源、制造等多个行业,帮助企业在AI时代成功转型


最后修改时间:2019-10-10 11:16:15
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论