暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

大数据聚合平台解决方案

CTO老王 2017-06-29
262

1  前言

1.1背景

(1)全国有很多大数据的中心,如同一大堆数据孤岛,散乱,没有纽带连接

目前全国有很多大数据中心,如阿里、京东、亚马逊等大型的互联网企业均有自己独立的大数据中心,每一个数据中心都相对独立,没有一个统一的数据索引平台,将数据服务集中展示。

(2)服务是封闭的,能力无法预估与检测

每一个大数据中心的数据都是封闭的,外部并不知道他们具备怎么样的数据服务能力,也不知道如何使用他们的数据,这样使得数据没有被高效利用;

(3) 技术、环境等因素的限制,各个数据孤岛的数据服务质量得不到保证

每个数据孤岛都有各自的数据管理标准与规范,没有一个统一的制度、标准来约束、

衡量,这样使得每一个孤岛的数据质量参差不齐,造成服务不能直接使用,需要二次或者多次转化,加大使用成本。

1.2目的

(1) 高重度整合数据服务,形成数据服务应用分发平台

(2)通过建立数据索引机制,来开放这些数据的状态和访问的引导地址
(3) 创新一个安全网络协议(数据管道),在授信之后可以使用地址之下的数据
(4) 管道可以合并,形成虚拟的合集,对最终应用应该透明,形成所谓的云数据

1.3适用范围

软件数据服务

1.4使用对象

所有使用、开发数据服务群体

1.5相关资料

1.6词汇表

   <列举本文中需要说明的名词,这些名词可能是专有名词、新出现的名词、或者如果不明确统一会导致研发理解混乱的名词>

词汇名称

词汇说明

数据索引

对数据库重的服务进行一定关系的排序,可快速定位服务,具有唯一性

数据管道

数据交流的通道,可进行传送或获取数据

 

2  需求分析

2.1产品现状

属于新产品研发

2.2用户需求

  1. 1.能够有一个统一的渠道或者来源地提供他们所需要的服务

  2. 2.服务种类具有针对性,服务内容丰富

  3. 3.开放自有服务,获取外平台服务,实现数据服务共享

  4. 2.3解决方案

                             


将系统根据功能角色分为:服务层(服务宿主)、逻辑控制层、数据应用层

服务层实现各个企业数据的来源、数据服务能力的执行与实现;

逻辑控制层实现平台数据的管理,包括合约管理、平台规范管理、数据索引管理、服务追溯管理等;

应用层实现数据服务的应用,包括服务展示、服务搜索、服务体验、服务授权、服务购买等。

2.4设计原则

  


产品设计的四大理念:统一数据孤岛、标准化数据索引、企业数据安全授信、操作追溯可控。

产品设计八大方针:合约、规范、追溯、总线、安全、授信、编排、搜索。

通过制定平台合约、规范数据索引、服务追溯可控、基于一条服务总线、数据安全、服务授信、内容编排以及功能搜索八大方针,贯彻实现我们的四大产品理念。

2.5总体设计方案

贵数云平台连接各个数据中心孤岛与用户。

数据中心孤岛提供丰富的数据服务,将数据服务地址、服务内容等信息发布到贵数云平台。

贵数云平台通过创建规范的数据索引,形成有效的数据管道,通过服务授信的方式将数据中心孤岛的服务信息进行系统管理,对各个企业的数据服务进行编排传递到pc应用层,展示给用户。

用户浏览pc端展示的应用服务,可进行服务搜索、服务体验、服务购买等操作。

2.5.1功能设计模块和项目(产品)需求对应关系

<总体方案划分为功能模块后,对应的产品或者项目需求的对应关系表,可以让读者一目了然看到针对某个需求的技术设计方案,有利于后续项目的任务分派和工作范围核实

需求编号

需求内容

对应的设计模块

设计内容描述

备注

FWLY01

服务来源

发布服务

实现服务发布


服务管理

实现服务的创建、发布、查看、修改等


订单管理

查看服务订单情况


消息查看

查阅系统消息


FWHT

服务后台

规范管理

管理服务信息、编排服务、追溯服务、


会员管理

对服务提供商、服务消费者的信息管理


服务管理

包括服务编排、服务索引创建等


订单管理

服务消费记录


监控

服务生命周期、服务数据报表等


追溯管理

服务返回码追溯


FWYY

服务应用

用户注册/登录

会员注册信息、会员资质管理


服务展示

展示服务信息


服务检索

提供服务搜索功能


服务体验服务购买

在线检测服务质量


用户管理

消费者信息及订单等用户管理


售后服务

包括帮助中心\在线咨询\留言板等


 

 

 

2.5.2总体功能流程图及框架图

2.5.3总体功能流程图及框架图说明

企业数据中心与贵数云平台签订合约,成为平台的服务提供商,进行发布服务操作。服务发布后,贵数云平台对于服务信息进行审核,将审核结果告知服务提供商。审核通过的服务信息将保存到数据集市,创建数据索引,审核不通过的服务,企业服务商可重新修改或删除,结束操作。

平台将发布成功的数据建立规范索引,且对服务按照一定的原状进行编排,展示到pc端。此外平台制定平台操作标准准则(包括平台协议、服务发布规则、使用规则等)、服务管理(包括服务的创建信息、生命周期、服务明细、服务的使用情况、追溯管理、监控管理、服务编排等)、会员信息管理(包括服务提供商、服务消费者),包括他们的用户信息、他们的服务销售/消费信息等;

   用户注册账号,成为平台的会员。对于平台展示的服务,可进行服务搜索、服务体验、服务授权、服务购买等操作。系统记录会员的授权信息、购买信息,并展示给消费者查看。

2.5.4各个模块之间输入输出关系

服务层提供服务来源;

平台进行系统控制,提供服务展示、服务管理等功能;

应用层展示服务信息,消费者提交服务购买信息。

2.6子模块方案详述

服务提供层、系统控制层、服务应用层的功能介绍及描述

2.6.1子模块功能流程图及功能描述

(一)服务来源层模块

包括服务提供商的资质信息、服务发布信息、服务订单信息、系统消息查阅。

(二)系统控制层模块

主要包括规范管理、会员管理、服务管理、订单管理、监控管理、追溯管理

(三)应用层模块

主要功能包括:用户注册/登录、服务展示、服务检索、服务体验、服务购买、用户管理(包括用户注册信息查看、用户基本信息维护及查看、订单管理)、售后服务。

2.7技术风险

<描述本设计可能存在的技术风险,包括技术成果是否好验证,是否会对产品稳定性造成影响,该技术采用后,研发投入、测试投入、生产投入、维护投入是否会加大,或者时间周期度长等>

序号

风险分类

风险

风险描述

风险等级





(高、中、低)











3  阐述产品解决方案的优势

产品优势

 

技术优势

4  约束条件

前置约束条件:

  确保数据服务来源,即找到合作的服务提供商

  消费者购买服务

后置约束条件:

  数据服务商成功创建服务

  消费者成功购买服务

5  技术建议

<此处表述建议的项目开发模式,如是否外包、采购或自行开发>

 

6  客户案例

名称                             

内容                               

属性        

说明                        

SUP

消息查阅

公用


EDI

注册\登录服务

公用






7  附录

 


文章转载自CTO老王,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论