4位技术人揭秘京东大数据

168大数据CDO研习社 2015-12-19

343

2015年12月10日至12日， 2015中国大数据技术大会在北京盛大开幕。京东受邀参加，多位技术专家就大规模内存数据库、实时数据平台、大数据在广告中的应用、京东大数据生态等话题进行了分享，全面展示大数据技术研究和应用成果，显示出京东通过业务和技术双驱动的强劲竞争力。

京东云平台总架构师、系统技术部负责人刘海锋在大会上主要针对大规模的以内存为中心的新型数据库——JIMDB，包括它过去两年的历程、技术脉络以及是怎么支撑起京东的电商业务进行了演讲。

JIMDB的全称为Jingdong In-Memory Database，是一种新型的以内存为中心的全托管、全管理服务化的数据库，主要针对灵活类型、半结构化数据的快速存取访问。JIMDB最早基于Redis，但京东团队对它进行了持续的改进与重新实现。

目前，JIMDB已能满足电商业务所需要的自动故障切换、在线弹性扩展、灵活复制与全自动化运维等需求，在生产环境达到数千机器、数万容器实例的大规模应用，支撑了京东海量的在线业务。

刘海峰透露，京东未来还将从专署集群过渡到聚合各个IDC的RAM资源，聚合整个RAM资源，让数据动态流动、降低整体硬件成本。他认为，“内存是存储的未来”一定是趋势所在。

京东大数据平台研发负责人刘彦伟做了题为《京东实时数据平台的实现和应用》的主题演讲。他表示，京东希望通过打造一个优秀的大数据基础平台，降低京东大数据消费的门槛，让更多的人能够玩转大数据，让每个人都成为大数据的专家。

在演讲中刘彦伟分享，整个京东大数据平台分两部分，一部分是离线的数据平台，一部分是实时的数据平台。2014年之前京东还是离线的数据处理为主。2014年之后，不论是业务上还是技术上，对实时的要求越来越迫切，因此京东打造了实时数据平台。

京东大数据平台通过技术解决了三大难题：第一数据接入的问题，第二数据存储的问题，第三数据计算的问题。在京东首页“猜你喜欢”的模块，就是基于离线的用户画像、商品画像并结合用户的实时浏览行为，经过复杂的实时推荐算法提供的。在站外的广告位，也会基于实时的模式打造个性化推荐。而在对商家服务的京东数据罗盘中，为商家提供的数据决策支持系统也是一个典型应用。商家可以看到实时的订单、用户、浏览等营销数据，帮助商家提升自己的运营效率、效果。

京东数字营销大数据高级总监万昊发表了《大数据技术在京东广告中的应用》的主题演讲，分享了京东在广告上大数据的实践，并提出通过大数据的机器学习确保三赢。

万昊认为最重要的是，大数据仅仅是数据量大并不能一定保证有效果，最重要的是对数据的洞察。那什么是洞察呢？他认为有点以果为因的意思，最终有效果的是洞察，没有效果的就仅仅是大。

另外，广告中最重要的大数据应用就是定向，所谓定向就是广告主到底想把广告给什么样的人展示出来。最后一点最重要的是京东怎么保证用户买到他想要的东西，他在京东上买的东西总额提升，用户买到了他想买的东西，广告商也推广了自己的产品，也卖出了自己的东西，京东帮助用户选到了心仪的商品，同时也从广告商那收到了广告费，达到三赢的状态。

京东集团云平台数据首席架构师杜宇甫发表了题为《构建大数据生态环境》的主题演讲，他的演讲内容包括大数据怎么来、用什么样的技术做大数据以及大数据生态的思考。

杜宇甫将大数据生态分为：数据收集、数据存储、数据建模和分析、数据应用五个阶段。五个阶段环环相扣，让数据在生态中进行自主运转。

数据市场通过建立数据提供方和数据需求方交易平台，让双方实现对数据的最大价值利用，以此来构建数据交易生态；数据的交易和增值，开放和共享不仅给企业自身带来价值，同时也会为其他的企业和整个社会带来积极的影响。

京东可以为用户提供了咨询服务、数据专家、数据分析能力、数据开放支持、数据增值服务等全业务线解决方案。在服务客户的基础上建设了数据云生态，包含了数据采集、数据分析（离线、实时、流式）、数据集成、数据交易平台等。

京东的精彩分享引发了大数据技术大会与会者的强烈关注，也成为现场互动最为热烈的几个场次。业界人士认为，京东的大数据技术分享务实而前瞻，体现了京东在电商技术和大数据应用领域的行业领袖地位以及技术对推动京东高速成长的显著贡献，其对先进技术的应用和紧贴业务发展的实践为行业提供了非常有价值的参考，对提升互联网行业大数据应用水平起到了推动作用。

大数据

文章转载自168大数据CDO研习社，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

4位技术人揭秘京东大数据

评论