暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

易鲸捷数据库 EsgynDB 流式处理

易鲸捷 2019-11-07
756

Zero Latency 公司实现了梦寐以求的愿景:实时处理高速捕捉的数据。数据批处理 导致的延迟已不能被接受,许多应用程序使用流式编程模型(而不是批处理)处理 注入的数据。流式处理包括两方面:一方面,保存注入的数据;另一方面,如果数 据注入速度很快,处理前无法保存数据,必须进行实时处理。

HBase 擅长高速数据写入,很适合被 EsgynDB 使用,用于处理运营型工作负载。因 此,EsgynDB 能满足高速注入 Big Data 的需求,并提供全面的 ACID 支持。

Kafka 作为一种缓冲,能避免大数据系统因为数据注入的瞬时增大而导致系统崩溃, 这在数据实时入库保存或实时分析的场景下均可能出现。为了更好地保存并简化数 据注入,EsgynDB 与 Kafka 进行集成。该集成采用了 EsgynDB 的 Table UDF,能流 式地处理复杂场景或进行分析,同时,它还能利用引擎的所有 SQL 能力。

数据导入进 HBase memstore 或内存,EsgynDB 数据注入速度约为 74μs/行。任何需 要访问数据的查询均能实现立即访问。只有那些能在 100μs 或 0.1ms 内处理数据的 应用程序将先处理数据,再保存数据(如需要)。另外,Netflix 每天通过 3000 多 个代理的 24 个集群获取 7000 亿条信息(=370μs/信息);LinkedIn 通过 1100 个代 理传输 1300 万条信息/秒(=85μs/信息);Facebook Messenger 和 WhatsApp 每天处 理 600 亿条信息。

数据导入进 HBase memstore 或内存,EsgynDB 数据注入速度约为 74μs/行。任何需 要访问数据的查询均能实现立即访问。只有那些能在 100μs 或 0.1ms 内处理数据的 应用程序将先处理数据,再保存数据(如需要)。另外,Netflix 每天通过 3000 多 个代理的 24 个集群获取 7000 亿条信息(=370μs/信息);LinkedIn 通过 1100 个代 理传输 1300 万条信息/秒(=85μs/信息);Facebook Messenger 和 WhatsApp 每天处 理 600 亿条信息。

作为通用参考,EsgynDB 的流式数据注入速度约为 50,000 行/秒/节点,bulk load 数 据注入速度约为 100,000 行/秒/节点。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论