文末有礼｜玩家去哪儿了？解码Data+AI如何助力游戏日志智能分析

阿里云瑶池数据库 2024-11-15

308

导语

本文为数据库「拥抱Data+AI」系列连载第2篇，该系列是阿里云瑶池数据库面向各行业Data+AI应用场景，基于真实客户案例&最佳实践，展示Data+AI行业解决方案的连载文章。

本文将详细探讨如何利用阿里云Data+AI解决方案来应对游戏行业挑战，并借助AI为游戏行业注入新的活力。

往期内容推荐：

《大咖说｜Data+AI：企业智能化转型的核心驱动力》

《如何破解电商7大挑战？DMS+AnalyticDB助力企业智能决策》

行业趋势

随着互联网游戏行业的迅猛发展，数据量也在急剧增加。这种增长不仅是因为玩家数量的增多和在线时间的增长，还归因于游戏内集成的丰富数据驱动型功能，如个性化推荐、动态难度调整、虚拟经济系统、实时多人互动以及行为追踪分析等。这些功能提升了玩家的游戏体验，但同时也要求处理和存储更多的数据，给管理和成本带来了新的挑战。

尽管海量的数据带来了挑战，但也蕴藏着巨大的价值与机会。除了支持游戏内的各种数据驱动功能外，游戏公司还能通过数据分析更深刻地理解用户的行为和偏好，从而优化游戏设计，提升用户体验，并通过精准营销增加收入。对数据进行更深入的挖掘，企业还可以识别出影响用户留存的关键因素，找到提高用户参与度的最佳策略，并预测未来的市场趋势和用户行为，进而增强产品的竞争力和市场影响力。

面对由海量数据带来的挑战与机遇，如何聚焦于关键数据类型，解决管理与技术上的难题，并持续高效地发掘数据的价值，成为了游戏企业关注的重点问题。本文将详细探讨如何利用阿里云Data+AI解决方案来应对这些挑战，并借助AI为游戏行业注入新的活力。

技术挑战

在游戏行业产生的海量数据中，日志类数据扮演着至关重要的角色。日志类数据记录了玩家行为、游戏运行状态及系统性能等关键信息。这类数据通常包括游戏玩家登录与退出时间、游戏角色的成长轨迹（如等级提升）、虚拟物品交易详情、玩家间的互动记录（如聊天或组队）以及游戏内发生的各种事件（如任务完成情况）。此外，还包括了技术侧采集的数据，如服务器响应时间、网络延迟状况等，这些数据可以被广泛应用到用户分析体验、产品功能优化、潜在问题识别、运营策略制定等。

随着日志数据量的激增和分析需求的提升，用户需要在性能和成本中做出平衡，寻求更优质的高性价比解决方案。在某头部游戏客户的日志分析场景中，面临以下挑战：

数据存储成本高：在玩家的投诉判定、审计合规等场景中，都可能需要进行日志的回溯，所以游戏产生的日志数据需要全量存储，存储成本随之增加。
实时查询性能提升：为了及时响应突发问题，需要从海量日志数据中快速处理和分析，分析性能需要有保障。
数据开源开放：游戏企业内部存在多个业务团队，不同业务团队使用的分析引擎可能是不同的，一份全量日志的存储，需要支持上层多种计算引擎访问。
结合AI增强数据洞察力：传统BI分析侧重历史数据的汇总和展示，可帮助决策者了解过去一段时间的业务表现，但不具备预测能力，通常依赖业务方经验来进行未来趋势的判断；结合AI进行预测，能有效提升预测准确性，在游戏行业中，常见的有用户行为预测、付费用户预测、付费金额预测、玩家流失预测等。

阿里云 Data+AI 解决方案

阿里云瑶池数据库提供“DMS+X：统一、开放、多模的Data+AI数据管理服务”。该平台简化了数据管理与AI开发，实现DMS+X一站式的Data+AI全生命周期管理。在DMS+X之上，阿里云将助力企业数据以最快的速度拥抱AI，落地业务，产生价值。

针对游戏行业的以上问题，阿里云瑶池数据库DMS+AnalyticDB MySQL（以下简称ADB MySQL）提供了解决方案。

日志数据实时接入

游戏日志低成本归档

阿里云日志服务（SLS）常用来做应用端游戏日志的采集，下游可再接入分析类引擎做进一步的处理和查询。阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL，提供SLS/Kafka日志类数据实时接入内部仓存储/湖存储的能力，自动生成元数据，数据直接可查，简单易用的白屏化操作，用户可按需选择目标端存储，游戏全量日志可选择入湖，以开源Iceberg格式写入到内部湖存储，同步性能可达每秒GB级吞吐，数据可见延迟小于5min，存储成本低（与OSS对齐），并提供湖管理功能，包含数据文件合并、生命周期管理、缓存设置等，有效降低存储成本，提升湖查询性能。

日志数据高效查询

ADB MySQL有两类计算引擎，分别是自研的XIHE引擎和开源的Spark引擎，用户可根据实际需求和场景，选择不同的引擎来进行数据处理和分析。基于ADB湖表，通过缓存层进行查询预热，可满足大部分秒级/分钟级耗时诉求；用户也可选择创建仓表，来实现亚秒级的实时分析。

日志数据开源开放

ADB湖存储的数据格式为开源Iceberg + Parquet，提供HMS和OSS/HDFS开放接口，外部计算引擎可直接访问数据；同时湖存储和实例不强绑定，不同的湖存储Bucket可挂载到不同的实例，实现数据共享。

AI场景落地

除了BI分析场景以外，存储在ADB MySQL中的日志数据，可通过DMS+AnalyticDB 一站式实现数据特征处理、模型训练、评估及预测，落地AI模型应用。在ADB MySQL中仅通过SQL语句即可完成端到端的数据处理和模型开发，支持通过SQL来导入和训练模型，也支持调用远程推理服务；同时ADB MySQL提供全托管的AI资源服务，用户无需关心底层资源部署，专注业务应用开发。

以下为模型创建和预测的SQL语法示例：

/* 创建模型 */
create model bstdemo.bst 
options (
  model_type='xx',
  feature_cols=(event_list),
  target_cols=(target),
  hyperparameters = (
    use_best_ckpt = 'False',
    early_stopping_patience='0'
  )
)as select event_list, target from bstdemo.test;
/* 使用普通函数实现模型预测 */
SELECT ml_predict(
  '[db.]model_name:v2',  -- 模型名称&版本
  ['{options}'|NULL],  -- 一些可能的额外配置，例如攒批大小，没有可以为null
  -- 后面是要传递给模型的列，可以是任意合法的project表达式，不定长
  <column_name1>,
  ...,
) as col_name FROM event_table;

结合DMS构建完整Data+AI方案，可进一步实现数据处理链路和模型训练链路一体化的编排调度，从数据接入，处理到模型训练，上线和推理实现全自动周期运行。通过模型中心统一管理AI核心资产，包括模型的效果展示，模型组和模型版本管理。支持模型部署和回滚，模型可以发布为在线推理服务，衔接大模型工具链统一编排实现智能应用体落地。整套方案提供数据资产的全粒度权限管理，支持私有部署在客户VPC环境，数据和模型不出域，实现全套方案的数据安全，有效保护客户隐私。

使用DMS+AnalyticDB MySQL游戏日志场景的AI平台，提供AI节点资源，内置算法模型，可通过DMS界面进行模型开发，用户无需自行搭建机器学习平台，有效降低开发成本。

以某头部游戏客户实际落地效果为例，在玩家流失预测和玩家付费预测场景中，模型效果F1 Score均从40%提升到70%+。