暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

重磅!通用数据生成平台正式开源!

大数据技能圈 2025-03-10
206

各位朋友们好!

昨天给大家介绍了模拟数据生产平台,我收到了许多朋友的留言,希望能够开源这个通用数据生成平台。经过一天的准备,今天我非常高兴地宣布:通用数据生成平台正式开源了!

为什么要开发这个工具?

作为开发人员,我们经常面临这样的困境:需要大量测试数据,但又不想使用生产环境的真实数据(涉及隐私问题),手动创建又费时费力。特别是在以下场景中:
  • 需要进行性能测试,但缺乏足够的测试数据
  • 开发新功能时需要模拟各种数据场景
  • 演示系统时需要展示真实的数据
  • 效果数据分析和报表开发需要各种数据分布
为了解决这些问题,我开发了这个通用数据生成平台。

它能做什么?

通用数据生成平台是一个灵活且强大的工具,用于生成模拟数据并支持多种数据源。该工具可以帮助开发人员、测试人员和数据分析师快速生成符合特定业务场景的测试数据。
目前版本已经支持MySQL和Kafka数据源,未来还将支持更多数据源。
核心功能亮点:
1 多数据源支持:目前支持MySQL和Kafka,未来将支持Oracle、PostgreSQL等更多数据源
2 灵活的数据生成规则:支持选择指定数据库的所有表或部分表内置多种数据类型生成器(数值、字符串、日期时间、JSON等)支持表间关联关系和外键约束
3 智能的数据输出控制:多种写入模式:覆盖、追加、更新批量控制:可配置批量大小、频率和并发数
4 强大的任务管理:支持创建多个数据生成任务支持任务调度、暂停/恢复实时监控数据生成进度
开源地址
项目已经在GitHub/Gitee上开源,欢迎大家star、fork:
GitHub地址:https://github.com/Mrkuhuo/data-generator
Gitee地址:https://gitee.com/wzylzjtn/data-generator
期待您的参与反馈
如果您在使用过程中遇到任何问题,或者有任何建议,欢迎在GitHub上提交Issue或直接联系我。希望这个工具能够为大家的开发工作带来便利。
关注本公众号,获取更多技术干货和项目更新!

欢迎添加作者交流      /    加入星球获取开发教程

        

推荐阅读系列文章

文章转载自大数据技能圈,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论