暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

优炫软件异构关系数据库一键迁移工具项目被评2024中国互联网发展创新与投资大赛(开源)优秀奖!

优炫软件 2024-11-26
179

2024年11月21日,在2024世界互联网大会乌镇峰会互联网公益慈善论坛上,2024中国互联网发展创新与投资大赛(开源)圆满落幕。此次大赛是“中国互联网发展创新与投资大赛”品牌公益项目的系列赛事,是在中央网信办信息化发展局指导下,由中国互联网发展基金会、中国网络空间研究院、中国互联网投资基金联合举办的第二届全国开源公益性赛事。大赛历经初赛遴选、代码成分分析和决赛现场评审等多个环节,获奖项目覆盖Risc-V、操作系统、数据库、云计算、大数据、人工智能、供应链安全等领域,部分参赛项目达到国际先进水平。其中,优炫数据库-异构关系数据库一键迁移工具项目在“2024中国互联网发展创新与投资大赛(开源)”中,被评为优秀奖!


“2024中国互联网发展创新与投资大赛(开源)-优秀奖



异构数据库一键迁移工具


异构数据库一键迁移工具是在UXSync工具基础上,由优炫软件自主研发,由核心研发团队共同打造的一款实用新型工具。此次汇报评选由专业团队前期精心准备工作,幕后支持工作,都付出了极大努力与汗水!项目汇报分为以下四项:申报材料规范性、项目开源合规性、项目技术创新性、项目持续发展性。


项目代码自研比例,使用Statistic代码分析工具对项目的代码进行了全面审查,排除了所有外部库、框架和第三方组件的代码,只计算项目团队自主开发的代码。



项目对4个方面进行和自主设计及实现:


1. 源库数据抽取逻辑,包括抽取方式及性能优化

2. 源库对异构目标库的元数据类型映射及转换逻辑

3. 源库到目标库元数据对象依赖分析执行排序逻辑

4. 目标库数据加载与源库数据读取进行读写分离的逻辑



项目技术创新性



项目技术创新性


代码安全:代码审计与自动化安全测试


采用自动化和手工相结合的代码审计方式,集成自动化安全测试工具,如静态代码分析工具、动态代码分析工具等,对代码进行全面的安全测试



设计理念



1. 工具需要具备良好的通用性和兼容性,以应对不同数据源和目标系统之间的差异


2. 提高数据迁移的效率,减少人工干预,实现迁移过程的自动化。这有助于降低迁移成本,缩短迁移周期,并减少人为错误的风险


3. 确保数据在迁移过程中的安全性和完整性,防止数据泄露、丢失或损坏。同时,工具应具备容错和恢复机制,以应对可能出现的迁移失败情况


4. 考虑未来可能的需求变化和技术发展,设计具有可扩展性和可定制性的迁移工具。这有助于满足不同用户的特定需求,并适应不断变化的技术环境



技术架构



本工具由前端用户界面,后端服务组成。其中后端服务主要包括迁移引擎、API服务、数据库链接、日志及异常管理等,如下:


前端界面采用javaSwing实现,同时也支持命令行方式调度任务。便于不同操作系统及不具备UI的操作系统下使用迁移引擎负责解析迁移任务配置、执行数据迁移操作、处理数据转换和同步。采用Java开发实现。主要包含了数据读取,数据转换,数据加载等主要模块MigrationTask为单个数据同步作业中枢管理节点,通过子任务将数据的抽取,转换与加载等串联起来。通过dbhander进行元数据抽取,通过datahander进行业务数据抽取与加载,通过converter对异构数据进行转换映射. 使用成熟开源数据库连接池管理链接,提高访问效率,通过监控及日志管理实时监控迁移任务的执行情况,包括迁移进度、数据吞吐量、错误率等指标。同时记录迁移过程中的详细日志,包括操作记录、错误日志、性能数据等,便于问题排查和性能优化。


国产软硬件适配情况



鲲鹏、飞腾、海光、兆芯、申威和龙芯等主流国产处理器


包括X86、ARM、LoongArch、mips等架构


支持麒麟、统信、open Euler、凝思等主流国产操作系统


支持UXDB、达梦、金仓、瀚高、神通等在主流国产数据库之间数据转换及迁移



特定应用场景



本项目支持不同数据库系统之间的数据迁移,确保数据的完整性和一致性,同时降低迁移过程中的风险和复杂性。以下是一些特定的应用场景:



数据中心迁移与云上云下迁移


数据库升级与替换迁移


灾备与数据恢复


异构数据库复制



项目价值



在数据库国产化替代过程中,历史数据迁移是必不可少的一环


未来计划将功能扩展至NoSQL数据库、数据仓库、非结构化数据等领域,助力企业打通数据的全生命周期


期望其他国产数据库厂商能够加入进来,基于对自身数据库更加深入的了解,助力此开源项目



研发团队由李勇博士带队研发组织,同时感谢各位团队配合!



开源已经成为全球科技创新的主战场,也是我国迈向世界科技强国的战略机遇,是我国发展安全可靠国产软硬件的必由之路!



此次成功入选,是对优炫软件多年来在基础软件数据库和安全运维领域专注技术攻关、产品创新、行业推广等方面的高度认可。作为国产数据库行业领军企业,优炫软件自成立以来始终坚持核心关键技术自主创新,十五年累计发明专利及软件著作权,曾多次获得国内外媒体及机构科技类奖项。




入选2024中国互联网发展创新与投资大赛(开源)优秀奖


在数据库领域,优炫软件建立了以数据库技术为核心的产品矩阵,形成生态产品集群,并在不断锤炼中打造更贴合客户业务场景的功能特性,具备高可用、高性能、高安全、弹性扩展、兼容性高等,在多个项目中打破国外产品垄断,为企业数字化转型提供稳固支撑。在目前已广泛应用于政企市场,服务于七人普数据回迁和多省份人口变动调查项目,公安部“互联网+政务服务”二期,多省市法院、检察院信息化建设,中国农业银行、中信银行、中再保险等政务、公检法、金融关键行业。多年来在数据库领域不断创新、突破,凭借自身技术优势,将充分发挥自身在数据库的核心优势,积极参与标准研制、平台建设、技术研究等相关工作,携手各成员单位合力构建网络安全创新生态,助力我国基础软硬件安全产业高质量发展。


2024开源大赛成果发布

http://www.ce.cn/cysc/ztpd/2024/cxtz_352056/zxxx/202411/22/t20241122_39212124.shtml





关于优炫软件


北京优炫软件股份有限公司(以下简称:优炫软件)成立于2009年,专注于数据库及周边工具的研发、销售和服务,不断攻克关键技术,提供面向未来的智能数据库产品,是国产数据库领军企业,信创产业领域“四梁八柱”企业。优炫软件坚持关键核心技术自主创新,获得国家发明专利、软件著作权、公司及产品资质荣誉累计1000余项,设立北京、武汉、成都、西安四大研发中心和分布于全国的30余家分支机构,广泛服务于政府、金融、军工、能源、医疗、教育等关系国计民生的重大核心领域,成功入围中海油、大唐集团、重庆国资委、云上贵州、大连银行、军队等众多战略行业及客户,稳健高效支撑第七次全国人口普查等国家级重点项目,为国家信息安全提供关键技术支撑。






-FIN-





文章转载自优炫软件,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论