暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

mongodb数据工具

上官吕布 2017-06-13
160

     早期的 mongosync 和不久前360的 DBA 也出了个mongosync 的360版本(C++写的?看了mongosync ,360的没看),但是就是不给一个说增量备份的工具。前段时间,群聊天说起mongodb可用工具太少,群友们也是说想要个增量备份mongodb 的工具。备份呀!!最近不是很火吗,不是好多公司数据 被删?

    恰好自己现在mongo版本2.4 想直接升级到3.X.X ……顿时我也一脸懵逼,平时都是搞MySQL 那些杂事去了,虽已无力照顾我这个接手不久的 mongodb,但是要解决问题呀。

    为了备份!为了升级!两周没日没日夜的生活开始了......

    说起 mongodb2.4  ,我自己其实也是泪奔了好长一段历史经历,太多 都是泪……就简单说了。因为工作比较忙碌,其实有时候真心没办法专心做东西,赶上公司mongodb 版本太低,config server 也是单节点结构,而且数据量原来越大,当然那把库锁    真   的   是很恼火呀,所以要升级 mongodb 从2.4 到3.2。

    我没有采取低版本一步一步网上升级( 因为多个原因 ),我情急之下拍板自己写一个同步工具完全支持官方认证版本3和5,和增量备份工具。另一方面就想练一下类C 的golang 这门语言。

    决定用这个几乎没实战过的语言做这件事情,好吧!问题一堆来了,怎么搞定并发问题、怎么保证数据双写的问题 .etc。翻遍了官方提供的好几个工具的源码,看完了一套go写的爬虫系统,熟悉了整个经典的逻辑代码,花了整整两周睡眠时间去看代码和配置基本的同步、备份架构,过程是  艰辛   的,天天在家自己熬夜(因为周末白天还有一些自费的课程只能回来加班加点了)。


上面都吐槽了这两周的事情!!!


TODO:

    类似官方提供的WEB 的操作来sync 和收费的 inc-dump(增量备份)。

同时现阶段也想把功能分享出来大家一起使用,也希望大家多给给意见,后面也会再做得更好点。  


第一个:同步工具  下载链接:

https://note.youdao.com/share/?token=84A02F968C4D428494C4F28C2CBE7419&gid=14716152

(增量备份的工具,因个人原因有事个人出差半个月北京,后续回来抽空coding 给补上)



文章转载自上官吕布,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论