这是学习笔记的第 2185 篇文章
读完需要
速读仅需7分钟
一直以来对于中间件服务的配置管理是一个有些头疼的事情,但是头疼还不意味着解决不了,目前现状是:中间件配置的管理是手工方式,虽然保险,但是人为操作更难免出现问题,主要有以下的一些问题:
中间件的配置信息很容易遗漏
配置信息冗余,在加载配置文件时很难发现和排查
关于时间自增的表维护在不同的年份,月份天数都不大一样,很容易遗漏
中间件配置有了,但是因为遗忘或是配置错误没有生效
中间件配置有了,但是分片配置存在问题,导致表部分写入失败
配置不完整,有些表不连续
配置和脚本执行分离,可能配置和实际情况脱节
配置管理和分片管理较为繁琐,操作比较耗时
对于这种情况的改善,也是分了几个阶段:
1)实现周期表的自治管理,实现预创建,预删除,清理自动化管理
2)实现基于分布式环境的周期表扩展管理
3)实现基于分布式环境的配置自动化管理
4)实现配置和脚本的联动管理
5)实现分布式表的自动配置管理
目前主要在完善到第3个阶段,脚本部分内容如下:
主要需要4个参数,调用形式为:
sh auto_config.sh tda_test_data 20200110 20200120 prepare
参数的含义为 tda_test_data为表名,是带有时间属性的表,实际的表为tda_test_data_20200110~tda_test_data_20200120
需要输入两个时间范围,其中20200110是基准时间,就是在配置文件中的最大时间,而20200120是截止时间,prepare是整个脚本的处理阶段,分为三个选项:prepare,dry_run,execute。
prepare阶段只是打印出相关的配置信息,做下配置的预检查,是否日期已经自包含等。
dry_run阶段是模拟整个过程,不会真正的变更文件内容,但是会模拟出变更后的配置文件内容
execute是在上两个阶段验证后进行执行阶段。
所以整个配置基于时间维度的管理可以实现方便快捷的配置管理,而且整个过程会自动备份,恢复起来也是妥妥的。
部分脚本内容如下:
schema_conf_file='/usr/local/proxy/conf/schema.xml'table_name=$1table_name_seprator='_'base_date=$2end_date_str=$3action_option=$4time_flag=`date +%Y_%m_%d_%H_%S`startdate=`date -d "+1 day ${base_date}" +%Y%m%d`enddate=`date -d "+1 day ${end_date_str}" +%Y%m%d`touch tmp/schema.xml.${time_flag}_tmptable_base_name=`echo ${table_name}${table_name_seprator}${base_date}`function backup_file(){cp ${schema_conf_file} ${schema_conf_file}.bak.${time_flag}}function config_parse(){while [[ ${startdate} < ${enddate} ]]doecho ${startdate}table_tmp_name=`echo ${table_name}${table_name_seprator}${startdate}`if [ `grep -w $table_tmp_name ${schema_conf_file}|wc -l` == 1 ];thenecho '配置 '$table_tmp_name' 已存在,请检查后重试。。。'returnfigrep -w $table_base_name ${schema_conf_file} >> tmp/schema.xml.${time_flag}_tmpsed -i "s/${base_date}/${startdate}/g" tmp/schema.xml.${time_flag}_tmpechostartdate=`date -d "+1 day ${startdate}" +%Y%m%d`done}function dry_run(){line_num=`grep -n $table_base_name ${schema_conf_file}|awk -F: '{print $1}' `sed ''${line_num}' r '/tmp/schema.xml.${time_flag}_tmp'' $schema_conf_file|grep -C30 $table_base_name}function append_to_file(){line_num=`grep -n $table_base_name ${schema_conf_file}|awk -F: '{print $1}' `sed -i ''${line_num}' r '/tmp/schema.xml.${time_flag}_tmp'' $schema_conf_file}function grep_file(){file_match_cnt=`grep -C20 $table_base_name $schema_conf_file|wc -l`if [ $file_match_cnt = 0 ];thenecho '没有匹配的配置时间范围,请检查后重试。。。'elsewhile [[ ${startdate} < ${enddate} ]]dotable_tmp_name=`echo ${table_name}${table_name_seprator}${startdate}`if [ `grep -w $table_tmp_name ${schema_conf_file}|wc -l` == 1 ];thenecho '配置 '$table_tmp_name' 已存在,文件内容如下,请检查后重试。。。'grep -A5 $table_tmp_name $schema_conf_filereturnfistartdate=`date -d "+1 day ${startdate}" +%Y%m%d`doneecho 'CHECK RESULT: OK 'grep -C10 $table_base_name $schema_conf_filefi}#执行主函数if [ ! $action_option ];thenaction_option='prepare'fi#echo $action_optionif [ $action_option = 'prepare' ];thengrep_fileelsebackup_fileconfig_parseif [ $action_option = 'dry-run' -o $action_option = 'dry_run' ];thendry_runelif [ $action_option = 'execute' ];thenappend_to_fileelseecho 'input parameter error...'fifirm tmp/schema.xml.${time_flag}_tmp
QQ群号:763628645
QQ群二维码如下, 添加请注明:姓名+地区+职位,否则不予通过

订阅我的微信公众号“杨建荣的学习笔记”,第一时间免费收到文章更新。别忘了加星标,以免错过新推送提示。

1
近期热文
你可能也会对以下话题感兴趣。点击链接就可以查看。
2
转载热文
你可能也会对以下话题感兴趣,文章来源于转载,点击链接就可以查看。




