暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

关于中间件服务的配置管理,分为5个阶段

1118

这是学习笔记的第 2185 篇文章

读完需要

9
分钟

速读仅需7分钟

一直以来对于中间件服务的配置管理是一个有些头疼的事情,但是头疼还不意味着解决不了,目前现状是:中间件配置的管理是手工方式,虽然保险,但是人为操作难免出现问题,主要有以下的一些问题:

  • 中间件的配置信息很容易遗漏

  • 配置信息冗余,在加载配置文件时很难发现和排查

  • 关于时间自增的表维护在不同的年份,月份天数都不大一样,很容易遗漏

  • 中间件配置有了,但是因为遗忘或是配置错误没有生效

  • 中间件配置有了,但是分片配置存在问题,导致表部分写入失败

  • 配置不完整,有些表不连续

  • 配置和脚本执行分离,可能配置和实际情况脱节

  • 配置管理和分片管理较为繁琐,操作比较耗时

对于这种情况的改善,也是分了几个阶段:

1)实现周期表的自治管理,实现预创建,预删除,清理自动化管理

2)实现基于分布式环境的周期表扩展管理

3)实现基于分布式环境的配置自动化管理

4)实现配置和脚本的联动管理

5)实现分布式表的自动配置管理

 目前主要在完善到第3个阶段,脚本部分内容如下:

主要需要4个参数,调用形式为:

sh auto_config.sh tda_test_data 20200110 20200120 prepare

参数的含义为 tda_test_data为表名,是带有时间属性的表,实际的表为tda_test_data_20200110~tda_test_data_20200120

需要输入两个时间范围,其中20200110是基准时间,就是在配置文件中的最大时间,而20200120是截止时间,prepare是整个脚本的处理阶段,分为三个选项:prepare,dry_run,execute。

prepare阶段只是打印出相关的配置信息,做下配置的预检查,是否日期已经自包含等。

dry_run阶段是模拟整个过程,不会真正的变更文件内容,但是会模拟出变更后的配置文件内容

execute是在上两个阶段验证后进行执行阶段。
所以整个配置基于时间维度的管理可以实现方便快捷的配置管理,而且整个过程会自动备份,恢复起来也是妥妥的。 

部分脚本内容如下:

    schema_conf_file='/usr/local/proxy/conf/schema.xml'
    table_name=$1
    table_name_seprator='_'
    base_date=$2
    end_date_str=$3
    action_option=$4
    time_flag=`date +%Y_%m_%d_%H_%S`




    startdate=`date -d "+1 day ${base_date}" +%Y%m%d`
    enddate=`date -d "+1 day ${end_date_str}" +%Y%m%d`




    touch tmp/schema.xml.${time_flag}_tmp
    table_base_name=`echo ${table_name}${table_name_seprator}${base_date}`




    function backup_file(){
    cp ${schema_conf_file} ${schema_conf_file}.bak.${time_flag}
    }




    function config_parse(){
    while [[ ${startdate} < ${enddate} ]]
    do
    echo ${startdate}
    table_tmp_name=`echo ${table_name}${table_name_seprator}${startdate}`
    if [ `grep -w $table_tmp_name ${schema_conf_file}|wc -l` == 1 ];then
    echo '配置 '$table_tmp_name' 已存在,请检查后重试。。。'
    return
    fi
    grep -w $table_base_name ${schema_conf_file} >> tmp/schema.xml.${time_flag}_tmp
    sed -i "s/${base_date}/${startdate}/g" tmp/schema.xml.${time_flag}_tmp
    echo
    startdate=`date -d "+1 day ${startdate}" +%Y%m%d`
    done
    }




    function dry_run(){
    line_num=`grep -n $table_base_name ${schema_conf_file}|awk -F: '{print $1}' `
    sed ''${line_num}' r '/tmp/schema.xml.${time_flag}_tmp'' $schema_conf_file|grep -C30 $table_base_name
    }




    function append_to_file(){
    line_num=`grep -n $table_base_name ${schema_conf_file}|awk -F: '{print $1}' `
    sed -i ''${line_num}' r '/tmp/schema.xml.${time_flag}_tmp'' $schema_conf_file
    }




    function grep_file(){
    file_match_cnt=`grep -C20 $table_base_name $schema_conf_file|wc -l`
    if [ $file_match_cnt = 0 ];then
    echo '没有匹配的配置时间范围,请检查后重试。。。'
    else
    while [[ ${startdate} < ${enddate} ]]
    do
    table_tmp_name=`echo ${table_name}${table_name_seprator}${startdate}`
    if [ `grep -w $table_tmp_name ${schema_conf_file}|wc -l` == 1 ];then
    echo '配置 '$table_tmp_name' 已存在,文件内容如下,请检查后重试。。。'
    grep -A5 $table_tmp_name $schema_conf_file
    return
    fi
    startdate=`date -d "+1 day ${startdate}" +%Y%m%d`
    done
    echo 'CHECK RESULT: OK '
    grep -C10 $table_base_name $schema_conf_file
    fi
    }


    #执行主函数
    if [ ! $action_option ];then
    action_option='prepare'
    fi




    #echo $action_option
    if [ $action_option = 'prepare' ];then
    grep_file
    else
    backup_file
    config_parse




    if [ $action_option = 'dry-run' -o $action_option = 'dry_run' ];then
    dry_run
    elif [ $action_option = 'execute' ];then
    append_to_file
    else
    echo 'input parameter error...'
    fi
    fi




    rm tmp/schema.xml.${time_flag}_tmp




    QQ群号763628645

    QQ群二维码如下, 添加请注明:姓名+地区+职位,否则不予通过



    订阅我的微信公众号“杨建荣的学习笔记”,第一时间免费收到文章更新。别忘了加星标,以免错过新推送提示。

    1


       

    近期热文

    你可能也会对以下话题感兴趣。点击链接就可以查看。

    2


       

    转载热文

    你可能也会对以下话题感兴趣,文章来源于转载,点击链接就可以查看。




    文章转载自杨建荣的学习笔记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

    评论