TIDB 邮件告警配置

一、编辑altermanager配置文件

vi /home/tidb/alertmanager.yaml

global:
smtp_smarthost: ‘mail.xx.xxx.com.cn:25’ # 邮箱服务器,端口
smtp_from: ‘Monitor@xx.xxx.com.cn’ # 发告警邮件用的邮箱地址
smtp_auth_username: ‘Monitor@xx.xxx.com.cn’ #发告警邮件用的邮箱地址
smtp_auth_password: ‘xxxx’ #smtp授权码(密码)
smtp_require_tls: false

route:
receiver: db-alert
group_by: [“env”, “instance”, “alertname”, “type”, “group”, “job”]
group_wait: 30s
group_interval: 3m
repeat_interval: 3m
routes:

• receiver: “db-alert-email-emergency” #接收者名称
  group_by: [“env”, “instance”, “alertname”, “type”, “group”, “job”] #分组
  match:
  level: emergency
  group_wait: 30s # 当 alertmanager 接收到一条新的告警信息时，会等待 group_wait 时间，然后将在此期间接收到的所有告警信息进行分类聚合，以防止短时间内同类型告警太多造成信息轰炸
  group_interval: 30s # 在同类型的告警第一次被发送后，该类型的告警就会进入睡眠/唤醒周期，睡眠周期为 group_interval 时间，睡眠期内该类型告警不会再发送
  repeat_interval: 1h # 如果警报成功发送了通知，那么在再次发送同类型警报通知之前需要等待多长时间
  receivers:
• name: “db-alert-email-emergency” #接收者名称
  email_configs:
  • send_resolved: false
    to: “xxx@xx.xxx.com.cn,xxxxxx@xx.xxx.com.cn” #发送目标邮箱地址
• name: “db-alert” #接收者名称
  email_configs:
  • send_resolved: false
    to: “sdfalkdsjf@admin.com” #发送目标邮箱地址，随便写的

二、配置系统参数

1、先将上面的配置文件拷贝到中控机
tiup cluster edit-config <集群名称>
alertmanager_servers:

• host: xxx.xx.xxx.xx
  ssh_port: 22
  web_port: 9093
  cluster_port: 9094
  deploy_dir: /app/tidb-deploy/alertmanager-9093
  data_dir: /app/tidb-data/alertmanager-9093
  log_dir: /app/tidb-deploy/alertmanager-9093/log
  arch: amd64
  os: linux
  config_file: /home/tidb/alertmanager.yaml ###(添加此行)

2、重新加载alert manager配置文件
tiup cluster restart tidb01 -R alertmanager

三、修改告警指标级别（可选）

1、如果需要修改某个指标的报警级别
在监控节点下，进入下面目录：
/app/tidb-deploy/prometheus-9091/conf
找到对应的conf
修改配置文件的level为emergency
vi node.rules.yml
例如

2、配置定期删除prometheus日志
tiup cluster edit-config tidb01
monitoring_servers:
storage_retention: “30”

3、重启prometheus
tiup cluster reload tidb01 -R prometheus