中台流批接入F5日志告警

IT那活儿 2024-06-14

202

点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！

F5配置syslog发送

需要在F5的管理界面中对日志发送设置做配置，使F5的syslog可以被本地设备接收。

通常情况下，硬件设备的syslog配置都是相似的，只需要在确保网络畅通的情况下配置接收端IP、接收端端口、网络协议、日志级别等配置。本次对接F5使用udp协议的514端口。

F5侧配置完成后，可以在本地抓包查看。使用tcpdump udp prot 514。

可以看到已经有日志信息推送到本地了，如果想要看详细的日志信息，可以使用命令tcpdump udp prot 514 -v或 tcpdump udp prot 514 -vv命令：

本地安装snc-ng-prpxy

本地需要运行snc-ng-proxy服务管理日志接收插件，可以在平台proxy管理中新安装一个snc-ng-proxy。

继续在snc-ng-proxy中安装日志采集插件。

安装syslog被动接收采集插件

snc-ng-proxy启动成功后，即可安装日志接收插件了。在平台自管理-->任务管理页面中，选择“新增”。填写如下任务信息。

继续填写插件配置信息（重要），需要指定任务运行的插件名称、插件参数、结果回送配置。

其中本监听IP填写0.0.0.0即可。结果会送配置中的topic，可以在平台点击创建，也可以在后台手动创建后在前台选择，此topic将保存日志接收插件收到的原始信息，所以在topic的数据过期时间、副本、分片数等参数，根据自己需要接入日志的设备数量酌情配置。

新增F5日志实时处理流批

通常情况下，告警接入的流批只需要四个节点。

4.1 Kafka节点

保存snc-ng-proxy上运行的日志接收插件处理的日志信息，作为整个流批的启动节点。

4.2 数据加工节点

对原始数据进行前后置过滤，过滤方式可以选择数据保留和数据剔除，配置完成后，不满足前置过滤规则的数据将被剔除；对原始数据结构化，需要使原始数据满足告警入库的字段，否则数据会因为格式不匹配的原因无法入库。

4.3 数据映射节点

从原始数据中提取某个字段作为ResourseName，ResourseName将于映射配置（映射配置可以有多个）做对比，通过映射配置代表成功映射上了资源。

4.4 告警入库es节点

告警接入的最后一个节点如要入库es，由于es中定制好了索引的格式的，所以在前置的“数据加工节点”和“数据映射节点”中，一定要把数据处理的满足入库条件。

告警屏蔽

如果有告警屏蔽的要求，可以在“数据加工节点”中对告警进行去除和保留，“数据加工节点”中分为前置过滤和后置过滤。可以使用正则表达式或者字符串匹配的方式完成筛选。

告警发送

通过“告警列表”中查看告警详情：

核对无误后即可配置告警发送策略。

在运维大脑中配置告警发送策略：

END

本文作者：朱凯方(上海新炬中北团队）

文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。