暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

PostgreSQL被植入gcmanager-1.so预加载后门致数据库升级备份失败案例分析

原创 岳麓丹枫 2026-11-14
73

Table of Contents

项目 内容
故障日期 2026-11-10
环境 ums53 | UMS 一体机 | PostgreSQL 15.6 | PGDATA=/var/runtime/database
故障现象 ① 升级 update_db_soft.sh 每次导出业务库 cds 失败(exit 3);② 手动 **pg_dump** 同库却成功;③ pg 日志反复 server process ... terminated by signal 11 + terminating any other active server processes;④ 内核日志海量随机名进程 GPF
影响范围 PG 超级用户被控,全部业务库(用户表、人脸库、设备密码字段)可被读取;DB 长期处于"崩溃-恢复"循环(累计 22,320 次 SIGSEGV);版本升级被阻断
直接根因 postgresql.conf 被篡改:session_preload_libraries / shared_preload_libraries 均指向数据目录恶意库 /var/runtime/database/gcmanager-1.so → backend 进程被注入代码 execve 成 /var/tmp/.<随机>/<随机> 恶意二进制后 SIGSEGV → postmaster 连坐杀光全部 backend → pg_dump 中断
                                                                                                                                                                 |

| 处理结果 | 攻击链完全闭环,输出 IOC 与清理加固方案; |

一、故障现象

1.1 升级备份失败

/var/dbupdate/log/db_soft_update.log(升级日志):

[2026-11-10 20:07:08] 导出用户信息 → OK [2026-11-10 20:07:08] 导出业务库 accesscontrol → OK(<1s) [2026-11-10 20:07:09] 导出业务库 ar → OK [2026-11-10 20:07:09] 导出业务库 attendance → OK [2026-11-10 20:07:09] 导出业务库 cds [2026-11-10 20:07:10] 导出业务库 cds 失败 → exit 3

多次重试均失败;/var/dbupdate/db_migration/ 留下残档:

文件 大小 判读
accesscontrol.dmp 5,532,341 B 完整
ar.dmp / attendance.dmp 83,676 / 98,863 B 完整
cds.dmp 1,358,555 B 截断(cds 库磁盘占用 28 MB)
conductor.dmp 0 B 完全未产出

1.2 "手动成功、升级失败"的矛盾(本案主要线索)

# 手动执行(root 身份,直连 TCP)——成功 [root@ums53 test]# pg_dump -U postgres -d cds -f cds.dmp -Fc # OK # 升级脚本内(update_db_soft.sh:200,同样 root 直连)——必失败 $PGDUMP -Fc -d "$db" -f "$DUMP_DIR/$db.dmp"

两者的 pg_dump 客户端身份没有差别(PGUSER=postgres 只是连接角色名),差异只在崩溃时机恰好落在 cds 导出窗口(见 3.3)。

1.3 系统侧异常

/var/log/messages(每 ~31s 一条,持续数周): kernel: traps: gnpwckujko[3847396] general protection fault ip:47f4a7 sp:... error:0 in gnpwckujko[401000+8e000] systemd-coredump[...]: Process 3847396 (gnpwckujko) of user 1001 dumped core.
特征 观察值
进程名 . 随机 10 位全小写字母(与 10 月案例 .zzctjwqmeu/gxzsltlocf 同形态)
属主 uid 1001 = postgres
崩溃地址 全部固定在 ip:47f4a7,映射 [401000+8e000](非 PIE、text ≈ 568KB)
频度 ~31 秒一次,累计 22,320 次(coredumpctl 自 2026-08-18 22:04 起)
core 大小 ~12 KB(lz4,崩溃发生于进程早期,内存尚未大量分配)

1.4 PG 侧崩溃-恢复循环

postgresql-2.log: 06:32:05.975 starting PostgreSQL 15.6 ... (postmaster PID 3636477) 06:32:08.182 server process (PID 3636549) was terminated by signal 11: Segmentation fault 06:32:08.182 terminating any other active server processes 06:32:08.185 all server processes terminated; reinitializing 06:32:11.242 database system is ready to accept connections

二、排查过程

2.1 第一轮:排除常规方向

怀疑对象 排查方式 结论
OOM dmesg 检索 oom-killer / killed process 0 命中,排除
磁盘满 / I/O 故障 df -h(41%)、dmesg 检索 no space / I/O error 排除
pg_dump / postgres 二进制被替换 md5sum 与产品基线比对:pg_dump=95a060...、postgres=ca5c856f... 均一致 磁盘文件未被替换(但不能排除运行时注入,见 3.4)
cds 库数据问题(BLOB 大字段等) 手动 pg_dump cds 成功 排除
升级脚本身份问题 核对 update_db_soft.sh:19/190/200:导出以 root 直连,PGUSER=postgres 仅为连接角色名 排除"脚本切错用户"

2.2 第二轮:PID 三方交叉(本案决定性手段)

pg 日志、内核 trap、coredumpctl 三方对齐:

postgresql-2.log:18 server process (PID 3636549) was terminated by signal 11 messages:21532 traps: erljfrilot[3636549] general protection fault ip:47f4a7 coredumpctl list Tue 2026-11-10 14:32:08 CST 3636549 1001 SIGSEGV /var/tmp/.gihiyiuhfm/erljfrilot

升级失败时刻同样对齐:

postgresql-2.log:478 12:07:10 UTC server process (PID 3850293) terminated by signal 11 ← 20:07:10 CST,cds 失败时刻 coredumpctl Tue 2026-11-10 20:07:10 CST 3850293 1001 SIGSEGV /var/tmp/.qhyuzhsziy/rqvtlhkbva

判定:postmaster 报告的"server process"(其子进程)在崩溃时的可执行文件是 /var/tmp/.<随机>/<随机> —— PID 不变而 exe/comm 被替换,唯一解释是backend 进程内被注入代码后 **execve** 了恶意二进制。

coredumpctl list 的 EXE 列是本案最关键证据:它记录崩溃时进程实际映射的可执行文件,不受 comm 改名欺骗。

2.3 第三轮:身份与路径对比

对比项 手动备份 升级备份 结论
pg_dump 执行身份 root(直连 TCP) root(直连 TCP,:190/:200) 无差异
su - postgres 无 有 5 处(:139/:212/:246/:264/:313,启停库/initdb) messages 中 su (to postgres) 后 ~2s 出现 GPF,但属伴随现象
失败位置 无失败 按库顺序导出,失败库随崩溃时机漂移 与库本身无关

2.4 第四轮:配置比对锁定注入载体

# 运行中 postmaster 实际加载的 .so,与 ldd 预期比对 cat /proc/$(pgrep -o postgres)/maps | awk '{print $6}' | grep '\.so' | sort -u > pg_maps.txt ldd /program/bin/postgres | awk '{print $3}' | sort -u > pg_expected.txt diff pg_maps.txt pg_expected.txt
< /usr/lib64/libcrypto.so.1.1.1m ← maps 显示真实文件名(符号链接解析后),正常 < /var/runtime/database/gcmanager-1.so ← ★ 多出来的唯一异常项(数据目录中的 .so)
# 配置比对(与正常环境对照) grep -In "preload\|dynamic_library_path" /var/runtime/database/postgresql.conf 731: session_preload_libraries = '/var/runtime/database/gcmanager-1.so' ← 正常环境为注释 '' 733: shared_preload_libraries = '/var/runtime/database/gcmanager-1.so' ← 指向数据目录,异常 738: #dynamic_library_path = '$libdir' ← 未被改 # 样本定性 ls -la /var/runtime/database/gcmanager-1.so # 565,920 B,postgres 属主,mtime 2026-10-05 04:35 md5sum /var/runtime/database/gcmanager-1.so # 57b80fbd6aa19dc2855f6d449234a53b strings /var/runtime/database/gcmanager-1.so | grep -iE 'curl|execve|prctl|/var/tmp|http' → execve / /var/tmp / cuRl (三特征命中)

lsof -p <postmaster> 交叉证实:mem REG ... /var/runtime/database/gcmanager-1.so 常驻映射。

2.5 第五轮:投放载荷定性

样本:/var/tmp/.gihiyiuhfm/erljfrilot 821,952 字节 ← 与 10 月案例样本 gxzsltlocf 完全同尺寸 strings:完整 libcurl 字符串表(HTTP/1.1/2/3、WebSocket、FTP/LDAP/IMAP/SMTP/POP3、 .netrc、/etc/ssl/certs/ca-certificates.crt)+ OpenSSL/X.509 OID 全表 无任何产品身份字符串(uniview/imos/program/dbupdate 0 命中) 产品二进制为 dynamically linked + debug_info;该样本为静态、无调试信息

结论:libcurl 静态下载器/后门,非产品组件。 每次在固定地址 0x47f4a7 GPF(确定性缺陷或 C2 不可达),形成"投放→崩溃→再投放"循环。

2.6 第六轮:持久化排查与排除项

检查项 结果 说明
postgresql.conf 双 preload 命中(唯一持久化点) shared=常驻宿主,session=每 backend 注入
dynamic_library_path 未改(注释态) 排除
crontab -l(root/postgres) 无 排除
/etc/cron*、/var/spool/cron* 无 gcmanager//var/tmp 引用 排除
systemctl list-timers 仅 sysstat/dnf/tmpfiles 排除
/usr/lib/systemd/system/basic.target grep 命中 /var/tmp,实为原版 RequiresMountsFor=/var /var/tmp,mtime 2023-02-16 误报,排除
/proc/<postmaster>/environ LD_PRELOAD 空 排除
/etc/ld.so.preload 不存在 排除(建议每次核查)

本案持久化只需要 postgresql.conf 一个点:postmaster 被产品开机拉起后常驻,shared_preload 的恶意代码足以维持 31s 投放循环——不需要 cron/systemd。

2.7 时间线还原

时间 事件 证据 证据强度
2026-06-30 22:33 主机开机(5432 监听 0.0.0.0) last reboot、postgresql.conf listen_addresses='*' 强
≤2026-08-18 22:04 最早可追溯的失陷证据 coredumpctl 首条随机名 SIGSEGV 中(≠首次入侵时间)
pg 日志 境外 IP 45.133.173.207 曾以 postgres 账号成功登录 postgresql-2.log:28 强(入口佐证)
2026-10-05 04:35 gcmanager-1.so 落地(mtime) ls -la 中(mtime 可能伪造,见 8.2)
2026-11-10 06:32/11:50/12:00~12:07 (UTC) 升级尝试中 backend 被 execve 劫持崩溃,cds 备份连续失败 pg 日志 + coredumpctl PID 对齐 强

三、根因分析

3.1 攻击链

① 5432 监听 0.0.0.0 且公网可达(postgresql.conf: listen_addresses='*') ↓ ② 攻击者以 postgres 弱口令登录(45.133.173.207 成功登录记录;产品硬编码弱口令问题同 10 月案例) ↓ ③ 获得超级用户 → SQL 层落地(10 月案例已证实存在 LANGUAGE C 恶意函数形态) ↓ ④ 写入 gcmanager-1.so 至数据目录 /var/runtime/database/(正规库应在 /program/lib) 并篡改 postgresql.conf: shared_preload_libraries = '/var/runtime/database/gcmanager-1.so' session_preload_libraries = '/var/runtime/database/gcmanager-1.so' ↓ ⑤ shared_preload → postmaster 常驻加载 → 每 ~31s 投放 /var/tmp/.<rand>/<rand>(libcurl 下载器) session_preload → 每个新建 backend 加载 → backend 被 execve 成随机名二进制 → SIGSEGV ↓ ⑥ postmaster 检测到子进程 signal 11 → "terminating any other active server processes" → 全部 backend 死亡 → pg_dump 连接中断 → 升级备份失败(exit 3) ↓ ⑦ 每次投放新建随机目录+随机文件且 systemd-tmpfiles 每日清理 → "常投常新"规避静态发现

3.2 两种崩溃形态(同一家族)

形态 载体 触发 表现
独立投放循环 postmaster 内的 shared_preload 恶意代码 ~31s 定时 /var/tmp/.<rand>/<rand> 自运行即崩,22,320 次
backend 劫持 session_preload 恶意代码 新 backend 建立后按时间窗触发 backend 被 execve 替换 → 崩溃 → 连坐杀全部 backend → 备份失败

3.3 为什么"手动成功、升级失败"

  • 恶意触发按时间窗/概率命中:accesscontrol/ar/attendance 导出 <1s 躲过窗口;cds 导出时 backend 正被 execve 劫持;

  • 残档佐证:cds.dmp 截断、conductor.dmp 0 字节——失败的是"正在导出的那个连接",与 cds 库本身无关;

  • 升级脚本 5 处 su - postgres 会进入 postgres 登录环境,但本案注入通道是 preload 配置,与 su 无关(相比 10 月案例的"SQL 层触发",本次触发点在进程加载层)。

3.4 为什么"MD5 一致"仍被入侵

层级 MD5 能否覆盖 本案实际情况
磁盘上的 pg_dump / postgres 二进制 ✅ 已验证一致 未被替换
postgresql.conf 配置 ❌ 被篡改(真实入口)
运行时加载的 .so(preload/session_preload) ❌ gcmanager-1.so
进程内存中的注入 ❌ execve 替换
SQL 层对象(C 函数/触发器,10 月案例形态) ❌ 需按 10 月案例附录 A 巡检

结论:磁盘二进制一致只能排除"文件被替换"这一种攻击,对配置篡改、运行时注入、SQL 层后门均无效。

3.5 产品侧根因

问题 证据 关联
5432 对外 + postgres 弱口令(硬编码 Admin123@) listen_addresses='*';45.133.173.207 成功登录记录 同 10 月案例 3.3,入口未收敛
关键配置无完整性校验 preload 被改 20 天未被发现 新增缺口
崩溃无告警 22,320 次 SIGSEGV / 8,000+ 条 GPF 无告警 新增缺口
log_connections=off 无法完整回溯攻击者登录历史 审计缺口

四、处置措施

4.1 止血(P0)

# 1) 切断 5432 外部访问(写法与陷阱详见 10 月案例 8.2:白名单 ACCEPT + 末尾 DROP, # 勿用两条 "! -s" 叠加——会连 127.0.0.1 一起封死) iptables -I INPUT 1 -p tcp --dport 5432 -j DROP iptables -I INPUT 1 -p tcp --dport 5432 -s <业务网段> -j ACCEPT iptables -I INPUT 1 -p tcp --dport 5432 -s 127.0.0.1 -j ACCEPT # 2) 证据保全(先取证后删除;chmod 400,勿 000) EV=/root/ir_evidence; mkdir -p $EV && chmod 700 $EV cp -a /var/runtime/database/gcmanager-1.so /var/runtime/database/postgresql.conf $EV/ find /var/tmp -maxdepth 1 -type d -name '.??????????' -exec cp -a {} $EV/ \; md5sum $EV/gcmanager-1.so $EV/postgresql.conf | tee $EV/MD5SUMS chmod 400 $EV/*

4.2 修复配置与清除(P0)

# 1) 修 postgresql.conf(731/733 两行),并与干净环境全量 diff 排查其它被改项 # session_preload_libraries 注释掉;shared_preload_libraries = ''(或产品默认值) diff <干净环境>/postgresql.conf /var/runtime/database/postgresql.conf # 2) 移除恶意库与投放目录(先演练再删,勿站在被删目录里) mv /var/runtime/database/gcmanager-1.so $EV/ find /var/tmp -maxdepth 1 -type d -name '.??????????' -print0 \ | xargs -0 -r -P4 -n200 rm -rf -- # 3) 重启数据库(必须,使 preload 配置生效) su - postgres -c "/program/bin/pg_ctl restart -D /var/runtime/database"

4.3 SQL 层巡检(P0,防 10 月案例形态残留)

逐库执行 10 月案例附录 A 的 pg_audit.sh(C 函数 probin、plpgsql 危险调用、事件触发器、后门角色、pg_db_role_setting 库/角色级 GUC 注入——preload 之外的第二持久化面)。

4.4 验证放行条件(重跑升级前必须全部满足)

cat /proc/$(pgrep -o postgres)/maps | grep -c gcmanager # 必须 = 0 dmesg -w | grep -i "general protection" # ≥10 分钟无输出 su - postgres -c "echo ok" && sleep 120 # 模拟升级触发的登录路径 for i in 1 2 3; do /program/bin/pg_dump -Fc -U postgres -h 127.0.0.1 -d cds \ -f /tmp/cds_t$i.dmp && echo OK; done # 连续压测不崩

4.5 善后(P1)

passwd postgres; passwd root # 先确认产品脚本用哪个账号(10 月案例 4.1 警告) ls -la ~/.ssh ~postgres/.ssh; cat ~/.ssh/authorized_keys # SSH 后门审计 grep -hE "45\.133\.173\.207|194\.50\.235\.155|172\.190\.114\.167" /var/log/pg_log/postgresql-*.log # 同网段横向排查 IOC(见附录 C);样本送安全团队;最终建议重装 + 数据逻辑迁移

五、验证结果

验证项 方法 期望
preload 已清除 cat /proc/$(pgrep -o postgres)/maps | grep gcmanager 0 行
无投放行为 find /var/tmp -maxdepth 1 -type d -name '.??????????',观察 ≥24h 无新增
无内核崩溃 dmesg -w | grep -i "general protection" 无输出
backend 稳定 pg 日志观察 ≥24h 无 signal 11 / terminating any other
备份压测 连续 3 次 cds 全量 pg_dump + 升级演练 全部成功,dmp 大小合理
入口已封 ss -lntp | grep 5432 + iptables 规则 仅白名单可达
SQL 层干净 10 月案例附录 A 巡检脚本 无异常 C 函数/触发器/角色
业务回归 登录 / 预览 / 回放 / 升级 / 恢复 全部通过

六、经验教训

6.1 排查方法论

教训 说明
"手动成功、脚本失败"是黄金对比线索 差异点往往在时序窗口而非功能本身;本案手动/升级的 pg_dump 身份完全一致,差异只在崩溃时机
PID 三方交叉(pg 日志 ↔ 内核 trap ↔ coredumpctl EXE) 定位"进程被替换类"问题的决定性手段;随机名 comm 会欺骗 ps,但骗不过 coredumpctl 的 EXE 列
MD5 一致 ≠ 未被入侵 磁盘二进制一致只排除"文件替换";配置篡改、preload 注入、SQL 层后门均在覆盖之外
加载库比对要"实际 vs 预期" maps/lsof 实际加载 vs ldd 预期,diff 出的孤立 .so(尤其在 PGDATA 内)即为嫌疑
数据目录里不该有 .so 正规库在 /program/lib;PGDATA 内的可加载库本身就是异常信号
正常环境对照是最快的定性方法 session_preload_libraries 正常为空——一行比对即实锤篡改
排除项要留痕 basic.target 的 grep 命中是 RequiresMountsFor=/var /var/tmp 的误报;记录排除依据避免后来者重查

6.2 误判路径复盘

"备份失败" → 怀疑 cds 库/BLOB 大字段 → 手动同库导出成功 → 排除数据问题 → 怀疑升级脚本切换用户错误 → 核对脚本排除 → pg 日志 backend SIGSEGV + 内核随机名 GPF → 两看似独立 → coredumpctl EXE 列证明"随机名进程"就是被替换的 backend → 合并 → maps/ldd diff 发现 PGDATA 内 gcmanager-1.so → 配置比对实锤 preload 篡改 → strings 命中 execve//var/tmp/cuRl → 定性为投放器

6.3 处置顺序教训

错误做法 后果
只删 /var/tmp 投放物 gcmanager-1.so 仍在内存/配置里,重启后复发
只重启不修配置 preload 重新加载,循环继续
在 backend 随机崩溃未根治前反复重跑升级 脚本 :228 会在导出"成功"后删 PGDATA,残档风险极高
只修 preload 不查 SQL 层 10 月案例的 C 函数形态可能仍残留(第二持久化面)
先删文件后取证 丢失 core dump、时间戳、哈希等关键证据

七、改进建议

编号 改进项 优先级 责任
1 同 10 月案例 P0 项:移除硬编码弱口令、收敛 5432/pg_hba P0 研发/交付
2 升级/启动前置安全自检:校验 session_preload_libraries/shared_preload_libraries/dynamic_library_path/archive_command 基线(正常为空),并检查 PGDATA 内是否出现 .so,命中即中止并告警 P0 研发
3 升级脚本 :228 删 PGDATA 前增加"导出完整性校验"(dmp 大小/可恢复性),残档禁止继续 P0 研发
4 对 coredumpctl 崩溃频率、dmesg GPF 频率设置告警(本案 2.2 万次/8 千条无告警) P1 研发/运维
5 生产环境开启 log_connections(或接入统一审计),保留登录溯源能力 P1 研发
6 局点巡检增加"postgresql.conf 与出厂基线 diff"项 P1 交付
7 同家族 IOC 横向排查全部在网点位(附录 C) P0 交付/运维
8 最终处置:重装系统 + 数据逻辑迁移 + 全量改密(root/PG 双层失陷 ≥2 个月,持久化无法穷举) P0 交付

八、附录

附录 A:IOC(失陷指标)

类型 内容
恶意库 /var/runtime/database/gcmanager-1.so,565,920 B,md5 57b80fbd6aa19dc2855f6d449234a53b,mtime 2026-10-05 04:35
投放样本 /var/tmp/.[a-z]{10}/[a-z]{10},821,952 B,md5 2aacb831fde86df0c58582fa65560bfc(10 月样本同尺寸家族)
配置特征 session_preload_libraries / shared_preload_libraries 指向 $PGDATA 内 .so
崩溃签名 general protection fault ip:47f4a7 ... [401000+8e000];pg signal 11 + terminating any other active server processes
行为特征 backend 进程内 execve 至 /var/tmp 随机路径;coredumpctl EXE 与 pg 日志 PID 对齐
网络特征 境外 IP 45.133.173.207(postgres 成功登录)、194.50.235.155、172.190.114.167(协议探测)

附录 B:现场快速自查清单

# 1) preload 配置是否被篡改(正常应为注释/空) grep -nE '^s?(ession|hared)_preload_libraries' /var/runtime/database/postgresql.conf # 2) 运行中 postgres 是否加载了数据目录内的 .so cat /proc/$(pgrep -o postgres)/maps | grep -E '\.so' | grep -v '/program/\|/usr/lib' # 或:实际加载 vs ldd 预期 diff # 3) /var/tmp 是否存在隐藏随机目录 ls -A /var/tmp | grep -E '^\.[a-z]{8,10}$' | head # 4) 崩溃记录规模 coredumpctl list 2>/dev/null | grep -c SIGSEGV dmesg | grep -c "general protection fault" # 5) coredumpctl EXE 是否指向非常规路径 coredumpctl list 2>/dev/null | grep -vE '/program/bin|/usr/bin|/usr/lib' | head # 6) 5432 是否对外 ss -lntp | grep 5432; grep listen_addresses /var/runtime/database/postgresql.conf

附录 C:横向排查(全部在网点位)

# 三条 IOC 一次查完 grep -nE 'preload_libraries.*database|preload_libraries.*/var' $PGDATA/postgresql.conf ls -A /var/tmp | grep -E '^\.[a-z]{8,10}$' coredumpctl list 2>/dev/null | grep -c 'SIGSEGV.*var/tmp'

附录 D:关键结论

本案表象为"升级备份 cds 失败",实质是 10 月 XMRig 事件同一台设备上的二次暴露: 攻击者将驻留手段从 SQL 层 C 函数升级为 postgresql.conf 双 preload 劫持(gcmanager-1.so), postmaster 成为 31 秒投放循环的永活宿主,每个新 backend 被注入代码 execve 成随机名 libcurl 下载器后崩溃, postmaster 连坐杀光全部 backend——升级的 pg_dump 因此必然中断,且失败库随崩溃时机漂移。入口与 10 月完全一致(弱口令 + 5432 对外),10 月"重装 + 迁移"结论未执行是复发前提。 处置必须遵循"先取证 → 修配置 → 清产物 → SQL 层巡检 → 验证放行 → 重跑升级 → 全量改密 → 最终重装"。

最后修改时间:2026-11-16 22:26:12
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论