ES 无效数据日报 — 2026-08-27（CST）
统计范围：2026-08-27 00:00 ~ 24:00 CST（UTC 2026-08-26T16:00:00Z ~ 2026-08-27T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
🔴 重大发现：clickhouse-server 堆栈已回归（前两期日报漏报）
- 本期检测将
syslog_program 匹配从精确 term 修正为 **regexp clickhouse-server.*：实测该字段带 PID 后缀（如 clickhouse-server[597354]），此前各期用 term: clickhouse-server 精确匹配导致 08-26 起的回归一直显示为 0，属漏报**。
- 回归起点：CST 2026-08-26 16:00 起两台机器同时恢复刷屏（08-26 16–24 时已产生 284,799 条，昨日前日报实际已包含但未识别）。
- 昨日（08-27）全天 899,573 条（>100 红线，超线 ~9000 倍），两机各 ~18,800 条/小时匀速刷屏，无衰减；截至今晨（08-28 00–10 CST）仍以 ~38,000 条/小时持续。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.08.27 | 4,438,746 | 16h 观测窗口 | ~800 万/天 | ✅ 正常（折算全天 ~665.8 万，< 1200 万阈值） |
| system-log-2026.08.26/27 | 13,950,769 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 6 天；其中含 89.96 万条回归的 clickhouse-server 堆栈 → 🔴 红色子项） |
环比（vs 20260826 日报）：
| 索引 | 08-26 | 08-27 | 变化 |
|---|
| youdu_next_log | 6,073,807（16h，周四） | 4,438,746（16h，周五） | -26.9%（周五业务量回落，峰型正常） |
| system-log | 13,698,310（24h） | 13,950,769（24h） | +1.8%（若剔除新增 clickhouse 回归增量 ~61.5 万，存量水位约 -2.7%，实际在回落） |
2. 告警项
🔴 红色告警：clickhouse-server 堆栈刷屏回归 — 899,573 条（阈值 >100）
| 来源机器 | 程序（PID） | 数量 | 小时速率 |
|---|
| LAN_addcn_44 | clickhouse-server[597354] | 451,554 | ~18,800/h 匀速 |
| LAN_addcn_46 | clickhouse-server[4153557] | 448,019 | ~18,700/h 匀速 |
- 与 2026-08-20 治理前的碎片形态一致（编号堆栈行 + "from /" 路径），两机同时于 08-26 16:00 CST 恢复，疑似同批变更/升级/重启触发（PID 均已变化，说明进程重启过）。
- 处置建议（立即执行）：按 08-20 相同方案重启/修复 LAN_addcn_44、LAN_addcn_46 上的 clickhouse-server；两机每分钟各排 ~310 条堆栈，放任一天即 ~90 万条。截至今日 10:00 CST 仍在持续。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），每小时 hook 子聚合均为 0，治理后 8 天保持零回归。
🟡 黄色预警：system-log 日总量 1395.1 万（>1000 万阈值，连续第 6 天）
- 全天小时量 543k–645k 高位平台，无尖峰；总量 +1.8%，但增量几乎全部来自 clickhouse-server 回归（+61.5 万），剔除后存量水位实际回落 ~2.7%。
- 最大单一来源仍为 dockerd@LAN_addcn_45 debug 日志：
level=debug 2,590,415 条（-2.0%），占日总量 18.6%。改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.08.27（CST 08–24 时窗口，总量 4,438,746）
| 类别 | 数量 | 占比 | 环比 08-26 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,575 | 0.26% | 11,636 → -0.5%，持平 |
| parsefail_nsq | 5,760 | 0.16% | 5,760 → 持平 |
| err_unparsed | 4,309 | 0.10% | 4,284 → 持平 |
| parsefail_grpc（附加） | 1,164 | 0.03% | 959 → +21%（绝对量小） |
| log_type_unmatched | 5 | ~0 | 4 → 持平 |
| gin-access 缺 gin_status（窗口内） | 12 | ~0 | 0 → 出现 12 条，低位，观察 |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.08.26/27（完整 24h，总量 13,950,769）
| 类别 | 数量 | 占比 | 环比 08-26 |
|---|
| clickhouse-server 堆栈（regexp 口径，修正后） | 899,573 | 6.4% | 284,799（漏报，实际回归起点 08-26 16:00）→ 🔴 3.2 倍放大 |
| 无效碎片总量（"from /" 真实口径） | 412,540 | 3.0% | 350,324 → +17.8% ⚠️（其中 clickhouse-server 贡献 82,112） |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,991,894 | 14.3% | 1,727,446 → +15.3%，不作趋势比较 |
| _grokparsefailure | 38,244 | 0.27% | 38,152 → 持平 |
真实碎片 Top5 来源（"from /" 口径，fields.server_name + syslog_program）：
| # | 机器 | 程序（Top） | 数量 | 环比 08-26 |
|---|
| 1 | LAN_addcn_45 | dockerd（70,665）/ kubelet（4,252） | 75,603 | 78,340 → -3.5%，持平 |
| 2 | LAN_addcn_137 | kubelet（33,136）/ kernel（5,676） | 43,059 | 43,141 → 持平 |
| 3 | LAN_addcn_46 | clickhouse-server[4153557]（41,484） | 41,486 | 0 → 🔴 新增回归源 |
| 4 | LAN_addcn_44 | clickhouse-server[597354]（40,628） | 40,628 | 0 → 🔴 新增回归源 |
| 5 | LAN_addcn_82 | rpc.mountd（23,138）/ filebeat（17,277） | 40,415 | 40,393 → 持平 |
三子句组合口径 Top5（参考）：LAN_addcn_45 572,295（dockerd 565,964）、LAN_addcn_82 270,040（haproxy 222,715）、LAN_addcn_22 220,161（kubelet 207,518）、LAN_addcn_44 212,117（clickhouse-server 207,599）、LAN_addcn_46 211,452（clickhouse-server 202,562）。
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：08 时 169,858 爬坡 → 09–15 时 310k–418k 平台（15 时 417,758 为全日峰值）→ 傍晚 12–16 万回落。总量较周四 -26.9%，属周五正常业务回落形态，无异常尖峰。
- system-log（完整 24h）：全天 543k–645k 高位平台（峰值 CST 05:00 = 645,081，最低 CST 23:00 = 543,354），昼夜波幅 ±9%，无尖峰；其中 ~37.4k/h 为 clickhouse-server 匀速刷屏的固定叠加。
5. 当日结论
需处置（1 项红色 + 1 项黄色）。 🔴 最高优先级：clickhouse-server 堆栈刷屏已于 CST 08-26 16:00 在 LAN_addcn_44 / LAN_addcn_46 两机同时回归（进程已重启、PID 变化），昨日刷入 89.96 万条（每机 ~18,800 条/小时匀速），截至今晨仍在持续，且此前两期日报因 syslog_program 精确 term 匹配漏带 PID 后缀的值而连续漏报——建议立即按 08-20 方案重启修复两台机器，并把本检测项固定为 regexp 口径。🟡 system-log 日总量 1395.1 万连续第 6 天超阈值，但剔除 clickhouse 回归增量后存量水位实际回落 ~2.7%，真实碎片 41.3 万（+17.8%）的增量主要也来自该回归，修复后两项预计同步回落；dockerd@LAN_addcn_45 debug 日志 259 万条/天仍是最大可压缩项。youdu 侧整体健康：16h 窗口总量 444 万（折算 ~666 万/天 < 1200 万），hook 刷屏连续 8 天零回归，各类 parsefail 低位持平，仅 gin-access 缺 gin_status 出现 12 条低位回潮，列入观察。