ES 无效数据日报 — 2026-08-31（CST）
统计范围：2026-08-31 00:00 ~ 24:00 CST（UTC 2026-08-30T16:00:00Z ~ 2026-08-31T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明：youdu_next_log-2026.08.30 索引已按保留策略清理，youdu 侧仅剩当日索引 CST 08–24 时 16h 观测窗口（与 08-27/08-30 日报同口径）；system-log 跨 .30/.31 双索引取完整 24h。clickhouse-server 计数用 syslog_program.keyword 通配口径（program 字段含 PID，纯 term 会漏计）。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.08.31 | 7,547,132 | 16h 观测窗口（周一） | ~800 万/天 | ✅ 正常（折算全天 ~1132 万，< 1200 万阈值；周一业务量回升） |
| system-log-2026.08.30/31 | 13,571,873 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 8 天；其中 40.8 万条 clickhouse-server 堆栈于 CST 10:55 后已停止 → 🔴 红色子项解除中） |
环比（vs 20260830 日报）：
| 索引 | 08-30 | 08-31 | 变化 |
|---|
| youdu_next_log | 3,097,533（16h，周日） | 7,547,132（16h，周一） | +143.7%（周日 → 周一业务量自然回升，峰型为正常昼高夜低） |
| system-log | 13,597,521（24h） | 13,571,873（24h） | -0.2%（clickhouse 刷屏 10:55 停止后的回落被前 11h 刷屏量抵消） |
2. 告警项
🔴→✅ 红色告警（当日触线但已中止）：clickhouse-server 堆栈刷屏 — 408,396 条（阈值 >100）
| 来源机器 | 程序（PID） | 数量 | 时段 |
|---|
| LAN_addcn_44 | clickhouse-server[597354] | 206,345 | CST 00:00–10:55，~37.2k/h 匀速 |
| LAN_addcn_46 | clickhouse-server[4153557] | 202,051 | CST 00:00–10:55，~36.7k/h 匀速 |
- 两机于 CST 2026-08-31 10:55 同时停止刷屏（最后一条：LAN_addcn_44 @ 10:55:05），此后全天 clickhouse-server 日志为 0，PID 未变（597354 / 4153557），符合「重启/修复后停止」或「上游 drop 规则生效」特征。
- 全日计数 408,396 仍超阈值（>100），按规则计当日红色告警；但停止时点明确、未见回归，若次日维持零值即可确认闭环，建议复核两机 clickhouse-server 进程状态与 logstash drop 规则确认是哪一侧生效。
- 注意：纯
term syslog_program.keyword=clickhouse-server 查得 0 是因为字段带 PID（clickhouse-server[597354]），本报告使用通配口径统计，后者才是真实值。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），16 个小时子聚合均为 0，治理后 12 天保持零回归。
🟡 黄色预警：system-log 日总量 1357.2 万（>1000 万阈值，连续第 8 天）
- 全天小时量 511k–693k 高位平台（峰值 CST 02:00 = 692,653，最低 CST 23:00 = 511,007），昼夜波幅 ±15%，无异常尖峰；CST 00–10 时含 ~37k/h 的 clickhouse 刷屏固定叠加（占日总量 3.0%），其后回落至 ~512–548k/h 平台。
- 剩余最大单一来源仍为 dockerd@LAN_addcn_45 debug 日志：三子句口径 595,324 条，占日总量 4.4%；"from /" 口径下 LAN_addcn_22 的 kubelet[1594525]（77,632）首次居首。改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.08.31（CST 08–24 时窗口，总量 7,547,132）
| 类别 | 数量 | 占比 | 环比 08-30 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,550 | 0.15% | 11,539 → 持平 |
| parsefail_nsq | 5,760 | 0.08% | 5,760 → 持平 |
| err_unparsed | 4,097 | 0.05% | 3,907 → +4.9%，随总量回升 |
| parsefail_grpc（附加） | 1,297 | 0.02% | 457 → +183.5%（绝对量小，<0.02%） |
| log_type_unmatched | 4 | ~0 | 5 → 持平 |
| gin-access 缺 gin_status | 2 | ~0 | 0 → 个位数噪音 |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.08.30/31（完整 24h，总量 13,571,873）
| 类别 | 数量 | 占比 | 环比 08-30 |
|---|
| clickhouse-server 堆栈（通配口径） | 408,396 | 3.0% | 898,283 → -54.5%，🔴→✅ CST 10:55 起停止 |
| 无效碎片总量（"from /" 真实口径） | 408,915 | 3.0% | 376,434 → +8.6%（kubelet@LAN_addcn_22 增量为主） |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,909,738 | 14.1% | 1,951,685 → -2.1%，不作趋势比较 |
| _grokparsefailure | 38,594 | 0.28% | 38,278 → 持平 |
真实碎片 Top5 来源（"from /" 口径，fields.server_name + syslog_program）：
| # | 机器 | 程序（Top） | 数量 | 环比 08-30 |
|---|
| 1 | LAN_addcn_22 | kubelet[1594525]（77,632）/ dockerd[3878692]（23,247） | 104,968 | —（新进首位，kubelet 堆栈刷入） |
| 2 | LAN_addcn_45 | dockerd（74,011）/ kubelet（4,258） | 78,543 | 76,721 → +2.4%，持平 |
| 3 | LAN_addcn_137 | kubelet（33,195）/ kernel（5,678） | 43,131 | 43,086 → 持平 |
| 4 | LAN_addcn_82 | rpc.mountd（23,006）/ filebeat（8,638） | 40,281 | 40,336 → 持平 |
| 5 | LAN_addcn_85 | radiusd（32,914） | 32,914 | — |
三子句组合口径 Top5（参考）：LAN_addcn_45 601,260（dockerd 595,324）、LAN_addcn_22 275,319（kubelet 241,143）、LAN_addcn_82 270,356（haproxy 223,799）、LAN_addcn_46 125,209（clickhouse-server 91,522）、LAN_addcn_44 108,451（clickhouse-server 94,873）。
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：222k–788k 区间，典型工作日昼高夜低形态（峰值 CST 14:00 = 788,254，最低 CST 23:00 = 222,115），无异常尖峰；每小时 hook 子聚合均为 0。
- system-log（完整 24h）：511k–693k 高位平台（峰值 CST 02:00 = 692,653），无尖峰；CST 00–10 时含 ~37k/h clickhouse 匀速刷屏叠加，10:55 后消失、午后回落至 ~512–548k/h。
5. 当日结论
需关注（1 项黄色 + 1 项当日触线但已中止的红色），整体明显好转。 🔴 clickhouse-server 堆栈刷屏当日仍计 40.84 万条（LAN_addcn_44 206,345 / LAN_addcn_46 202,051，超阈值约 4000 倍），但两机于 CST 10:55 同时停止、此后全天零值，持续 5 天的红色回归首次出现中止信号，建议复核两机进程与 drop 规则确认修复侧，次日零值即可闭环。🟡 system-log 日总量 1357.2 万连续第 8 天超阈值（环比 -0.2%），clickhouse 停止后午后已回落至 ~530k/h 平台，若维持预计后一日降至 ~1270 万，dockerd@LAN_addcn_45 debug 日志仍是最大可压缩存量项，另有 kubelet[1594525]@LAN_addcn_22 新进 "from /" 碎片首位（77,632 条）值得关注。youdu 侧整体健康：周一 16h 窗口 754.7 万（折算 ~1132 万/天，低于 1200 万阈值但接近，需持续观察），hook 刷屏连续 12 天零回归，各类 parsefail 低位平稳，无异常尖峰。