ES 无效数据日报 — 2026-08-30（CST）
统计范围：2026-08-30 00:00 ~ 24:00 CST（UTC 2026-08-29T16:00:00Z ~ 2026-08-30T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明：youdu_next_log-2026.08.29 索引已按保留策略清理，youdu 侧仅剩当日索引 CST 08–24 时 16h 观测窗口（与 08-27 日报同口径）；system-log 跨 .29/.30 双索引取完整 24h。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.08.30 | 3,097,533 | 16h 观测窗口（周日） | ~800 万/天 | ✅ 正常（折算全天 ~464.6 万，< 1200 万阈值） |
| system-log-2026.08.29/30 | 13,597,521 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 7 天；含 89.8 万条持续回归的 clickhouse-server 堆栈 → 🔴 红色子项） |
环比（vs 20260827 日报）：
| 索引 | 08-27 | 08-30 | 变化 |
|---|
| youdu_next_log | 4,438,746（16h，周五） | 3,097,533（16h，周日） | -30.2%（周日业务量自然回落，峰型正常） |
| system-log | 13,950,769（24h） | 13,597,521（24h） | -2.5%（clickhouse 回归量持平，存量缓慢回落） |
2. 告警项
🔴 红色告警（持续）：clickhouse-server 堆栈刷屏 — 898,283 条（阈值 >100，超线 ~9000 倍）
| 来源机器 | 程序（PID） | 数量 | 小时速率 |
|---|
| LAN_addcn_44 | clickhouse-server[597354] | 450,040 | ~18,750/h 匀速 |
| LAN_addcn_46 | clickhouse-server[4153557] | 448,243 | ~18,680/h 匀速 |
- PID 与 08-27 日报完全相同（597354 / 4153557），说明自 08-26 16:00 CST 回归以来两机进程一直未重启、刷屏未中断，已持续 4 个完整天，累计已刷入 ~360 万条（899,573 + 898,283 + 08-26 部分及 08-28/29 估算）。
- 处置建议（最高优先级，已连续多日提报）：按 08-20 相同方案重启/修复 LAN_addcn_44、LAN_addcn_46 上的 clickhouse-server；每天放任即产生 ~90 万条无效日志与 ~400 MB 存储。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），16 个小时子聚合均为 0，治理后 11 天保持零回归。
🟡 黄色预警：system-log 日总量 1359.8 万（>1000 万阈值，连续第 7 天）
- 全天小时量 537k–642k 高位平台，昼夜波幅 ±9%，无尖峰；其中 ~37.3k/h 为 clickhouse-server 匀速刷屏的固定叠加（占日总量 6.6%），修复后预计回落至 ~1270 万。
- 剩余最大单一来源仍为 dockerd@LAN_addcn_45 debug 日志：三子句口径 594,280 条，占日总量 4.4%；"from /" 真实碎片口径 72,214 条居首。改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.08.30（CST 08–24 时窗口，总量 3,097,533）
| 类别 | 数量 | 占比 | 环比 08-27 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,539 | 0.37% | 11,575 → -0.3%，持平 |
| parsefail_nsq | 5,760 | 0.19% | 5,760 → 持平 |
| err_unparsed | 3,907 | 0.13% | 4,309 → -9.3%，随总量回落 |
| parsefail_grpc（附加） | 457 | 0.01% | 1,164 → -60.7%（绝对量小） |
| log_type_unmatched | 5 | ~0 | 5 → 持平 |
| gin-access 缺 gin_status | 0 | 0 | 12 → 回落清零 ✅ |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.08.29/30（完整 24h，总量 13,597,521）
| 类别 | 数量 | 占比 | 环比 08-27 |
|---|
| clickhouse-server 堆栈（regexp 口径） | 898,283 | 6.6% | 899,573 → -0.1%，🔴 持平未修复 |
| 无效碎片总量（"from /" 真实口径） | 376,434 | 2.8% | 412,540 → -8.8%（其中 clickhouse 贡献 82,247） |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,951,685 | 14.4% | 1,991,894 → -2.0%，不作趋势比较 |
| _grokparsefailure | 38,278 | 0.28% | 38,244 → 持平 |
真实碎片 Top5 来源（"from /" 口径，fields.server_name + syslog_program）：
| # | 机器 | 程序（Top） | 数量 | 环比 08-27 |
|---|
| 1 | LAN_addcn_45 | dockerd（72,214）/ kubelet（4,264） | 76,721 | 75,603 → +1.5%，持平 |
| 2 | LAN_addcn_137 | kubelet（33,158）/ kernel（5,680） | 43,086 | 43,059 → 持平 |
| 3 | LAN_addcn_46 | clickhouse-server[4153557]（41,612） | 41,612 | 41,486 → 🔴 回归持续 |
| 4 | LAN_addcn_44 | clickhouse-server[597354]（40,635） | 40,638 | 40,628 → 🔴 回归持续 |
| 5 | LAN_addcn_82 | rpc.mountd（23,060）/ filebeat（17,276） | 40,336 | 40,415 → 持平 |
三子句组合口径 Top5（参考）：LAN_addcn_45 600,157（dockerd 594,280）、LAN_addcn_82 235,511（haproxy 188,251）、LAN_addcn_22 212,108（kubelet 204,690）、LAN_addcn_46 211,033（clickhouse-server 202,859）、LAN_addcn_44 210,881（clickhouse-server 206,606）。
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：147k–232k 区间平稳波动（峰值 CST 18:00 = 232,509，最低 CST 23:00 = 147,338），周日低量形态，无异常尖峰；每小时的 hook 子聚合均为 0。
- system-log（完整 24h）：全天 537k–642k 高位平台（峰值 CST 01:00 = 642,326，最低 CST 23:00 ≈ 537k），昼夜波幅 ±9%，无尖峰；其中 ~37.3k/h 为 clickhouse-server 匀速刷屏的固定叠加。
5. 当日结论
需处置（1 项红色 + 1 项黄色），与 08-27 相比无新增问题。 🔴 唯一红色项仍是 clickhouse-server 堆栈刷屏：LAN_addcn_44 / LAN_addcn_46 两机 PID 自 08-26 16:00 回归以来未变，说明始终未重启修复，昨日再刷 89.83 万条（每机 ~18,700 条/小时匀速），已连续 4 天、累计约 360 万条，建议立即按 08-20 方案重启两机，这是当前性价比最高的单一动作。🟡 system-log 日总量 1359.8 万连续第 7 天超阈值（环比 -2.5% 缓慢回落），其中 6.6% 来自上述回归，修复后预计降至 ~1270 万；dockerd@LAN_addcn_45 debug 日志仍是最大可压缩存量项。youdu 侧整体健康：周日 16h 窗口 309.8 万（折算 ~465 万/天，远低于 1200 万阈值），hook 刷屏连续 11 天零回归，各类 parsefail 低位随量回落，上期出现的 12 条 gin-access 缺 gin_status 已清零，无任何异常尖峰。