ES 无效数据日报 — 2026-09-06（CST）
统计范围：2026-09-06 00:00 ~ 24:00 CST（UTC 2026-09-05T16:00:00Z ~ 2026-09-06T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口；system-log 跨 .05/.06 双索引取完整 24h。无效碎片 match_phrase 子句打在 text 字段 syslog_message 上、regexp 打 .keyword。昨日为周日，youdu 总量受周末低峰影响。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.06 | 3,021,596 | 16h 观测窗口（周日） | ~800 万/天 | ✅ 正常（折算全天 ~453 万，远低于 1200 万阈值） |
| system-log-2026.09.05/09.06 | 12,573,710 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 14 天；clickhouse-server 连续 11 天零值，红色项保持闭环） |
环比（vs 20260903 日报，中间 09-04/09-05 未出报）：
| 索引 | 09-03（周四） | 09-06（周日） | 变化 |
|---|
| youdu_next_log | 7,120,076（16h） | 3,021,596（16h） | -57.6%（周末低峰，业务日志量正常回落） |
| system-log | 12,949,727（24h） | 12,573,710（24h） | -2.9%（高位平台内继续回落，无新增刷屏源） |
2. 告警项
✅ 红色告警（保持闭环）：clickhouse-server 堆栈刷屏 — 0 条（阈值 >100）
syslog_program.keyword = clickhouse-server 精确匹配全天为 0，无任何来源机器。- 自 08-31 10:55 两台来源机（LAN_addcn_44 / LAN_addcn_46）停止刷屏后，已连续 11 个自然日零值，红色回归持续闭环，无需处置。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后连续 18 天零回归。
🟡 黄色预警：system-log 日总量 1257.4 万（>1000 万阈值，连续第 14 天）
- 环比 -2.9%，高位平台内继续回落；全天小时量 492k–599k（峰值 CST 03:00 = 599,251，最低 CST 23:00 = 498,348），昼夜波幅 ±10%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：594,853 条，占日总量 4.7%，改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.09.06（CST 08–24 时窗口，总量 3,021,596）
| 类别 | 数量 | 占比 | 环比 09-03 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,536 | 0.38% | 11,573 → 持平 |
| parsefail_nsq | 5,760 | 0.19% | 5,760 → 持平 |
| err_unparsed | 3,890 | 0.13% | 4,701 → -17.2% |
| parsefail_grpc（附加） | 282 | 0.01% | 4,202 → -93%（上期观察项已明显回落） |
| log_type_unmatched | 10 | ~0 | 8 → 噪音级 |
| gin-access 缺 gin_status | 0 | 0 | 5 → 归零 ✅ |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.09.05/09.06（完整 24h，总量 12,573,710）
| 类别 | 数量 | 占比 | 环比 09-03 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 287,758 | 2.3% | 309,077 → -6.9% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,653,598 | 13.2% | 1,680,622 → -1.6%，不作趋势比较 |
| _grokparsefailure | 38,320 | 0.30% | 38,323 → 持平（低位稳定） |
碎片来源 Top5（三子句口径机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-03 |
|---|
| 1 | LAN_addcn_45 | dockerd（594,853）/ kubelet（5,500） | 600,652 | 583,479 → +2.9% |
| 2 | LAN_addcn_82 | haproxy[124397]（270,057）/ rpc.mountd[96046]（23,040） | 320,839 | 340,272 → -5.7% |
| 3 | LAN_addcn_22 | kubelet[1594525]（201,956） | 207,472 | 213,788 → -3.0% |
| 4 | LAN_addcn_26 | automount[1146]（57,556）/ filebeat（2,220） | 61,942 | 61,905 → 持平 |
| 5 | LAN_addcn_137 | kubelet（49,906）/ kernel（5,678） | 60,515 | 76,562 → -21.0% |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：154k–220k 区间，周日形态平稳（峰值 CST 12:00 = 220,360，最低 CST 19:00 = 154,697），无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：492k–599k 高位平台（峰值 CST 03:00 = 599,251），无尖峰；曲线平稳。
5. 当日结论
两索引红色项全部通过：hook 刷屏 0 条（连续 18 天零回归）、clickhouse-server 0 条（连续 11 天零值，闭环稳固）。youdu 周日 16h 观测 302.2 万、折算全天约 453 万，环比 -57.6% 属周末正常低峰；各类 parsefail 低位持平，上期观察项 parsefail_grpc 由 4,202 回落至 282（-93%），可移出观察。system-log 完整 24h 1257.4 万，仍处 >1000 万的黄色高位平台（连续第 14 天），但环比再降 2.9%、小时曲线平稳无尖峰、真实无效碎片环比 -6.9%。整体判定：正常——无需应急处置；若要压降黄色平台，落地项仍是把 LAN_addcn_45 的 dockerd 日志从 debug 调到 info（预计日减 ~59 万条，约 4.7%）。