ES 无效数据日报 — 2026-09-02（CST）
统计范围：2026-09-02 00:00 ~ 24:00 CST（UTC 2026-09-01T16:00:00Z ~ 2026-09-02T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明：youdu_next_log-2026.09.01 索引已按保留策略清理，youdu 侧仅剩当日索引 CST 08–24 时 16h 观测窗口（与 08-27/08-30/08-31/09-01 日报同口径）；system-log 跨 .01/.02 双索引取完整 24h。clickhouse-server 计数同时用 exact term 与通配口径（program 字段含 PID，纯 term 会漏计）。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.02 | 7,015,634 | 16h 观测窗口（周三） | ~800 万/天 | ✅ 正常（折算全天 ~1052 万，低于 1200 万阈值） |
| system-log-2026.09.01/09.02 | 13,333,739 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 10 天；clickhouse-server 连续 7 天零值，红色项保持闭环） |
环比（vs 20260901 日报）：
| 索引 | 09-01 | 09-02 | 变化 |
|---|
| youdu_next_log | 7,870,913（16h，周二） | 7,015,634（16h，周三） | -10.9%（工作日正常回落，昼间业务高峰量下降） |
| system-log | 13,025,610（24h） | 13,333,739（24h） | +2.4%（高位平台内波动，无新增刷屏源） |
2. 告警项
✅ 红色告警（保持闭环）：clickhouse-server 堆栈刷屏 — 0 条（阈值 >100）
- exact term 与
clickhouse-server* 通配双口径全天均为 0，无任何来源机器。
- 自 08-31 10:55 两台来源机（LAN_addcn_44 / LAN_addcn_46）停止刷屏后，已连续 7 个自然日零值，红色回归持续闭环，无需处置。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后 14 天保持零回归。
🟡 黄色预警：system-log 日总量 1333.4 万（>1000 万阈值，连续第 10 天）
- 环比 +2.4%，高位平台内正常波动；全天小时量 497k–635k（峰值 CST 10:00 = 635,390，最低 CST 23:00 = 496,690），昼夜波幅 ±13%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：三子句口径 573,107 条，占日总量 4.3%，改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.09.02（CST 08–24 时窗口，总量 7,015,634）
| 类别 | 数量 | 占比 | 环比 09-01 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,616 | 0.17% | 11,560 → 持平 |
| parsefail_nsq | 5,760 | 0.08% | 5,760 → 持平 |
| err_unparsed | 4,327 | 0.06% | 4,102 → +5.5% |
| parsefail_grpc（附加） | 1,728 | 0.02% | 1,535 → +12.6%（绝对量小） |
| log_type_unmatched | 5 | ~0 | 3 → 持平 |
| gin-access 缺 gin_status | 27 | ~0 | 7 → 个位数噪音 |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.09.01/09.02（完整 24h，总量 13,333,739）
| 类别 | 数量 | 占比 | 环比 09-01 |
|---|
| clickhouse-server 堆栈（exact/通配双口径） | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 313,703 | 2.4% | 326,175 → -3.8% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,742,915 | 13.1% | 1,766,020 → -1.3%，不作趋势比较 |
| _grokparsefailure | 38,364 | 0.29% | 44,011 → -12.8%（低位回落） |
真实碎片 Top5 来源（"from /" 口径口径说明同前，此处列出三子句口径的机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-01 |
|---|
| 1 | LAN_addcn_45 | dockerd（573,107）/ kubelet（5,506） | 579,422 | 600,872 → -3.6% |
| 2 | LAN_addcn_82 | haproxy[124397]（296,301）/ rpc.mountd[96046]（23,226） | 348,826 | 323,477 → +7.8% |
| 3 | LAN_addcn_22 | kubelet[1594525]（204,308） | 213,916 | 215,081 → 持平 |
| 4 | LAN_addcn_185 | kubelet[4102]（40,591）/ etcd[2067]（34,260） | 83,194 | 102,240 → -18.6% |
| 5 | LAN_addcn_137 | kubelet（64,878）/ kernel（5,676） | 75,616 | 73,432 → +3.0% |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：185k–667k 区间，典型工作日昼高夜低形态（峰值 CST 09:00 = 666,707，最低 CST 22:00 = 185,009），无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：497k–635k 高位平台（峰值 CST 10:00 = 635,390），无尖峰；凌晨 00–08 时段 588k–621k 平稳，与昼间量级一致。
5. 当日结论
两索引红色项全部通过：hook 刷屏 0 条（14 天零回归）、clickhouse-server 0 条（连续 7 天零值，闭环稳固）。youdu 16h 观测 701.6 万、折算全天约 1052 万，环比 -10.9%，属工作日正常回落，各类 parsefail 计数低位持平。system-log 完整 24h 1333.4 万，仍处 >1000 万的黄色高位平台（连续第 10 天），但小时曲线平稳无尖峰、无效碎片与 grok 失败均环比回落。整体判定：正常偏关注——无需应急处置，唯一可落地的优化项仍是把 LAN_addcn_45 的 dockerd 日志级别从 debug 调到 info（预计日减 ~57 万条，约 4.3%）。