ES 无效数据日报 — 2026-09-03（CST）
统计范围：2026-09-03 00:00 ~ 24:00 CST（UTC 2026-09-02T16:00:00Z ~ 2026-09-03T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口（与 08-27 以来各期日报同口径）；system-log 跨 .02/.03 双索引取完整 24h。clickhouse-server 用 exact term + 通配双口径；无效碎片 match_phrase 子句须打在 text 字段 syslog_message 上（打 .keyword 会整体漏计，本期已修正口径并复核）。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.03 | 7,120,076 | 16h 观测窗口（周四） | ~800 万/天 | ✅ 正常（折算全天 ~1068 万，低于 1200 万阈值） |
| system-log-2026.09.02/09.03 | 12,949,727 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 11 天；clickhouse-server 连续 8 天零值，红色项保持闭环） |
环比（vs 20260902 日报）：
| 索引 | 09-02 | 09-03 | 变化 |
|---|
| youdu_next_log | 7,015,634（16h，周三） | 7,120,076（16h，周四） | +1.5%（工作日平台内正常波动） |
| system-log | 13,333,739（24h） | 12,949,727（24h） | -2.9%（高位平台内回落，无新增刷屏源） |
2. 告警项
✅ 红色告警（保持闭环）：clickhouse-server 堆栈刷屏 — 0 条（阈值 >100）
- exact term 与
clickhouse-server* 通配双口径全天均为 0，无任何来源机器。
- 自 08-31 10:55 两台来源机（LAN_addcn_44 / LAN_addcn_46）停止刷屏后，已连续 8 个自然日零值，红色回归持续闭环，无需处置。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后 15 天保持零回归。
🟡 黄色预警：system-log 日总量 1295.0 万（>1000 万阈值，连续第 11 天）
- 环比 -2.9%，高位平台内回落；全天小时量 484k–605k（峰值 CST 03:00 = 605,188，最低 CST 23:00 = 483,674），昼夜波幅 ±11%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：577,326 条，占日总量 4.5%，改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.09.03（CST 08–24 时窗口，总量 7,120,076）
| 类别 | 数量 | 占比 | 环比 09-02 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,573 | 0.16% | 11,616 → 持平 |
| parsefail_nsq | 5,760 | 0.08% | 5,760 → 持平 |
| err_unparsed | 4,701 | 0.07% | 4,327 → +8.6% |
| parsefail_grpc（附加） | 4,202 | 0.06% | 1,728 → +143%（绝对量仍小，持续观察） |
| log_type_unmatched | 8 | ~0 | 5 → 噪音级 |
| gin-access 缺 gin_status | 5 | ~0 | 27 → 个位数噪音 |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.09.02/09.03（完整 24h，总量 12,949,727）
| 类别 | 数量 | 占比 | 环比 09-02 |
|---|
| clickhouse-server 堆栈（exact/通配双口径） | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 309,077 | 2.4% | 313,703 → -1.5% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,680,622 | 13.0% | 1,742,915 → -3.6%，不作趋势比较 |
| _grokparsefailure | 38,323 | 0.30% | 38,364 → 持平（低位稳定） |
真实碎片 Top5 来源（三子句口径机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-02 |
|---|
| 1 | LAN_addcn_45 | dockerd（577,326）/ kubelet（5,557） | 583,479 | 579,422 → +0.7% |
| 2 | LAN_addcn_82 | haproxy[124397]（294,958）/ rpc.mountd[96046]（23,234） | 340,272 | 348,826 → -2.5% |
| 3 | LAN_addcn_22 | kubelet[1594525]（203,401） | 213,788 | 213,916 → 持平 |
| 4 | LAN_addcn_137 | kubelet（65,661）/ kernel（5,676） | 76,562 | 75,616 → +1.3% |
| 5 | LAN_addcn_26 | automount[1146]（57,546）/ filebeat（2,137） | 61,905 | 新进 Top5（取代 LAN_addcn_185） |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：185k–690k 区间，典型工作日昼高夜低形态（峰值 CST 17:00 = 690,114，最低 CST 23:00 = 185,136），无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：484k–605k 高位平台（峰值 CST 03:00 = 605,188），无尖峰；昼间略低于凌晨，曲线平稳。
5. 当日结论
两索引红色项全部通过：hook 刷屏 0 条（15 天零回归）、clickhouse-server 0 条（连续 8 天零值，闭环稳固）。youdu 16h 观测 712.0 万、折算全天约 1068 万，环比 +1.5%，各类 parsefail 低位持平，唯 parsefail_grpc 由 1,728 增至 4,202（+143%），绝对量小，建议列入观察。system-log 完整 24h 1295.0 万，仍处 >1000 万的黄色高位平台（连续第 11 天），但环比回落 2.9%、小时曲线平稳无尖峰、无效碎片与 grok 失败均环比下降。整体判定：正常偏关注——无需应急处置，可落地优化项仍是把 LAN_addcn_45 的 dockerd 日志级别从 debug 调到 info（预计日减 ~58 万条，约 4.5%）。