ES 无效数据日报 — 2026-09-07（CST）
统计范围：2026-09-07 00:00 ~ 24:00 CST（UTC 2026-09-06T16:00:00Z ~ 2026-09-07T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .06/.07 双索引取完整 24h。无效碎片 match_phrase 子句打在 text 字段 syslog_message 上、regexp 打 .keyword。昨日为周一，youdu 总量自周日低峰恢复。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.07 | 8,065,810 | 16h 观测窗口（周一） | ~800 万/天 | 🟡 黄色预警（边缘）：折算全天 ~1,209.9 万，略超 1200 万阈值 0.8%；小时曲线形态正常，系周末后业务量恢复所致，非刷屏回归 |
| system-log-2026.09.06/09.07 | 12,781,680 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 15 天；clickhouse-server 连续 12 天零值，红色项保持闭环） |
环比（vs 20260906 日报）：
| 索引 | 09-06（周日） | 09-07（周一） | 变化 |
|---|
| youdu_next_log | 3,021,596（16h） | 8,065,810（16h） | +166.8%（周末低峰恢复，正常周期性反弹；vs 上周四 09-03 的 7,120,076 仅 +13.3%） |
| system-log | 12,573,710（24h） | 12,781,680（24h） | +1.7%（高位平台内小幅波动，无新增刷屏源） |
2. 告警项
✅ 红色告警（保持闭环）：clickhouse-server 堆栈刷屏 — 0 条（阈值 >100）
syslog_program.keyword = clickhouse-server 精确匹配全天为 0，无任何来源机器。- 自 08-31 10:55 两台来源机（LAN_addcn_44 / LAN_addcn_46）停止刷屏后，已连续 12 个自然日零值，红色回归持续闭环，无需处置。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后连续 19 天零回归。
🟡 黄色预警（边缘）：youdu 折算日总量 ~1,209.9 万（阈值 1200 万，超 0.8%）
- 16h 观测 806.6 万为近三期最高，但 vs 上周四 09-03 仅 +13.3%，反弹主因是周日→周一业务恢复；小时曲线无尖峰、无单一 tag 异常膨胀，无效 tag 占比仅 2.7%，判断为边缘触碰而非刷屏回归，建议今日持续观察，暂不处置。
🟡 黄色预警：system-log 日总量 1278.2 万（>1000 万阈值，连续第 15 天）
- 环比 +1.7%，高位平台内波动；全天小时量 489k–602k（峰值 CST 04:00 = 602,182，最低 CST 20:00 = 489,276），昼夜波幅 ±10%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：595,244 条，占日总量 4.7%，改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.09.07（CST 08–24 时窗口，总量 8,065,810）
| 类别 | 数量 | 占比 | 环比 09-06 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,564 | 0.14% | 11,536 → 持平 |
| parsefail_nsq | 5,760 | 0.09% | 5,760 → 持平 |
| err_unparsed | 4,298 | 0.05% | 3,890 → +10.5% |
| parsefail_grpc（附加） | 1,507 | 0.02% | 282 → +435%（低位回升，重新列入观察） |
| log_type_unmatched | 2 | ~0 | 10 → 噪音级 |
| gin-access 缺 gin_status | 3 | ~0 | 0 → 噪音级（3 条，可忽略） |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.09.06/09.07（完整 24h，总量 12,781,680）
| 类别 | 数量 | 占比 | 环比 09-06 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 284,145 | 2.2% | 287,758 → -1.2% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,670,187 | 13.1% | 1,653,598 → +1.0%，不作趋势比较 |
| _grokparsefailure | 38,188 | 0.30% | 38,320 → 持平（低位稳定） |
碎片来源 Top5（三子句口径机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-06 |
|---|
| 1 | LAN_addcn_45 | dockerd（595,244）/ kubelet（5,489） | 601,105 | 600,652 → +0.1% |
| 2 | LAN_addcn_82 | haproxy[124397]（288,111）/ rpc.mountd[96046]（23,082） | 338,991 | 320,839 → +5.7% |
| 3 | LAN_addcn_22 | kubelet[1594525]（205,761）/ filebeat[2180]（2,880） | 216,060 | 207,472 → +4.1% |
| 4 | LAN_addcn_26 | automount[1146]（57,557）/ filebeat（2,210） | 61,936 | 61,942 → 持平 |
| 5 | LAN_addcn_46 | kibana[132647]（28,752）/ systemd[1]（22,465） | 54,111 | 60,515 → -10.6% |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：308k–740k 区间，工作日形态正常（峰值 CST 09:00 = 740,354，傍晚回落至最低 CST 22:00 = 308,029），无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：489k–602k 高位平台（峰值 CST 04:00 = 602,182），无尖峰；曲线平稳。
5. 当日结论
两索引红色项全部通过：hook 刷屏 0 条（连续 19 天零回归）、clickhouse-server 0 条（连续 12 天零值，闭环稳固）。youdu 周一 16h 观测 806.6 万、折算全天约 1209.9 万，以 0.8% 的微小幅度边缘触碰 1200 万黄色阈值，但小时曲线与 tag 分布均为正常工作日形态（vs 上周四仅 +13.3%），判定为周末恢复的周期性波动而非回归，建议观察一天；parsefail_grpc 由 282 回升至 1,507，重新列入观察。system-log 完整 24h 1278.2 万，仍处黄色高位平台（连续第 15 天），环比 +1.7%、无尖峰、真实无效碎片 -1.2%。整体判定：正常偏关注——无需应急处置；压降黄色平台的落地项仍是把 LAN_addcn_45 的 dockerd 日志从 debug 调到 info（预计日减 ~59.5 万条，约 4.7%），另建议关注 youdu 总量若连续两日折算超 1200 万再升级排查。