ES 无效数据日报 — 2026-09-13（CST）
统计范围：2026-09-13 00:00 ~ 24:00 CST（UTC 2026-09-12T16:00:00Z ~ 2026-09-13T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.12/.09.13 双索引取完整 24h。无效碎片 match_phrase 子句打在 text 字段 syslog_message 上、regexp 打 .keyword，三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。昨日为周日，休息日正常低量形态；上一份日报为 20260910（09-11/09-12 未生成，环比以其为基准）。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.13 | 5,227,344 | 16h 观测窗口（周日） | ~800 万/天 | 🟢 正常：折算全天 ~784.1 万，回落至 1200 万阈值与基线以内（连续 4 日超标后随周末回落） |
| system-log-2026.09.12/09.13 | 12,667,606 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，持续；clickhouse-server 保持零值，红色项闭环） |
环比（vs 20260910 日报，隔周末 + 两个未出报日）：
| 索引 | 09-10（周四） | 09-13（周日） | 变化 |
|---|
| youdu_next_log | 9,394,045（16h） | 5,227,344（16h） | -44.4%（周末业务量正常回落，折算全天 1,409 万 → 784 万） |
| system-log | 13,025,935（24h） | 12,667,606（24h） | -2.8%（高位平台内小幅回落，无新增刷屏源） |
2. 告警项
✅ 红色告警：无
- youdu hook 刷屏红线通过：
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后持续零回归。
- clickhouse-server 堆栈红线通过：
syslog_program.keyword = clickhouse-server 全天 0 条（阈值 >100），无任何来源机器；自 08-31 起持续零值，红色回归闭环。
🟢 youdu 日总量回落至正常
- 周日 16h 观测 522.7 万，折算全天 ~784.1 万，低于 1200 万阈值，亦回到 ~800 万基线附近；此前 09-07 起连续 4 个出报日折算超标，结合周末大幅回落判断：超标主要由工作日有效业务日志（parsed_caddy / parsed_gin / parsed_goapp）增长驱动，休息日自然回落，非刷屏/解析故障回归。工作日是否重回超标待 09-14（周一）验证。
🟡 黄色预警：system-log 日总量 1,266.8 万（>1000 万阈值，持续）
- 环比 -2.8%，高位平台内波动；全天小时量 497k–603k（峰值 CST 04:00 = 603,443，最低 CST 23:00 = 498,486），昼夜波幅 ±10%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：595,261 条（三子句口径），占日总量 4.7%，改 info 级的处置建议不变（预计日减 ~60 万条）。
3. 无效数据分类计数
youdu_next_log-2026.09.13（CST 08–24 时窗口，总量 5,227,344）
| 类别 | 数量 | 占比 | 环比 09-10 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,533 | 0.22% | 11,560 → 持平（-0.2%） |
| parsefail_nsq | 5,760 | 0.14% | 5,760 → 持平 |
| err_unparsed | 3,918 | 0.07% | 4,283 → -8.5% |
| parsefail_grpc（观察项） | 417 | 0.01% | 1,277 → -67.3%（大幅回落，趋势向好） |
| log_type_unmatched | 2 | ~0 | 2 → 持平（噪音级） |
| gin-access 缺 gin_status | 0 | 0 | 2 → 持平 ✅ |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
无效 tag 合计 ~21,630 条、占比 ~0.41%；绝对量与工作日基本持平（kitex/nsq 为固定底噪），占比升高仅因分母（周日总量）变小。
system-log-2026.09.12/09.13（完整 24h，总量 12,667,606）
| 类别 | 数量 | 占比 | 环比 09-10 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 289,687 | 2.3% | 295,295 → -1.9% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,668,751 | 13.2% | 1,702,792 → -2.0%，不作趋势比较 |
| _grokparsefailure | 38,012 | 0.30% | 37,379 → +1.7%（低位稳定） |
碎片来源 Top5（三子句口径机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-10 |
|---|
| 1 | LAN_addcn_45 | dockerd（595,261）/ kubelet（5,526） | 601,139 | 601,869 → -0.1% |
| 2 | LAN_addcn_82 | haproxy[124397]（283,689）/ rpc.mountd[96046]（34,360） | 345,774 | 365,067 → -5.3% |
| 3 | LAN_addcn_22 | kubelet[1594525]（155,132） | 160,583 | 201,893 → -20.5%（回落明显） |
| 4 | LAN_addcn_20 | kubelet[3990000]（55,199）/ portworx[1454]（21,394） | 81,976 | —（新进 Top5，替代原第 5 位 LAN_addcn_46） |
| 5 | LAN_addcn_26 | automount[1146]（57,570）/ filebeat（2,204） | 61,940 | 61,932 → 持平 |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：290k–359k 区间，周日平缓形态（峰值 CST 13:00 = 358,519，最低 CST 19:00 = 289,983），昼夜波幅小，无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：497k–603k 高位平台（峰值 CST 04:00 = 603,443，最低 CST 23:00 = 498,486），无尖峰；曲线平稳。
5. 当日结论
昨日（周日）两索引红色项全部通过：hook 刷屏 0 条、clickhouse-server 0 条，治理回归持续闭环。youdu 16h 观测 522.7 万、折算全天 ~784 万，随周末回落至 1200 万阈值与 ~800 万基线以内，验证了此前连续超标源自工作日有效业务日志增长而非治理回归，需以 09-14（周一）数据确认工作日是否重回黄色。system-log 完整 24h 1,266.8 万，仍处黄色高位平台（环比 -2.8%），无尖峰，真实无效碎片 29.0 万小幅回落，_grokparsefailure 低位稳定，各无效分类全部持平或回落。整体判定：正常偏需关注——无需应急处置；两条跟踪项不变：① 周一（09-14）复核 youdu 日总量是否重新超 1200 万并推进增长来源排查结论，② 继续推动 LAN_addcn_45 dockerd 由 debug 改 info（预计日减 ~60 万条）。