ES 无效数据日报 2026-09-20
统计范围：2026-09-20 00:00–24:00 CST（UTC 2026-09-19T16:00Z – 2026-09-20T16:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.19/.09.20 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。昨日为周日，周末形态（总量天然偏低）；上一份日报为 20260919（周六），环比以其为基准。
一、总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.20 | 7,237,290 | 16h 观测窗口（周日） | ~800 万/天 | ✅ 正常：折算全天 ~1085.6 万 < 1200 万阈值（周日回升，仍低于黄色线） |
| system-log-2026.09.19/09.20 | 13,809,129 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，高位平台回落 -2.9%），红色项基本闭环（clickhouse-server 仅 3 条残迹） |
二、环比（vs 20260919 日报）
| 索引 | 本期 | 上期 | 变化 |
|---|
| youdu_next_log | 7,237,290（16h） | 3,927,666（16h） | +84.2%（周六谷底后周日回升，折算全天 1085.6 万 vs 589.1 万，仍在阈值内） |
| system-log | 13,809,129（24h） | 14,215,299（24h） | -2.9%（高位平台小幅回落） |
三、youdu_next_log-2026.09.20（CST 08–24 时窗口，总量 7,237,290）
| 指标 | 数量 | 占比 | 环比 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅（阈值 >;0，持续零值） |
| parsefail_kitex | 11,837 | 0.16% | 11,843 → -0.1%（固定底噪） |
| log_type_unmatched | 5,832 | 0.08% | 6,332 → -7.9%（持续回落） |
| ylog_parsefail | 5,826 | 0.08% | 6,330 → -0.8%（延续上期低位，量小，持续观察） |
| parsefail_nsq | 5,760 | 0.08% | 5,760 → 持平 |
| err_unparsed | 4,487 | 0.06% | 4,434 → +1.2%（低位稳定） |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
| gin-access 缺 gin_status | 3 | ~0 | 2 → +1（微量） |
无效/异常 tag 合计 ~33,745 条、占窗口总量 ~0.47%（低位底噪）。
小时分布（CST 08–24）
峰值 654,246/h（14 时）、谷值 203,276/h（23 时），白天高、入夜回落，形态正常，无异常尖峰。
四、system-log-2026.09.19/09.20（完整 24h，总量 13,809,129）
| 指标 | 数量 | 占比 | 环比 |
|---|
| clickhouse-server 堆栈 | 3 | ~0 | 0 → 出现 3 条残迹（来源 LAN_addcn_26，远低于阈值 >100，非告警，持续观察） |
| 无效碎片（三子句组合口径） | 1,909,845 | 13.8% | 1,995,267 → -4.3% |
| 无效碎片（"from /" 真实口径） | 320,783 | 2.3% | 305,312 → +5.1%（低位小幅波动） |
| _grokparsefailure | 38,027 | 0.28% | 37,332 → +1.9%（低位稳定） |
无效碎片 Top5 来源（全天三子句口径，server × program）：
| # | 机器 | 程序 | 条数 |
|---|
| 1 | LAN_addcn_45 | dockerd | 570,178 |
| 2 | LAN_addcn_82 | haproxy[124397] | 503,968 |
| 3 | LAN_addcn_22 | kubelet[1594525] | 181,929 |
| 4 | LAN_addcn_20 | kubelet[3990000] | 34,980 |
| 5 | LAN_addcn_26 | automount[1213] | 33,204 |
小时分布（CST 00–24）
峰值 717,364/h（00 时）、谷值 521,556/h（23 时），全天 52–72 万/h 平稳波动，无异常尖峰。
五、告警汇总
| 级别 | 项目 | 详情 |
|---|
| 🔴 红色 | 无 | hook 刷屏 0；clickhouse-server 仅 3 条（LAN_addcn_26）远低于 >100 阈值 |
| 🟡 黄色 | system-log 日总量 1380.9 万 > 1000 万 | 高位平台回落 -2.9%；主因 LAN_addcn_45 dockerd 与 LAN_addcn_82 haproxy 的无效碎片（合计 ~107 万/天），建议对这两台的 syslog 接入做 drop/降噪治理 |
| ✅ 正常 | youdu 折算全天 ~1085.6 万 < 1200 万 | 周日回升但未触阈值；各类无效 tag 均为低位底噪 |
六、当日结论
youdu_next_log 侧正常：hook 刷屏持续零值，无效 tag 合计仅占 0.47%，周日总量自周六谷底回升 84% 至折算 ~1085.6 万，仍低于 1200 万黄色阈值。system-log 侧持续黄色预警：日总量 1380.9 万小幅回落 2.9%，真实无效碎片（"from /" 口径）32.1 万条微升 5.1%，增量主要仍来自正常业务日志。碎片 Top2 来源继续集中在 LAN_addcn_45（dockerd）与 LAN_addcn_82（haproxy），合计约 107 万条/天，仍是下一步治理的首选目标。clickhouse-server 出现 3 条残迹（LAN_addcn_26），远低于红线阈值，属观察级而非回归。整体判定：youdu 正常、system-log 需关注（黄色），无红色项，无需紧急处置。