ES 无效数据日报 2026-09-19
统计范围：2026-09-19 00:00–24:00 CST（system-log 为 UTC 2026-09-18T16:00Z – 2026-09-19T16:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.18/.09.19 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。昨日为周六，周末形态（总量天然偏低）；上一份日报为 20260917（周四），环比以其为基准。
一、总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.19 | 3,927,666 | 16h 观测窗口（周六） | ~800 万/天 | ✅ 正常：折算全天 ~589.1 万 < 1200 万阈值（周末回落明显） |
| system-log-2026.09.18/09.19 | 14,215,299 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，高位平台续涨 +3.0%），红色项持续闭环 |
二、环比（vs 20260917 日报）
| 索引 | 本期 | 上期 | 变化 |
|---|
| youdu_next_log | 3,927,666（16h） | 10,681,581→9,900,462（16h） | -60.3%（周六周末形态，折算全天 589.1 万 vs 1485.1 万） |
| system-log | 14,215,299（24h） | 13,796,837（24h） | +3.0%（高位平台继续小幅抬升） |
三、youdu_next_log-2026.09.19（CST 08–24 时窗口，总量 3,927,666）
| 指标 | 数量 | 占比 | 环比 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅（阈值 >;0，持续零值） |
| parsefail_kitex | 11,843 | 0.30% | 11,570 → +2.4%（固定底噪） |
| log_type_unmatched | 6,332 | 0.16% | 28,980 → -78.1%（上期单文件突刺未再现，回落） |
| ylog_parsefail | 6,330 | 0.16% | 0 → 新增低位项（周末 ylog 异常，量小，持续观察） |
| parsefail_nsq | 5,760 | 0.15% | 5,760 → 持平 |
| err_unparsed | 4,434 | 0.11% | 4,485 → -1.1%（低位稳定） |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
| gin-access 缺 gin_status | 2 | ~0 | 20 → -18（微量） |
无效/异常 tag 合计 ~34,699 条、占窗口总量 ~0.88%（剔除 ylog 新增项后 ~0.72%，均为低位底噪）。
小时分布（CST 08–24）
峰值 283,575/h（19 时）、谷值 198,984/h（10 时），周末平缓形态，无异常尖峰。
四、system-log-2026.09.18/09.19（完整 24h，总量 14,215,299）
| 指标 | 数量 | 占比 | 环比 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 0 → 持平 ✅（阈值 >;100，持续零值，无来源机器） |
| 无效碎片（三子句组合口径） | 1,995,267 | 14.0% | 1,841,887 → +8.3% |
| 无效碎片（"from /" 真实口径） | 305,312 | 2.1% | 428,242 → -28.7%（明显回落）⚠️→✅ |
| _grokparsefailure | 37,332 | 0.26% | 37,855 → -1.4%（低位稳定） |
无效碎片 Top5 来源（全天三子句口径，server × program）：
| # | 机器 | 程序 | 条数 |
|---|
| 1 | LAN_addcn_82 | haproxy[124397] | 602,754 |
| 2 | LAN_addcn_45 | dockerd | 576,152 |
| 3 | LAN_addcn_22 | kubelet[1594525] | 152,211 |
| 4 | LAN_addcn_20 | kubelet[3990000] | 58,551 |
| 5 | LAN_addcn_26 | automount[1213] | 57,578 |
小时分布（CST 00–24）
峰值 738,272/h（周六 06 时）、谷值 522,798/h（21 时），全天 52–74 万/h 平稳波动，无异常尖峰。
五、告警汇总
| 级别 | 项目 | 详情 |
|---|
| 🔴 红色 | 无 | hook 刷屏 0、clickhouse-server 0，两项治理红线持续闭环 |
| 🟡 黄色 | system-log 日总量 1421.5 万 > 1000 万 | 高位平台续涨 +3.0%；主因 LAN_addcn_82 haproxy 与 LAN_addcn_45 dockerd 的无效碎片（合计 ~118 万/天），建议对这两台的 syslog 接入做 drop/降噪治理 |
| ✅ 正常 | youdu 折算全天 ~589 万 < 1200 万 | 周末形态；上期 log_type_unmatched 单文件突刺未再现 |
六、当日结论
youdu_next_log 侧完全正常：hook 刷屏零值，上期 ng_push 单文件突刺未再现，总量随周末回落至折算 ~589 万，远低于黄色阈值。system-log 侧持续黄色预警：日总量 1421.5 万再涨 3%，但真实无效碎片（"from /" 口径）大幅回落 28.7%，说明增量主要来自正常业务日志而非垃圾数据。碎片 Top2 来源仍集中在 LAN_addcn_82（haproxy）与 LAN_addcn_45（dockerd），合计约 118 万条/天，是下一步治理的首选目标。两项红色治理红线（hook 刷屏、clickhouse-server 堆栈）持续保持零值。整体判定：youdu 正常、system-log 需关注（黄色），无红色项，无需紧急处置。