ES 无效数据日报 2026-09-21
统计范围：2026-09-21 00:00–24:00 CST（UTC 2026-09-20T16:00Z – 2026-09-21T16:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.20/.09.21 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。昨日为周一，工作日形态（总量回升属预期）；上一份日报为 20260920（周日），环比以其为基准。
一、总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.21 | 10,820,421 | 16h 观测窗口（周一） | ~800 万/天 | 🟡 黄色预警：折算全天 ~1623.1 万 > 1200 万阈值（周末→工作日回升 +49.5%，总量增长主因，非无效数据激增） |
| system-log-2026.09.20/09.21 | 13,762,045 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，高位平台微降 -0.3%），红色项闭环（clickhouse-server 归零） |
二、环比（vs 20260920 日报）
| 索引 | 本期 | 上期 | 变化 |
|---|
| youdu_next_log | 10,820,421（16h） | 7,237,290（16h） | +49.5%（周日→周一工作日回升，折算全天 1623.1 万 vs 1085.6 万，本项触黄色线） |
| system-log | 13,762,045（24h） | 13,809,129（24h） | -0.3%（高位平台持平） |
三、youdu_next_log-2026.09.21（CST 08–24 时窗口，总量 10,820,421）
| 指标 | 数量 | 占比 | 环比 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅（阈值 >;0，持续零值） |
| parsefail_kitex | 11,880 | 0.11% | 11,837 → +0.4%（固定底噪） |
| log_type_unmatched | 7,689 | 0.07% | 5,832 → +31.9%（随总量回升，占比持平） |
| ylog_parsefail | 7,685 | 0.07% | 5,826 → +31.9%（随总量回升） |
| parsefail_nsq | 5,760 | 0.05% | 5,760 → 持平 |
| err_unparsed | 4,576 | 0.04% | 4,487 → +2.0%（低位稳定） |
| _dissectfailure / infra_kitex_dissectfail | 各 1 | ~0 | 0 → 各 1 条（微量） |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
| gin-access 缺 gin_status | 26 | ~0 | 3 → +23（仍为微量） |
无效/异常 tag 合计 ~37,592 条、占窗口总量 ~0.35%（低位底噪，占比环比还略有下降）。
小时分布（CST 08–24）
峰值 1,055,546/h（16 时）、谷值 245,568/h（23 时），午后高峰、入夜回落的正常工作日形态，无孤立异常尖峰。
四、system-log-2026.09.20/09.21（完整 24h，总量 13,762,045）
| 指标 | 数量 | 占比 | 环比 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 3 → 归零 ✅（上期 LAN_addcn_26 残迹已消失，红色项闭环） |
| 无效碎片（三子句组合口径） | 1,700,280 | 12.4% | 1,909,845 → -11.0% |
| 无效碎片（"from /" 真实口径） | 318,966 | 2.3% | 320,783 → -0.6%（低位持平） |
| _grokparsefailure | 37,613 | 0.27% | 38,027 → -1.1%（低位稳定） |
无效碎片 Top5 来源（全天三子句口径，server × program）：
| # | 机器 | 程序 | 条数 |
|---|
| 1 | LAN_addcn_45 | dockerd | 541,089 |
| 2 | LAN_addcn_82 | haproxy[124397] | 316,455 |
| 3 | LAN_addcn_22 | kubelet[1594525] | 178,914 |
| 4 | LAN_addcn_26 | automount[1174] | 57,443 |
| 5 | LAN_addcn_20 | kubelet[3990000] | 37,333 |
小时分布（CST 00–24）
峰值 639,922/h（04 时）、谷值 525,252/h（23 时），全天 52–64 万/h 平稳波动，无异常尖峰。
五、告警汇总
| 级别 | 项目 | 详情 |
|---|
| 🔴 红色 | 无 | hook 刷屏 0；clickhouse-server 0（归零） |
| 🟡 黄色 | youdu 折算全天 ~1623.1 万 > 1200 万 | 周一工作日总量回升 +49.5% 所致；无效 tag 合计占比仅 0.35%，非无效数据回归，属业务量增长，建议连续观察 2–3 个工作日确认新平台水位 |
| 🟡 黄色 | system-log 日总量 1376.2 万 > 1000 万 | 高位平台持平 -0.3%；主因 LAN_addcn_45 dockerd 与 LAN_addcn_82 haproxy 的无效碎片（三子句口径合计 ~86 万/天），治理建议不变：对这两台的 syslog 接入做 drop/降噪 |
六、当日结论
youdu_next_log 侧治理效果稳固：hook 刷屏持续零值，无效 tag 合计 3.76 万条仅占 0.35%，但周一工作日总量回升至折算 ~1623 万，首次在无刷屏回归的情况下触黄色线，主因是业务量增长而非无效数据，建议连续观察。system-log 侧持续黄色预警但结构向好：日总量 1376 万持平，clickhouse-server 残迹归零，真实无效碎片（"from /" 口径）31.9 万微降，组合口径大幅回落 11%。碎片 Top2 来源仍为 LAN_addcn_45（dockerd）与 LAN_addcn_82（haproxy），合计约 86 万条/天，仍是下一步治理首选。整体判定：youdu 需关注（黄色，观察业务量新水位）、system-log 需关注（黄色），无红色项，无需紧急处置。