ES 无效数据日报 — 2026-09-08（CST）
统计范围：2026-09-08 00:00 ~ 24:00 CST（UTC 2026-09-07T16:00:00Z ~ 2026-09-08T16:00:00Z）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）
数据来源：ES 只读查询，total 均启用 track_total_hits
口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .07/.08 双索引取完整 24h。无效碎片 match_phrase 子句打在 text 字段 syslog_message 上、regexp 打 .keyword。昨日为周二，工作日正常形态。
1. 总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.08 | 8,980,182 | 16h 观测窗口（周二） | ~800 万/天 | 🟡 黄色预警：折算全天 ~1,347.0 万，超 1200 万阈值 12.3%，连续第 2 日折算超标，触发上期预设的升级观察条件 |
| system-log-2026.09.07/09.08 | 12,892,616 | 完整 24h | ~700 万/天 | 🟡 黄色预警（>1000 万，连续第 16 天；clickhouse-server 连续 13 天零值，红色项保持闭环） |
环比（vs 20260907 日报）：
| 索引 | 09-07（周一） | 09-08（周二） | 变化 |
|---|
| youdu_next_log | 8,065,810（16h） | 8,980,182（16h） | +11.3%（vs 上周四 09-03 的 7,120,076 已 +26.1%，连续两日上行，超过周末恢复的常规幅度，需关注） |
| system-log | 12,781,680（24h） | 12,892,616（24h） | +0.9%（高位平台内小幅波动，无新增刷屏源） |
2. 告警项
✅ 红色告警（保持闭环）：clickhouse-server 堆栈刷屏 — 0 条（阈值 >100）
syslog_program.keyword = clickhouse-server 精确匹配全天为 0，无任何来源机器。- 自 08-31 10:55 两台来源机（LAN_addcn_44 / LAN_addcn_46）停止刷屏后，已连续 13 个自然日零值，红色回归持续闭环，无需处置。
✅ youdu hook 刷屏红线通过
match_phrase "can't rename log file" = 0（阈值 >0 即红），治理后连续 20 天零回归。
🟡 黄色预警：youdu 折算日总量 ~1,347.0 万（超 1200 万阈值 12.3%，连续第 2 日）
- 16h 观测 898.0 万，环比 +11.3%；vs 上周四 09-03 已 +26.1%，超过了「周一周末恢复」所能解释的幅度（上期预判：连续两日折算超 1200 万即升级排查）。
- 小时曲线为正常工作日形态（峰值 CST 09:00 = 742,940，最低 CST 23:00 = 309,512），无尖峰；无效 tag 合计占比仅 ~0.3%，增长来自有效业务日志（parsed_goapp / parsed_caddy / parsed_gin 均同步走高），非刷屏/解析故障回归。建议：按上期预设升级为排查项，重点核对 09-03 → 09-08 期间 parsed_goapp/parsed_caddy 的增长来源（新服务上线、流量增长或日志级别调整），必要时收紧对应 logger 级别。
🟡 黄色预警：system-log 日总量 1289.3 万（>1000 万阈值，连续第 16 天）
- 环比 +0.9%，高位平台内波动；全天小时量 500k–607k（峰值 CST 06:00 = 607,113，最低 CST 23:00 = 499,564），昼夜波幅 ±10%，无异常尖峰。
- 剩余最大单一可压缩项仍为 dockerd@LAN_addcn_45 debug 日志：595,052 条，占日总量 4.6%，改 info 级的处置建议不变。
3. 无效数据分类计数
youdu_next_log-2026.09.08（CST 08–24 时窗口，总量 8,980,182）
| 类别 | 数量 | 占比 | 环比 09-07 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅ |
| parsefail_kitex | 11,563 | 0.13% | 11,564 → 持平 |
| parsefail_nsq | 5,760 | 0.08% | 5,760 → 持平 |
| err_unparsed | 4,088 | 0.05% | 4,298 → -4.9% |
| parsefail_grpc（观察项） | 1,124 | 0.01% | 1,507 → -25.4%（回落，继续观察） |
| log_type_unmatched | 5 | ~0 | 2 → 噪音级 |
| gin-access 缺 gin_status | 12 | ~0 | 3 → 噪音级（仍可忽略） |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
system-log-2026.09.07/09.08（完整 24h，总量 12,892,616）
| 类别 | 数量 | 占比 | 环比 09-07 |
|---|
| clickhouse-server 堆栈 | 0 | 0 | 0 → 持平 ✅ |
| 无效碎片总量（"from /" 真实口径） | 284,833 | 2.2% | 284,145 → +0.2% |
三子句组合口径（参考，含 [0] 误匹配失真） | 1,691,369 | 13.1% | 1,670,187 → +1.3%，不作趋势比较 |
| _grokparsefailure | 37,716 | 0.29% | 38,188 → -1.2%（低位稳定） |
碎片来源 Top5（三子句口径机器分布，与真实口径来源一致）：
| # | 机器 | 程序（Top） | 数量（三子句口径） | 环比 09-07 |
|---|
| 1 | LAN_addcn_45 | dockerd（595,052）/ kubelet（5,453） | 600,822 | 601,105 → -0.05% |
| 2 | LAN_addcn_82 | haproxy[124397]（302,926）/ rpc.mountd[96046]（23,122） | 355,380 | 338,991 → +4.8% |
| 3 | LAN_addcn_22 | kubelet[1594525]（211,007）/ filebeat[2180]（2,880） | 220,454 | 216,060 → +2.0% |
| 4 | LAN_addcn_26 | automount[1146]（57,559）/ filebeat（2,201） | 61,979 | 61,936 → 持平 |
| 5 | LAN_addcn_46 | kibana[132647]（28,751）/ systemd[1]（22,465） | 54,113 | 54,111 → 持平 |
4. 小时分布与尖峰
- youdu（CST 08–24 观测）：309k–743k 区间，工作日形态正常（峰值 CST 09:00 = 742,940，夜间回落至最低 CST 23:00 = 309,512），无异常尖峰；hook 全天为 0。
- system-log（完整 24h）：500k–607k 高位平台（峰值 CST 06:00 = 607,113），无尖峰；曲线平稳。
5. 当日结论
两索引红色项全部通过：hook 刷屏 0 条（连续 20 天零回归）、clickhouse-server 0 条（连续 13 天零值，闭环稳固）。youdu 周二 16h 观测 898.0 万、折算全天约 1347.0 万，超阈值 12.3% 且为连续第 2 日折算超标，触发上期预设的升级条件——但小时曲线无尖峰、无效 tag 占比极低，增量来自 parsed_goapp/parsed_caddy/parsed_gin 等有效业务日志，判定为业务量真实增长而非治理回归，需按计划排查增长来源。system-log 完整 24h 1289.3 万，仍处黄色高位平台（连续第 16 天），环比 +0.9%、无尖峰、真实无效碎片 +0.2%，形态稳定。整体判定：需关注——无需应急处置；两条落地项：① 排查 youdu 有效日志 09-03 以来 +26% 的来源（新服务/流量/日志级别），② 继续推动 LAN_addcn_45 dockerd 由 debug 改 info（预计日减 ~59.5 万条）。