ES 无效数据日报 2026-09-23（周三）
治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已修复）；2026-09-22（logstash 自噬回显消除、syslog_hostname 字面量修复、youdu remoteAddr[0] FieldReference 修复、infra_day 横杠日期修复、tw*-cloudwatch apiVersion 组合模板）。2026-09-22 为修复过渡日（15:00–17:00 CST 陆续生效），2026-09-23 是修复后首个完整常态观测日，各项指标可与 09-23 起的常态值直接对齐。
口径说明（与 08-27 以来各期同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.22/.09.23 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。上一份日报为 20260921（周一），环比以其为基准（09-22 为过渡日不做基准）。时间范围：CST 2026-09-23 00:00–24:00（UTC 2026-09-22T16:00 – 2026-09-23T16:00）。
一、总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.23 | 11,355,760 | 16h 观测窗口（周三） | ~800 万/天 | 🟡 黄色：折算全天 ~1703.4 万 > 1200 万阈值（工作日业务量平台，非无效数据激增，见下） |
| system-log-2026.09.22/09.23 | 11,467,885 | 完整 24h | ~1050 万/天 | ✅ 正常（<; 1200 万阈值，较基线 +9.2%；dockerd debug 噪音 ~40 万/天仍在待办，处理后预计降至 ~1000 万以内） |
二、环比（vs 20260921 日报）
| 索引 | 本期 | 上期 | 变化 |
|---|
| youdu_next_log | 11,355,760（16h） | 10,820,421（16h） | +5.0%（周一→周三工作日平台，折算全天 1703.4 万 vs 1623.1 万） |
| system-log | 11,467,885（24h） | 13,762,045（24h） | -16.7%（09-22 logstash 自噬回显修复后首个常态日，~280 万/天回显消失，降幅与修复量级吻合 ✅） |
三、youdu_next_log-2026.09.23（CST 08–24 时窗口，总量 11,355,760）
| 指标 | 数量 | 占比 | 环比 |
|---|
| hook 刷屏（can't rename log file） | 0 | 0 | 0 → 持平 ✅（阈值 >;0，持续零值） |
| Invalid FieldReference | 0 | 0 | 修复后首日，归零 ✅（阈值 >;0 黄 / >100 红） |
| ylog_parsefail | 0 | 0 | 7,685 → -100% 归零 ✅（remoteAddr[0] 键名 ruby 清洗修复生效，无需再抽样） |
| parsefail_kitex | 11,922 | 0.10% | 11,880 → +0.4%（固定底噪，稳定） |
| parsefail_nsq | 4,560 | 0.04% | 5,760 → -20.8%（下降） |
| err_unparsed | 3,868 | 0.03% | 4,576 → -15.4%（低位稳定） |
| log_type_unmatched | 23 | ~0 | 7,689 → -99.7%（大幅收敛，与 ylog 修复同源） |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ |
| gin-access 缺 gin_status | 27 | ~0 | 26 → +1（微量） |
| _dissectfailure / infra_kitex_dissectfail | 各 1 | ~0 | 各 1 → 持平（微量） |
无效/异常 tag 合计 ~20,377 条、占窗口总量 ~0.18%（上期 37,592 / 0.35%，占比减半，治理效果显著）。
小时分布：峰值 CST 09–11 时（UTC 01–02Z，105.4 万 / 107.8 万条/h），低谷 CST 23–24 时（31.8 万条/h），呈正常业务日形态，无异常尖峰。
四、system-log-2026.09.22/09.23（完整 24h，总量 11,467,885）
| 指标 | 数量 | 占比 | 环比 |
|---|
| 事件转储回显（"@version" => "1" 精确签名） | 1 | ~0 | 见红色/黄色项说明 ⚠️ |
| syslog_hostname 字面量（%{fields.server_name}） | 0 | 0 | 修复后保持零值 ✅ |
| mapper 400：infra_day | 0 | 0 | 修复后保持零值 ✅ |
| mapper 400：apiVersion | 0 | 0 | 组合模板自 09-23 生效，归零符合预期 ✅（若非 0 需核对 _index_template/tw-cloudwatch-fix";） |
| clickhouse-server 堆栈 | 0 | 0 | 持续零值 ✅ |
| 无效碎片（三子句组合口径） | 1,168,508 | 10.2% | 1,700,280 → -31.3% |
| _grokparsefailure | 26,078 | 0.23% | 37,613 → -30.6%（下降） |
无效碎片 Top5 来源（组合口径）：
| # | 机器 | 程序 | 条数 | 备注 |
|---|
| 1 | LAN_addcn_45 | dockerd | 394,321 | 📌 已知待办（dockerd debug 未关），标注不告警 |
| 2 | LAN_addcn_82 | haproxy[124397] | 165,662 | 治理候选 |
| 3 | LAN_addcn_22 | kubelet[1594525] | 120,385 | 治理候选 |
| 4 | LAN_addcn_26 | automount[1174] | 38,375 | 低位 |
| 5 | LAN_addcn_20 | kubelet[3990000] | 31,583 | 低位 |
小时分布：24h 各小时 42–57 万条，分布平坦，无异常尖峰（回显修复前的高位平台已消失）。
五、告警项
| 级别 | 项目 | 详情 |
|---|
| 🔴 红色（规则触发） | 事件转储回显签名命中 1 条 | 定位：LAN_addcn_35 / logstash[1214328]，时间 2026-09-23 13:51 CST。核查样本（_id=JTPSzKABXJEszckjEAhk）：实为 logstash WARN「Dissector mapping, pattern not found」携带的事件转储（youdu_next_log pipeline 对 Windows 有道 pebble WAL 日志 WAL file ... stopped reading at offset 的 dissect 模式 %{infra_comp} %{log_time} ... 不匹配），消息 JSON 内含 "@version"=>"1" 触发精确签名。非批量回显回归（对比修复前 ~280 万/天），量级孤立。建议：为该类 Windows 单行日志补充 dissect/grok 分支，或对 _dissectfailure 事件的 WARN 降采样，避免再触发签名误报。 |
| 🟡 黄色 | youdu 折算全天 ~1703.4 万 > 1200 万 | 工作日业务量平台（连续两个工作日 >1600 万），无效 tag 合计占比仅 0.18% 且减半，非无效数据回归；建议确认此为常态水位并考虑上调阈值或扩容。 |
| ✅ 通过 | hook 刷屏 0 / Invalid FieldReference 0 / syslog_hostname 字面量 0 / mapper 400（infra_day、apiVersion）0 / clickhouse-server 0 | 09-22 各项修复在首个常态日均验证通过。 |
六、结论
2026-09-23 是 09-22 集中修复后的首个完整常态日，核心治理全部验证通过：ylog_parsefail 与 log_type_unmatched 归零（-100%/-99.7%）、Invalid FieldReference 零值、system-log 总量 -16.7%（回显消失的量级吻合）、apiVersion mapper 400 归零确认模板生效。youdu 侧唯一黄色项为工作日业务量平台（折算 ~1703 万，无效占比仅 0.18%），建议确认新水位后调阈值；system-log 侧 1146.8 万接近 1050 万基线，dockerd（LAN_addcn_45，~39 万/天）仍为最大单项待办。红色规则唯一触发为 1 条 logstash Dissector WARN 携带事件转储的签名误命中（LAN_addcn_35），非批量回显，建议补 Windows 日志解析分支。整体判定：正常偏关注（治理成效显著，无真实回归；youdu 黄色为业务量，dockerd 待办推进即可）。