📋 目录一、总览二、无效数据分类计数(youdu_next_lo三、无效数据分类计数(system-log-20四、告警项五、环比汇总(vs 20260923)六、当日结论

ES 无效数据日报 — 2026-09-27(周日)

时间范围:CST 2026-09-27 00:00–24:00(UTC 2026-09-26T16:00 – 2026-09-27T16:00)。
口径说明(与前期同口径):youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口,全天量按 ×1.5 折算;system-log 跨 .09.26/.09.27 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真,趋势比较以同一口径环比为准。上一份日报为 20260923(工作日周三),环比以其为基准;本日为周日,业务量天然偏低,youdu 总量环比降幅含周末因素。

一、总览

索引昨日总量口径治理后正常基线判定
youdu_next_log-2026.09.273,640,284(折算全天 ~546.0 万)CST 08–24 16h 窗口工作日 ~1100–1700 万✅ 正常(周日低位,远低于 1200 万阈值)
system-log-2026.09.26/09.2710,826,775完整 24h~1050 万/天✅ 正常(<; 1200 万阈值,较基线 +3.1%;dockerd debug 噪音 ~58 万/天仍在待办)

二、无效数据分类计数(youdu_next_log-2026.09.27)

指标本期上期(09-23)环比说明
窗口总量3,640,28411,355,760-68.0%周日 + 仅 16h 窗口,业务量回落
parsefail_kitex11,79511,922-1.1%固定底噪,稳定 ✅
parsefail_nsq2,880~2,900持平底噪 ✅
err_unparsed2,472~2,400持平底噪 ✅
log_type_unmatched66持平✅
ylog_parsefail00持平 ✅remoteAddr[0] FieldReference 治理持续有效
goapp_dissectfail / caddy_parsefail / _grokparsefailure00持平 ✅
_dissectfailure / infra_kitex_dissectfail1 + 1~1持平低位
无效/异常 tag 合计17,155(0.47%)20,377(0.18%)-15.8%占比升高纯因分母(周日总量)下降,绝对值下降 ✅
hook 刷屏("can't rename log file")00持平 ✅无回归
Invalid FieldReference00持平 ✅无回归
gin-access 缺 gin_status1~0低位可忽略
小时分布峰值 CST 15–16 时(45.8 万 / 48.1 万)——午后小高峰约为相邻时段 2–2.5 倍,形态正常,无异常尖峰

三、无效数据分类计数(system-log-2026.09.26/09.27)

指标本期上期(09-23)环比说明
总量(24h)10,826,77511,467,885-5.6%✅ 低于 1200 万阈值
事件转储回显签名("@version" => "1")1,3961见红色项核查确认为 Dissector WARN 误命中放大(详下),非回显回归
syslog_hostname 字面量(%{fields.server_name})00持平 ✅grok 修复无回归
mapper 400 × infra_day00持平 ✅
mapper 400 × apiVersion00持平 ✅tw*-cloudwatch 组合模板持续生效(09-23 起新建索引零命中)
clickhouse-server 堆栈00持平 ✅正常(≈0)
_grokparsefailure37,92226,078+45.5% ⚠️周日反常上涨,建议关注(见黄色项)
无效碎片(三子句组合口径)1,652,550(15.3%)1,168,508(10.2%)+41.4%含 [0] 误匹配失真;主要增量来自 dockerd/haproxy/kubelet
小时分布42.0 万–53.6 万/h,均匀——无异常尖峰(峰值 53.5 万/h 出现在凌晨,与 dockerd 噪音时段吻合)

无效碎片 Top5 来源(组合口径):

#机器进程本期上期备注
1LAN_addcn_45dockerd576,186394,321(+46.1%)📌 已知待办(dockerd debug 未关),标注不告警;处理后预计总量降 ~58 万/天
2LAN_addcn_82haproxy[124397]205,664165,662(+24.1%)治理候选(上升)
3LAN_addcn_22kubelet[1594525]214,239120,385(+78.1%)治理候选(明显上升)
4LAN_addcn_26automount[1174] / haproxy[12569]57,571 / 35,556—低位
5LAN_addcn_46kibana[132647] / systemd[1]28,755 / 22,465—低位

四、告警项

级别项详情
🔴 红色(规则触发,核查为误报放大)事件转储回显签名命中 1,396 条(阈值 >0)定位:LAN_addcn_35 / logstash[1214328](youdu_next_log pipeline),集中出现在 CST 02:00–05:00(约 464 条/h × 3h)+ 2 条孤立。抽样核查(_id=yqNv36ABXJEszckjfxwn 等):全部为 logstash WARN「Dissector mapping, pattern not found」携带的事件转储——Windows 有道 pebble WAL 日志(D:\Youdu\Server\...\svc_infra\log\ng_kv_err.log,WAL file ... stopped reading at offset 行)不匹配 dissect 模式 %{infra_comp} %{log_time} %{log_src}: [%{log_level}] %{log_msg},消息 JSON 内含 "@version"=>"1" 触发精确签名。非回显循环(对比修复前 ~280 万/天量级;真实回显为全天持续、指数放大形态,本例 3 小时窗口后即停止)。但较上期的 1 条/天放大 3 个数量级,凌晨批量 WARN 每条携带完整事件转储(大文档),已构成新的噪音源。建议尽快:为 ng_kv_err.log 该类 Windows 单行补 dissect/grok 分支或对 _dissectfailure WARN 降采样(即上期已建议项,现优先级提升)。
🟡 黄色_grokparsefailure 37,922(+45.5%)周日总量下降但 grok 失败反升,需在 Kibana 抽样 tags=_grokparsefailure 的 syslog_message 确认新失败模式(可与 LAN_addcn_22 kubelet / LAN_addcn_82 haproxy 碎片上涨关联)。
🟡 黄色(观察)LAN_addcn_22 kubelet 碎片 +78.1%、LAN_addcn_82 haproxy +24.1%未达告警规则,但趋势向上,建议列入下一批治理候选(kubelet log-level 调整 / haproxy 日志格式化)。
✅ 通过hook 刷屏 0;Invalid FieldReference 0;syslog_hostname 字面量 0;mapper 400(infra_day/apiVersion)均 0;clickhouse-server 0;两索引日总量均低于 1200 万阈值全部核心治理项无回归。

五、环比汇总(vs 20260923)

指标本期上期变化
youdu 窗口总量3,640,284(16h)11,355,760(16h)-68.0%(周日因素)
youdu 无效 tag 合计17,15520,377-15.8%
system-log 总量10,826,775(24h)11,467,885(24h)-5.6%
system-log _grokparsefailure37,92226,078+45.5%
system-log 无效碎片(组合口径)1,652,5501,168,508+41.4%
dockerd 碎片(LAN_addcn_45)576,186394,321+46.1%

六、当日结论

2026-09-27(周日)核心治理项全部持续有效、无真实回归:hook 刷屏、Invalid FieldReference、syslog_hostname 字面量、mapper 400(infra_day/apiVersion)、clickhouse-server 堆栈均为零,两索引总量低于阈值。唯一红色规则触发为事件转储签名 1,396 条,经抽样核查确认是 LAN_addcn_35 youdu logstash 对 Windows ng_kv_err.log(pebble WAL 行)dissect 失败的 WARN 误命中放大,非回显循环,但量级较上期(1 条)显著上升且集中在凌晨 3 小时,建议尽快补该日志的解析分支。需要关注的两项趋势:_grokparsefailure 环比 +45.5%(周日反常),kubelet/haproxy 碎片上涨明显。dockerd debug(LAN_addcn_45,~58 万/天)仍是最大单项待办。整体判定:正常偏关注(无回归;Dissector WARN 放大建议处置,grokfail 与 kubelet/haproxy 趋势列入观察)。