时间范围:CST 2026-09-27 00:00–24:00(UTC 2026-09-26T16:00 – 2026-09-27T16:00)。
口径说明(与前期同口径):youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口,全天量按 ×1.5 折算;system-log 跨.09.26/.09.27双索引取完整 24h。无效碎片三子句组合口径含[0]误匹配失真,趋势比较以同一口径环比为准。上一份日报为 20260923(工作日周三),环比以其为基准;本日为周日,业务量天然偏低,youdu 总量环比降幅含周末因素。
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|---|---|---|---|
| youdu_next_log-2026.09.27 | 3,640,284(折算全天 ~546.0 万) | CST 08–24 16h 窗口 | 工作日 ~1100–1700 万 | ✅ 正常(周日低位,远低于 1200 万阈值) |
| system-log-2026.09.26/09.27 | 10,826,775 | 完整 24h | ~1050 万/天 | ✅ 正常(< 1200 万阈值,较基线 +3.1%;dockerd debug 噪音 ~58 万/天仍在待办) |
| 指标 | 本期 | 上期(09-23) | 环比 | 说明 |
|---|---|---|---|---|
| 窗口总量 | 3,640,284 | 11,355,760 | -68.0% | 周日 + 仅 16h 窗口,业务量回落 |
| parsefail_kitex | 11,795 | 11,922 | -1.1% | 固定底噪,稳定 ✅ |
| parsefail_nsq | 2,880 | ~2,900 | 持平 | 底噪 ✅ |
| err_unparsed | 2,472 | ~2,400 | 持平 | 底噪 ✅ |
| log_type_unmatched | 6 | 6 | 持平 | ✅ |
| ylog_parsefail | 0 | 0 | 持平 ✅ | remoteAddr[0] FieldReference 治理持续有效 |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 | 0 | 持平 ✅ | |
| _dissectfailure / infra_kitex_dissectfail | 1 + 1 | ~1 | 持平 | 低位 |
| 无效/异常 tag 合计 | 17,155(0.47%) | 20,377(0.18%) | -15.8% | 占比升高纯因分母(周日总量)下降,绝对值下降 ✅ |
| hook 刷屏("can't rename log file") | 0 | 0 | 持平 ✅ | 无回归 |
| Invalid FieldReference | 0 | 0 | 持平 ✅ | 无回归 |
| gin-access 缺 gin_status | 1 | ~0 | 低位 | 可忽略 |
| 小时分布 | 峰值 CST 15–16 时(45.8 万 / 48.1 万) | — | — | 午后小高峰约为相邻时段 2–2.5 倍,形态正常,无异常尖峰 |
| 指标 | 本期 | 上期(09-23) | 环比 | 说明 |
|---|---|---|---|---|
| 总量(24h) | 10,826,775 | 11,467,885 | -5.6% | ✅ 低于 1200 万阈值 |
| 事件转储回显签名("@version" => "1") | 1,396 | 1 | 见红色项 | 核查确认为 Dissector WARN 误命中放大(详下),非回显回归 |
| syslog_hostname 字面量(%{fields.server_name}) | 0 | 0 | 持平 ✅ | grok 修复无回归 |
| mapper 400 × infra_day | 0 | 0 | 持平 ✅ | |
| mapper 400 × apiVersion | 0 | 0 | 持平 ✅ | tw*-cloudwatch 组合模板持续生效(09-23 起新建索引零命中) |
| clickhouse-server 堆栈 | 0 | 0 | 持平 ✅ | 正常(≈0) |
| _grokparsefailure | 37,922 | 26,078 | +45.5% ⚠️ | 周日反常上涨,建议关注(见黄色项) |
| 无效碎片(三子句组合口径) | 1,652,550(15.3%) | 1,168,508(10.2%) | +41.4% | 含 [0] 误匹配失真;主要增量来自 dockerd/haproxy/kubelet |
| 小时分布 | 42.0 万–53.6 万/h,均匀 | — | — | 无异常尖峰(峰值 53.5 万/h 出现在凌晨,与 dockerd 噪音时段吻合) |
无效碎片 Top5 来源(组合口径):
| # | 机器 | 进程 | 本期 | 上期 | 备注 |
|---|---|---|---|---|---|
| 1 | LAN_addcn_45 | dockerd | 576,186 | 394,321(+46.1%) | 📌 已知待办(dockerd debug 未关),标注不告警;处理后预计总量降 ~58 万/天 |
| 2 | LAN_addcn_82 | haproxy[124397] | 205,664 | 165,662(+24.1%) | 治理候选(上升) |
| 3 | LAN_addcn_22 | kubelet[1594525] | 214,239 | 120,385(+78.1%) | 治理候选(明显上升) |
| 4 | LAN_addcn_26 | automount[1174] / haproxy[12569] | 57,571 / 35,556 | — | 低位 |
| 5 | LAN_addcn_46 | kibana[132647] / systemd[1] | 28,755 / 22,465 | — | 低位 |
| 级别 | 项 | 详情 |
|---|---|---|
| 🔴 红色(规则触发,核查为误报放大) | 事件转储回显签名命中 1,396 条(阈值 >0) | 定位:LAN_addcn_35 / logstash[1214328](youdu_next_log pipeline),集中出现在 CST 02:00–05:00(约 464 条/h × 3h)+ 2 条孤立。抽样核查(_id=yqNv36ABXJEszckjfxwn 等):全部为 logstash WARN「Dissector mapping, pattern not found」携带的事件转储——Windows 有道 pebble WAL 日志(D:\Youdu\Server\...\svc_infra\log\ng_kv_err.log,WAL file ... stopped reading at offset 行)不匹配 dissect 模式 %{infra_comp} %{log_time} %{log_src}: [%{log_level}] %{log_msg},消息 JSON 内含 "@version"=>"1" 触发精确签名。非回显循环(对比修复前 ~280 万/天量级;真实回显为全天持续、指数放大形态,本例 3 小时窗口后即停止)。但较上期的 1 条/天放大 3 个数量级,凌晨批量 WARN 每条携带完整事件转储(大文档),已构成新的噪音源。建议尽快:为 ng_kv_err.log 该类 Windows 单行补 dissect/grok 分支或对 _dissectfailure WARN 降采样(即上期已建议项,现优先级提升)。 |
| 🟡 黄色 | _grokparsefailure 37,922(+45.5%) | 周日总量下降但 grok 失败反升,需在 Kibana 抽样 tags=_grokparsefailure 的 syslog_message 确认新失败模式(可与 LAN_addcn_22 kubelet / LAN_addcn_82 haproxy 碎片上涨关联)。 |
| 🟡 黄色(观察) | LAN_addcn_22 kubelet 碎片 +78.1%、LAN_addcn_82 haproxy +24.1% | 未达告警规则,但趋势向上,建议列入下一批治理候选(kubelet log-level 调整 / haproxy 日志格式化)。 |
| ✅ 通过 | hook 刷屏 0;Invalid FieldReference 0;syslog_hostname 字面量 0;mapper 400(infra_day/apiVersion)均 0;clickhouse-server 0;两索引日总量均低于 1200 万阈值 | 全部核心治理项无回归。 |
| 指标 | 本期 | 上期 | 变化 |
|---|---|---|---|
| youdu 窗口总量 | 3,640,284(16h) | 11,355,760(16h) | -68.0%(周日因素) |
| youdu 无效 tag 合计 | 17,155 | 20,377 | -15.8% |
| system-log 总量 | 10,826,775(24h) | 11,467,885(24h) | -5.6% |
| system-log _grokparsefailure | 37,922 | 26,078 | +45.5% |
| system-log 无效碎片(组合口径) | 1,652,550 | 1,168,508 | +41.4% |
| dockerd 碎片(LAN_addcn_45) | 576,186 | 394,321 | +46.1% |
2026-09-27(周日)核心治理项全部持续有效、无真实回归:hook 刷屏、Invalid FieldReference、syslog_hostname 字面量、mapper 400(infra_day/apiVersion)、clickhouse-server 堆栈均为零,两索引总量低于阈值。唯一红色规则触发为事件转储签名 1,396 条,经抽样核查确认是 LAN_addcn_35 youdu logstash 对 Windows ng_kv_err.log(pebble WAL 行)dissect 失败的 WARN 误命中放大,非回显循环,但量级较上期(1 条)显著上升且集中在凌晨 3 小时,建议尽快补该日志的解析分支。需要关注的两项趋势:_grokparsefailure 环比 +45.5%(周日反常),kubelet/haproxy 碎片上涨明显。dockerd debug(LAN_addcn_45,~58 万/天)仍是最大单项待办。整体判定:正常偏关注(无回归;Dissector WARN 放大建议处置,grokfail 与 kubelet/haproxy 趋势列入观察)。