ES 无效数据日报 — 2026-09-28（周一）
时间范围：CST 2026-09-28 00:00–24:00（UTC 2026-09-27T16:00 – 2026-09-28T16:00）。
口径说明（与前期同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.27/.09.28 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以同一口径环比为准。上一份日报为 20260927（周日），环比以其为基准；本日为周一，业务量回升属正常形态。
一、总览
| 索引 | 昨日总量 | 口径 | 治理后正常基线 | 判定 |
|---|
| youdu_next_log-2026.09.28 | 5,331,795（折算全天 ~800.0 万） | CST 08–24 16h 窗口 | 工作日 ~1100–1700 万 | ✅ 正常（周一恢复中，仍低于 1200 万阈值） |
| system-log-2026.09.27/09.28 | 10,643,018 | 完整 24h | ~1050 万/天 | ✅ 正常（较基线 +1.4%；dockerd debug 噪音 ~51 万/天仍在待办） |
二、无效数据分类计数（youdu_next_log-2026.09.28，16h 窗口）
| 指标 | 本期 | 上期（09-27） | 环比 | 说明 |
|---|
| 窗口总量 | 5,331,795 | 3,640,284 | +46.5% | 周一业务量回升，符合预期 |
| parsefail_kitex | 11,841 | 11,795 | +0.4% | 固定底噪，稳定 ✅ |
| parsefail_nsq | 2,880 | 2,880 | 持平 | 底噪 ✅ |
| err_unparsed | 2,535 | 2,472 | +2.5% | 底噪 ✅ |
| log_type_unmatched | 6 | 6 | 持平 | ✅ |
| ylog_parsefail | 0 | 0 | 持平 ✅ | remoteAddr[0] FieldReference 治理持续有效 |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure / _dissectfailure | 0 | 1 + 1（dissect） | 归零 ✅ | |
| 无效/异常 tag 合计 | 17,262（0.32%） | 17,155（0.47%） | +0.6%（占比降） | 绝对值持平，分母回升占比下降 ✅ |
| hook 刷屏（"can't rename log file"） | 0 | 0 | 持平 ✅ | 无回归 |
| Invalid FieldReference | 0 | 0 | 持平 ✅ | 无回归 |
| gin-access 缺 gin_status | 126 | 1 | 上升 | 绝对值低（占 gin-access 0.008%），观察即可 |
| 小时分布 | 峰值 CST 09 时 53.1 万，尾段 CST 22–23 时 18 万/14 万 | — | — | 早高峰后逐步回落，形态正常，无异常尖峰 |
三、无效数据分类计数（system-log-2026.09.27/09.28，24h）
| 指标 | 本期 | 上期（09-27） | 环比 | 说明 |
|---|
| 总量（24h） | 10,643,018 | 10,826,775 | -1.7% | ✅ 低于 1200 万阈值，与 ~1050 万基线吻合 |
| 事件转储回显签名（"@version" => "1"） | 1,400 | 1,396 | 持平 | 见红色项：1,395 条为 LAN_addcn_35 Dissector WARN 携带的转储（同上期已知问题，未处置）；另 5 条为 dockerd URL 中 version=1 分词误命中（核查样本 _id=KH9J5qABXJEszckjGagO 等，非回显） |
| syslog_hostname 字面量（%{fields.server_name}） | 0 | 0 | 持平 ✅ | grok 修复无回归 |
| mapper 400 × infra_day | 0 | 0 | 持平 ✅ | |
| mapper 400 × apiVersion | 0 | 0 | 持平 ✅ | tw*-cloudwatch 组合模板持续生效（09-23 起零命中） |
| clickhouse-server 堆栈 | 0 | 0 | 持平 ✅ | 正常（≈0） |
| _grokparsefailure | 37,997 | 37,922 | +0.2% | 持平但高位：99.9% 来自 LAN_addcn_117（37,943 条），持续治理候选 |
| 无效碎片（三子句组合口径） | 1,640,665（15.4%） | 1,652,550（15.3%） | -0.7% | 持平，主要来源不变 |
| 小时分布 | 42.0 万–50.9 万/h，均匀 | — | — | 无异常尖峰（峰值 CST 01–02 时，属正常波动） |
无效碎片 Top5 来源（组合口径）：
| # | 机器 | 进程 | 本期 | 上期 | 备注 |
|---|
| 1 | LAN_addcn_45 | dockerd | 514,285 | 576,186（-10.8%） | 📌 已知待办（dockerd debug 未关），标注不告警；处理后预计总量降至 ~1010 万/天 |
| 2 | LAN_addcn_82 | haproxy[124397] | 247,760 | 205,664（+20.5%） | 治理候选（持续上升，连续两期）；另 rpc.mountd 34,368 |
| 3 | LAN_addcn_22 | kubelet[1594525] | 214,494 | 214,239（持平） | 治理候选（上期 +78% 后趋稳） |
| 4 | LAN_addcn_26 | automount[1174] / haproxy[12569] | 57,370 / 38,315 | ~93,000 | 低位回落 |
| 5 | LAN_addcn_46 | kibana[132647] / systemd[1] | 28,753 / 22,465 | ~51,000 | 低位持平 |
四、集群磁盘水位巡检
| 节点 | IP | disk.percent | disk.used | disk.avail | disk.total | 分片数 |
|---|
| elasticsearch-master-0 | 10.2.70.159 | 75% ⚠️临界 | 73.4gb | 24.4gb | 97.8gb | 117 |
| elasticsearch-master-2 | 10.2.231.240 | 74% | 73.0gb | 24.8gb | 97.8gb | 117 |
| elasticsearch-master-1 | 10.2.200.20 | 63% | 62.0gb | 35.8gb | 97.8gb | 117 |
- 磁盘总量：203.0 GiB（较 09-22 实测 214 GiB 下降 ~11 GiB，水位 70–82% → 63–75%，趋好）。
- 最高水位 75%（master-0）：未触发 ">75% 黄色" 规则但已踩线，且逼近 ES 低水位线（85% 红色 / 88% 只读），列为黄色观察项。
- 集群 health：yellow（178 主分片 / 351 活跃 / 5 未分配）。非 STARTED 分片全部为已知问题：panabit_log-20260529~0603 共 5 个副本分片 UNASSIGNED（ALLOCATION_FAILED），建议人工删除这些旧天索引（每日保留策略外的人工清理项）。
索引存储 Top15 家族：
| 家族 | 占用 | 占比 | 索引数 | 日均/索引 |
|---|
| system-log | 44.6 GiB | 21.9% | 8 | ~5.6 GiB |
| k8s-audit | 42.3 GiB | 20.8% | 8 | ~5.3 GiB |
| logstash-nginx_access | 34.5 GiB | 17.0% | 8 | ~4.3 GiB |
| win_smb_log | 24.9 GiB | 12.3% | 8 | ~3.1 GiB |
| mysql_audit | 14.9 GiB | 7.3% | 8 | ~1.9 GiB |
| tw591-cloudwatch | 10.6 GiB | 5.2% | 8 | ~1.3 GiB |
| tw8591-cloudwatch | 8.9 GiB | 4.4% | 8 | ~1.1 GiB |
| .monitoring-es-7 | 8.1 GiB | 4.0% | 7 | ~1.2 GiB |
| mysql_error | 4.2 GiB | 2.1% | 8 | ~0.5 GiB |
| youdu_next_log | 4.1 GiB | 2.0% | 2 | ~2.1 GiB |
| logstash-traefik_access | 3.6 GiB | 1.8% | 8 | ~0.5 GiB |
| k8s-log | 1.4 GiB | 0.7% | 8 | ~0.2 GiB |
| system_secure | 0.4 GiB | 0.2% | 8 | — |
| k8s-event-log | 0.3 GiB | 0.2% | 8 | — |
| elastalert_status_status | 0.1 GiB | 0.1% | 1 | — |
可释放估算（仅建议，不执行）：Top3 家族（system-log / k8s-audit / logstash-nginx_access）合计 121.4 GiB、日均 ~15.2 GiB/天。若删除各自最旧 3 天索引，可释放约 45 GiB（总量 -22%），按当前分布 master-0 磁盘占用约 73.4→58 GiB，水位预计 75%→约 59%，脱离临界区；再删 panabit_log 旧索引（含 5 个 ALLOCATION_FAILED 副本）可顺带恢复 green。长期方案仍建议配 ILM 按天滚动保留。
五、告警项
| 级别 | 项 | 详情 |
|---|
| 🔴 红色（规则触发，已知问题延续） | 事件转储回显签名命中 1,400 条（阈值 >0） | 定位：LAN_addcn_35 / logstash[1214328]（youdu_next_log pipeline），1,395 条集中在 CST 02:00–05:00（464/465/465/h + 1 条孤立）。抽样核查（_id=Nude5KABXJEszckj7Npe）确认与 09-27 完全同源：Dissector WARN「pattern not found」对 Windows pebble WAL 日志（D:\Youdu\Server\...\ng_kv_err.log，WAL file ... stopped reading at offset 行）不匹配 %{infra_comp} %{log_time} %{log_src}: [%{log_level}] %{log_msg}，WARN 携带完整事件转储内含 "@version"=>"1" 触发签名。非回显循环（无指数放大，3 小时窗口即停），但连续两期 ~1400 条/天、每条携带大文档，处置优先级维持上期建议：为该类 Windows 单行补 dissect 分支或对 _dissectfailure WARN 降采样。另 5 条命中为 dockerd debug 日志 URL 中 version=1 的分词误命中（LAN_addcn_45），非回显、非 WARN。 |
| 🟡 黄色 | master-0 磁盘水位 75%（临界） | 未破 ">75%" 规则但已踩线；建议尽快执行 Top 家族旧索引清理 + ILM（见第四节估算）。 |
| 🟡 黄色 | 集群 health=yellow | 5 个 panabit_log 旧副本分片 UNASSIGNED（ALLOCATION_FAILED），已知问题，删旧天索引即可恢复 green。 |
| 🟡 黄色 | _grokparsefailure 37,997（持平高位） | 99.9% 集中于 LAN_addcn_117（37,943），单机来源明确，建议列入下一批治理（定位该机 filebeat/syslog 输入格式）。 |
| 🟡 黄色（观察） | LAN_addcn_82 haproxy 碎片 +42%（连续两期上升，至 ~29 万/天） | 治理候选；dockerd（LAN_addcn_45，51 万/天）为已知待办不告警。 |
| ✅ 通过 | hook 刷屏 0；Invalid FieldReference 0；syslog_hostname 字面量 0；mapper 400（infra_day/apiVersion）均 0；clickhouse-server 0；两索引日总量均低于 1200 万阈值 | 全部核心治理项无回归。 |
六、环比汇总（vs 20260927）
| 指标 | 本期 | 上期 | 变化 |
|---|
| youdu 窗口总量 | 5,331,795（16h） | 3,640,284（16h） | +46.5%（周一回升） |
| youdu 无效 tag 合计 | 17,262 | 17,155 | +0.6% |
| system-log 总量 | 10,643,018（24h） | 10,826,775（24h） | -1.7% |
| system-log _grokparsefailure | 37,997 | 37,922 | +0.2% |
| system-log 无效碎片（组合口径） | 1,640,665 | 1,652,550 | -0.7% |
| dockerd 碎片（LAN_addcn_45） | 514,285 | 576,186 | -10.8% |
| 事件转储签名命中 | 1,400（真回显 0） | 1,396（真回显 0） | 持平（同源 Dissector WARN） |
| 集群总存储 / 最高水位 | 203.0 GiB / 75% | 214 GiB / 82% | 改善（旧索引自然滚动） |
七、当日结论
2026-09-28（周一）核心治理项全部持续有效、无真实回归：hook 刷屏、Invalid FieldReference、syslog_hostname 字面量、mapper 400（infra_day/apiVersion）、clickhouse-server 堆栈均为零，youdu（~800 万折算）与 system-log（1064 万）总量均在基线内。唯一红色规则触发仍是 LAN_addcn_35 logstash 对 Windows pebble WAL 日志的 Dissector WARN 转储（1,395 条，与昨日同源、量级持平），非回显循环但已连续两期构成稳定噪音源，建议按上期方案补解析分支或降采样。需关注：master-0 磁盘水位 75% 已踩线且集群 yellow（panabit 旧副本未清），建议尽快执行旧索引清理并配 ILM；_grokparsefailure 持续高位且 99.9% 来自 LAN_addcn_117，为最优性价比的下一个治理点；LAN_addcn_82 haproxy 碎片连续两期上升列入观察。整体判定：正常偏关注（无回归；磁盘临界与 Dissector WARN 建议尽快处置）。