ES 无效数据日报 2026-10-19
统计窗口：2026-10-19 00:00–24:00 CST（UTC 2026-10-18T16:00Z – 2026-10-19T16:00Z）
环比基线：上一份日报 [2026-09-28](es-invalid-data-report-20260928.md)
一、总览
| 索引 | 本期总量 | 参考基线 | 判定 |
|---|
| youdu_next_log-2026.10.19 | 11,255,525（小时桶求和；索引全天 docs.count 12,876,157） | 日总量阈值 1200 万；上期折算 ~800 万 | ✅ 低于阈值；环比 +~41%（周一业务回升 + 上期为 16h 窗口，详见环比节） |
| system-log-2026.10.19 | 7,271,686 | 基线 ~1050 万（dockerd 未治理前）；阈值 1200 万 | ✅ 明显低于基线，为近期最低（噪音持续收敛） |
| 集群 health | green（328 分片全部 STARTED，0 未分配） | 上期 yellow（panabit 旧副本） | ✅ 已恢复 green |
二、A：youdu_next_log-2026.10.19
2.1 无效/异常 tag 计数
| tag | 计数 | 说明 |
|---|
| parsefail_kitex | 11,841 | 主要无效来源，量级与上期持平 |
| parsefail_nsq | 2,880 | — |
| err_unparsed | 2,554 | — |
| log_type_unmatched | 2 | ≈0 |
| _dissectfailure | 1 | ≈0 |
| infra_kitex_dissectfail | 1 | ≈0 |
| goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure | 0 | ✅ ylog_parsefail 持续为 0（remoteAddr[0] 修复后未回归，无需抽样） |
| 无效 tag 合计 | 17,279 | 上期 17,262，+0.1% |
2.2 回归检测
| 检测项 | 计数 | 判定 |
|---|
| hook 刷屏 "can't rename log file" | 0 | ✅ |
| "Invalid FieldReference" | 0 | ✅ |
| gin-access 缺 gin_status | 10 | ✅ 可忽略 |
2.3 小时分布
16 个小时桶 21.1 万–105.1 万，峰值 15:00 CST（105.1 万），白天高、凌晨低，呈正常业务昼夜曲线，无异常尖峰。
三、B：system-log-2026.10.19
| 检测项 | 计数 | 判定 |
|---|
事件转储回显签名 "@version" => "1" | 1 | 🔴 规则触发（>0），定位见告警节 |
syslog_hostname 字面量 %{fields.server_name} | 0 | ✅ |
| mapper_parsing_exception + infra_day | 0 | ✅ |
| mapper_parsing_exception + apiVersion | 0 | ✅（模板持续生效） |
| clickhouse-server 堆栈 | 0 | ✅ |
| _grokparsefailure | 227,312 | 🟡 显著上升（上期 37,997），见告警节 |
| 无效碎片总量（组合口径） | 1,122,769 | 上期 1,640,665，-31.6% |
| 小时分布 | 43.4 万–47.2 万，全天平稳 | ✅ 无尖峰 |
无效碎片 Top5 来源（server × program）
| 主机 | 计数 | Top 进程 | 备注 |
|---|
| LAN_addcn_45 | 312,694 | dockerd 307,322 | 已知待办（dockerd debug 未关），不告警；量较上期 51.4 万继续下降 |
| LAN_addcn_82 | 248,673 | haproxy 200,110 / rpc.mountd 22,915 | 治理候选，量与上期（~29 万）相当 |
| LAN_addcn_22 | 157,670 | kubelet 147,900 | 观察项 |
| LAN_addcn_26 | 70,699 | automount 38,374 / haproxy 29,641 | — |
| LAN_addcn_137 | 39,378 | kubelet 29,592 | — |
四、C：集群磁盘水位巡检
| 节点 | IP | disk.percent | disk.used | disk.avail | disk.total | 分片数 |
|---|
| elasticsearch-master-0 | 10.2.70.159 | 70%（最高） | 69.3gb | 28.4gb | 97.8gb | 109 |
| elasticsearch-master-2 | 10.2.231.202 | 65% | 63.8gb | 33.9gb | 97.8gb | 110 |
| elasticsearch-master-1 | 10.2.200.20 | 63% | 62.4gb | 35.4gb | 97.8gb | 109 |
- 集群 health：green，0 个非 STARTED 分片（上期 panabit_log 5 个 ALLOCATION_FAILED 副本已消除）。
- 索引总存储 189.6 GiB（上期 203.0 GiB，-13.4 GiB），最高水位 70%（上期 75% 临界，已回落脱离临界区），全部节点 <75% 阈值 ✅。
索引存储 Top15 家族
| 家族 | 占用 | 占比 | 索引数 |
|---|
| system-log | 39.6 GiB | 20.9% | 7 |
| k8s-audit | 33.3 GiB | 17.6% | 7 |
| logstash-nginx_access | 30.6 GiB | 16.1% | 7 |
| win_smb_log | 25.2 GiB | 13.3% | 7 |
| mysql_audit | 13.4 GiB | 7.0% | 7 |
| tw591-cloudwatch | 10.8 GiB | 5.7% | 7 |
| tw8591-cloudwatch | 8.2 GiB | 4.3% | 7 |
| youdu_next_log | 7.8 GiB | 4.1% | 2 |
| mysql_error | 7.4 GiB | 3.9% | 7 |
| .monitoring-es-7 | 7.4 GiB | 3.9% | 7 |
| logstash-traefik_access | 3.6 GiB | 1.9% | 7 |
| k8s-log | 1.5 GiB | 0.8% | 7 |
| system_secure | 0.3 GiB | 0.2% | 7 |
| k8s-event-log | 0.3 GiB | 0.1% | 7 |
| elastalert_status_status | 0.1 GiB | 0.1% | 1 |
可释放估算（仅建议，不执行删除）：Top3 家族（system-log / k8s-audit / logstash-nginx_access）合计 103.5 GiB、按 7 天计日均 ~14.8 GiB/天。若删除各自最旧 3 天索引，可释放约 44 GiB（总量 -23%）；按当前分布 master-0 占用约 69.3→53 GiB，水位预计 70%→约 54%，进一步远离低水位线。长期仍建议配 ILM 按天滚动保留。
五、告警项
| 级别 | 项 | 详情 |
|---|
| 🔴 红色（规则触发，已知问题残留） | 事件转储回显签名命中 1 条（阈值 >0） | 定位：LAN_addcn_35 / logstash[1214328]（youdu_next_log pipeline），03:44 UTC（11:44 CST）。抽样（_id=YUJCUqEBCmWPDVYh-VKZ）确认与上期同源：Dissector WARN「pattern not found」对 Windows pebble WAL 日志（ng_kv_err.log，WAL file ... stopped reading at offset）不匹配 infra 模板，WARN 携带完整事件转储内含 "@version"=>"1" 命中签名。非回显循环，且量从上期 1,400 条骤降至 1 条（源头日志基本消失）。维持建议：为该类 Windows 单行补 dissect 分支或对 _dissectfailure WARN 降采样。 |
| 🟡 黄色 | system-log _grokparsefailure 227,312，环比 +498% | 99.9% 集中于 LAN_addcn_117（227,057）（上期同机 37,943，放大 ~6 倍），其余 LAN_addcn_165 仅 241。单机来源明确，建议列为最高优先级治理点：排查该机 filebeat/syslog 输入格式变化（疑似某程序日志格式变更或新进程接入）。 |
| 🟡 黄色（观察） | youdu 无效 tag 中 parsefail_kitex 11,841 | 与上期量级持平，持续稳定的无效来源，可列入下批治理。 |
| 🟡 黄色（观察） | LAN_addcn_82 haproxy 碎片 ~20 万/天 | 连续多期维持高位，治理候选。 |
| ✅ 通过 | hook 刷屏 0；Invalid FieldReference 0；ylog_parsefail 0；syslog_hostname 字面量 0；mapper 400（infra_day/apiVersion）0；clickhouse-server 0；两索引总量均低于 1200 万；磁盘最高 70%（<75%）；集群 green | 全部核心治理项无回归。 |
六、环比汇总（vs 2026-09-28 日报）
| 指标 | 本期 | 上期 | 变化 |
|---|
| youdu 窗口总量 | 11,255,525（24h） | 5,331,795（16h，折算 ~800 万/24h） | 环比折算 +~41%（两期间隔 3 周，周一业务回升；仍低于 1200 万阈值） |
| youdu 无效 tag 合计 | 17,279 | 17,262 | +0.1% 持平 |
| system-log 总量 | 7,271,686 | 10,643,018 | -31.7%（噪音持续收敛，低于 1050 万基线） |
| system-log 无效碎片（组合口径） | 1,122,769 | 1,640,665 | -31.6% |
| dockerd 碎片（LAN_addcn_45） | 307,322 | 514,285 | -40.3%（debug 仍未关，属待办） |
| system-log _grokparsefailure | 227,312 | 37,997 | +498% 🔴 异动（LAN_addcn_117） |
| 事件转储签名命中 | 1（真回显 0） | 1,400（真回显 0） | 同源 Dissector WARN，基本消失 |
| 集群总存储 / 最高水位 | 189.6 GiB / 70% | 203.0 GiB / 75% | 改善；集群 yellow→green |
七、当日结论
2026-10-19（周一）所有历史治理项（hook 刷屏、Invalid FieldReference、syslog_hostname 字面量、mapper 400、clickhouse-server 堆栈、事件回显）均零回归，事件转储签名仅剩 1 条已知 Dissector WARN 残留且趋近消失；集群已恢复 green，磁盘最高水位回落至 70%、总存储降至 189.6 GiB，脱离临界区。youdu 总量 1125.6 万低于阈值但环比回升约四成（业务周一高峰所致，无效 tag 持平），system-log 总量 727 万为近期最低。唯一需要处置的异动是 LAN_addcn_117 的 _grokparsefailure 单日 22.7 万、环比放大 6 倍，建议优先排查该机日志接入格式；dockerd debug（LAN_addcn_45）与 LAN_addcn_82 haproxy 碎片维持既有待办。整体判定：正常偏关注（无回归；LAN_addcn_117 grok 失败激增需尽快处置）。