ES 无效数据日报 2026-10-22
- 统计范围：2026-10-22 00:00 – 24:00（UTC+8），即 UTC 2026-10-21T16:00 – 2026-10-22T16:00
- 数据源：只读 ES 查询（es-query skill）+
_cat 直连巡检
- 上期日报：[es-invalid-data-report-20261021.md](es-invalid-data-report-20261021.md)（2026-10-21，周三）
一、总览
| 索引 | 本期总量 | 参考基线/阈值 | 上期（10-21） | 环比 | 判定 |
|---|
| youdu_next_log-2026.10.22 | 10,747,798 | 阈值 1200 万 | 12,014,332 | -10.5% | ✅ 回落至阈值内（上期曾贴线越界 0.1%） |
| system-log-2026.10.22 | 7,527,280 | 基线 ~1050 万（dockerd 关闭后目标 ~800 万） | 7,488,453 | +0.5% | ✅ 持平，低于基线与阈值 |
二、A. youdu_next_log-2026.10.22 无效数据分类
| 指标 | 本期 | 上期（10-21） | 判定 |
|---|
| 总文档数 | 10,747,798 | 12,014,332 | ✅ 回落 10.5%，回到 1200 万线内 |
| parsefail_kitex | 11,870 | 11,919 | 🟡 无效类最大项，环比持平 |
| parsefail_nsq | 2,880 | 2,880 | 常态 |
| err_unparsed | 2,546 | 2,719 | 常态 |
| log_type_unmatched | 2 | 6 | ✅ |
| ylog_parsefail | 0 | 0 | ✅ remoteAddr[0] 修复持续有效 |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 / 0 / 0 | 0 | ✅（另有 _dissectfailure=1、infra_kitex_dissectfail=1，个位数） |
| hook 刷屏（"can't rename log file"） | 0 | 0 | ✅ 无回归 |
| Invalid FieldReference | 0 | 0 | ✅ 无回归（ylog_parsefail=0，无需抽样） |
| gin-access 缺 gin_status | 5 | 12 | ✅ 个位数级 |
小时分布（UTC，+8 为本地）
曲线整体正常，业务高峰（01:00–09:00 UTC，即 09:00–17:00 CST）约 64–118 万/小时。峰值 01:00 UTC（09:00 CST）1,180,703，约为日均小时值（67 万）的 1.75 倍，属早高峰业务瞬时量增（parsed_ylog/parsed_caddy/parsed_gin 同步升高），非异常刷屏模式；上期 20:00 CST 的 2.3 倍尖峰未再现，youdu 总量随之回落至阈值内。
三、B. system-log-2026.10.22 无效数据分类
| 指标 | 本期 | 上期（10-21） | 判定 |
|---|
| 总文档数 | 7,527,280 | 7,488,453 | ✅ |
事件转储回显（"@version" => "1" 精确签名） | 2 | 2 | 🔴 规则触发，均为孤立事件（见下） |
| syslog_hostname 字面量（%{fields.server_name}） | 0 | 0 | ✅ |
| mapper_parsing_exception × infra_day | 0 | 0 | ✅ |
| mapper_parsing_exception × apiVersion | 0 | 0 | ✅ cloudwatch 组合模板持续生效 |
| mapper_parsing_exception（其他） | 4 | — | 🟡 新观察项：k8s-event_log 400（见下） |
| clickhouse-server 堆栈 | 0 | 0 | ✅ |
| _grokparsefailure | 0 | 0 | ✅ 连续两期为零 |
| 无效碎片总量（组合口径） | 1,231,224 | 1,227,282 | +0.3%，见 top 来源 |
🔴 事件转储回显：2 条孤立事件定位
- ① 2026-10-22T00:49:34Z（08:49 CST），LAN_addcn_45 / dockerd debug 日志（POST /v1.41/build URL 参数中恰好含该字面串）
- ② 2026-10-22T03:10:05Z（11:10 CST），LAN_addcn_35 / logstash[1214328] youdu_next_log pipeline 的 Dissector "pattern not found" WARN，其 dump 的事件体内含
"@version"=>"1" 字面串
判读：连续第二期仅个位数命中，来源为「普通 WARN/debug 日志内嵌事件转储字面串」的已知误报形态（match_phrase 分词后为 [version,1] 相邻，事件体 dump 会命中），不构成 pipeline 自噬回显回归（历史回显为百万级/天、持续整日）。维持观察：若该签名回升至千级以上再启动排查。
🟡 mapper_parsing_exception 其他来源（4 条）
均为 LAN_addcn_35 logstash k8s-event_log pipeline 的 "Could not index event (400)"，原因：involvedObject.labels.app 字段在 k8s-event-log 映射中为 text，但事件值为对象（{kubernetes={io/version=2.9.3}}），触发 Can't get text on a START_OBJECT。量级 4 条/天，属映射冲突小流量观察项，非 infra_day/apiVersion 回归；如需根治可给 k8s-event-log 索引模板把 involvedObject.labels.* 设为 object/flattened 或在清洗侧丢弃嵌套对象值。
无效碎片 Top 来源（双层聚合 top5）
| 机器 | 碎片量 | 主要进程 | 备注 |
|---|
| LAN_addcn_82 | 348,535 | haproxy[124397] 299,859 / rpc.mountd 23,204 / filebeat 6,254 | 🟡 治理候选，连续三期 ~30 万持平 |
| LAN_addcn_45 | 300,188 | dockerd 294,274 / kubelet 3,424 | 已知待办（dockerd debug 未关），标注不告警 |
| LAN_addcn_22 | 147,707 | kubelet[257775] 136,057 / gitlab-runner 3,573 | 🟡 治理候选，持平 |
| LAN_addcn_26 | 71,837 | automount 38,015 / haproxy 31,270 | 观察项 |
| LAN_addcn_185 | 40,734 | kubelet[4102] 32,463 | 观察项 |
小时分布平稳（44–53 万/小时），无尖峰。
四、C. 集群磁盘水位巡检
每节点水位
| 节点 | IP | disk.percent | disk.used | disk.avail | disk.total | 分片数 |
|---|
| elasticsearch-master-0 | 10.2.70.159 | 68%（最高） | 67.0gb | 30.8gb | 97.8gb | 110 |
| elasticsearch-master-2 | 10.2.231.240 | 64% | 62.9gb | 34.8gb | 97.8gb | 109 |
| elasticsearch-master-1 | 10.2.200.61 | 62% | 61.0gb | 36.8gb | 97.8gb | 109 |
- 集群 health：green（3 节点，328 分片全部 STARTED，0 unassigned）✅
- 索引总存储 185.1 GiB（上期 184.4 GiB，+0.7 GiB），最高水位 68%（上期 70%，回落 2pp），连续低于 75% 黄色线 ✅
索引存储 Top15 家族
| 家族 | 存储 | 占比 | 索引数 | 文档数 |
|---|
| system-log | 39.9 GiB | 21.5% | 7 | 70.5M |
| k8s-audit | 32.2 GiB | 17.4% | 7 | 12.6M |
| logstash-nginx_access | 31.1 GiB | 16.8% | 7 | 35.7M |
| win_smb_log | 21.8 GiB | 11.8% | 7 | 15.6M |
| mysql_audit | 10.7 GiB | 5.8% | 7 | 13.4M |
| tw591-cloudwatch | 10.7 GiB | 5.8% | 7 | 5.1M |
| tw8591-cloudwatch | 10.5 GiB | 5.7% | 7 | 4.2M |
| youdu_next_log | 7.6 GiB | 4.1% | 2 | 13.8M |
| .monitoring-es-7 | 7.2 GiB | 3.9% | 7 | 7.6M |
| mysql_error | 7.2 GiB | 3.9% | 7 | 36.3M |
| logstash-traefik_access | 3.9 GiB | 2.1% | 7 | 4.9M |
| k8s-log | 1.5 GiB | 0.8% | 7 | 2.6M |
| system_secure | 0.3 GiB | 0.2% | 7 | 0.4M |
| k8s-event-log | 0.3 GiB | 0.2% | 7 | 0.2M |
| elastalert_status_status | 0.1 GiB | 0.1% | 1 | 0.6M |
可释放估算（仅建议，不执行任何删除）
Top3 家族（system-log / k8s-audit / logstash-nginx_access）合计 103.2 GiB / 21 个日索引 ≈ 14.7 GiB/天。若删除各自最旧 3 天索引，可释放约 44 GiB（总量 -24%）；按当前分布 master-0 分摊约 1/3（~15 GB），disk.used 67.0→约 52 GB，水位预计 68%→约 53%，远离 75%/85% 水位线。长期仍建议为各家族配置 ILM 按天滚动保留，摆脱人工清理。
五、告警汇总
| 级别 | 项目 | 说明 |
|---|
| 🔴 红色（规则触发） | 事件转储回显 = 2 | ① LAN_addcn_45 dockerd debug（08:49 CST）② LAN_addcn_35 logstash Dissector WARN 内嵌事件 dump（11:10 CST）；均为孤立事件，连续第二期个位数，非回显回归，按观察处理 |
| 🟡 黄色 | mapper_parsing_exception（其他）= 4 | LAN_addcn_35 k8s-event_log pipeline 400：involvedObject.labels.app text vs 对象映射冲突，4 条/天，观察项 |
| 🟡 黄色（观察） | 碎片 top 来源：LAN_addcn_82 haproxy（30.0 万）、LAN_addcn_22 kubelet（13.6 万） | 治理候选，连续三期持平；LAN_addcn_45 dockerd（29.4 万）为已知待办，标注不告警 |
| ✅ 通过 | youdu 总量 1,074.8 万（阈值内）；hook 刷屏 0；Invalid FieldReference 0；ylog_parsefail 0；syslog_hostname 字面量 0；mapper 400（infra_day/apiVersion）0；clickhouse-server 0；_grokparsefailure 0（连续两期）；gin 缺 status 5；集群 green；磁盘最高 68% | 核心治理项全部零回归 |
六、环比（vs 2026-10-21 日报）
| 指标 | 本期（10-22） | 上期（10-21） | 变化 |
|---|
| youdu 总量 | 10,747,798 | 12,014,332 | -10.5%，回落至 1200 万线内（上期贴线越界 0.1% 属波动） |
| system-log 总量 | 7,527,280 | 7,488,453 | +0.5% 持平 |
| parsefail_kitex | 11,870 | 11,919 | 持平 |
| 无效碎片总量 | 1,231,224 | 1,227,282 | +0.3% 持平 |
| 事件转储回显 | 2（孤立） | 2（kibana 孤立） | 同为个位数，形态一致 |
| mapper 400 | 4（k8s-event_log 映射冲突） | 0（infra_day/apiVersion 均 0） | 新观察项，非历史回归 |
| 集群总存储 / 最高水位 | 185.1 GiB / 68% | 184.4 GiB / 70% | +0.7 GiB，水位回落 2pp |
七、当日结论
2026-10-22（周四）所有历史治理项（hook 刷屏、Invalid FieldReference、ylog_parsefail、syslog_hostname 字面量、infra_day/apiVersion mapper 400、clickhouse-server 堆栈、logstash 回显循环、_grokparsefailure）继续保持零回归。youdu 总量 1074.8 万，环比 -10.5%，上期 20:00 CST 尖峰未再现，回落至 1200 万阈值内，确认上期越线为业务波动；system-log 752.7 万持平。事件转储签名连续第二期仅命中 2 条孤立事件（dockerd debug / logstash WARN 内嵌事件 dump），不构成回显回归；新增小观察项为 k8s-event_log 的 involvedObject.labels.app 映射冲突 400（4 条/天），建议后续在模板或清洗侧处理。集群 green、总存储 185.1 GiB、最高水位 68%（回落 2pp），Top3 家族删旧 3 天仍可释放约 44 GiB，建议尽快落 ILM。整体判定：正常（无回归；haproxy/kubelet 碎片与 dockerd 待办未收敛，k8s-event_log 映射冲突小流量观察）。