ES 无效数据日报 2026-10-28
- 报告生成时间：2026-10-29 10:10 CST
- 统计窗口：2026-10-28 00:00 – 24:00 CST（UTC 2026-10-27T16:00Z – 2026-10-28T16:00Z）
- 查询方式：只读 ES DSL（es-query skill），时间字段 @timestamp，聚合字段均用 .keyword
- 口径说明：两个索引均按 UTC 滚日。system-log 通过通配符
system-log-2026.10.2* 查询获得完整 CST 24h（10.27 索引仍在，保留 7 天）；youdu_next_log 仅保留 2 天，youdu_next_log-2026.10.27 已被删除，CST 00:00–08:00 数据不可查，仅覆盖 CST 08:00–24:00（16h），与 10-26 / 10-27 日报口径一致，环比可比。
一、总览
| 索引 | 昨日总量 | 基线/参考 | 环比（vs 10-27 日报） | 判定 |
|---|
| youdu_next_log-2026.10.28 | 10,498,080（仅覆盖 CST 08:00–24:00） | 治理后常态；黄线 1200 万/天 | +0.7%（前值 10,419,940，同为 16h 覆盖） | 🟡 按 16h 外推全天 ≈1575 万，连续三日越过 1200 万黄线（口径见备注，黄色预警） |
| system-log（2026.10.2*） | 12,044,312（完整 CST 24h） | 治理后常态 ~1050 万/天；黄线 1200 万 | +1.8%（前值 11,825,978） | 🟡 首破 1200 万黄线（刚越线 0.4%），其中约 36 万为 LAN_addcn_117 grok 失败噪音回归所致（见 B7） |
youdu 覆盖口径：16h 实测 1049.8 万，按小时曲线外推全天 ≈1575 万（10-26 外推 ~1300 万、10-27 外推 ~1563 万），高位维持但涨势放缓（+18.5% → +0.7%）。解析失败类 tag 总量平稳，增量主要来自 parsed_ylog/caddy/gin 业务日志本身。
二、A. youdu_next_log-2026.10.28 明细（CST 08:00–24:00）
| 检查项 | 计数 | 环比 | 判定 |
|---|
| 总文档数（CST 08:00–24:00） | 10,498,080 | +0.7% | 🟡 外推全天 >1200 万，黄色预警（连续第三日） |
| log_type_unmatched | 2（前值 4） | 持平 | ✅ 极低位 |
| parsefail_kitex | 11,937（前值 11,885） | +0.4% | ✅ 占比 0.11%，平稳 |
| parsefail_nsq | 2,880（前值 2,880） | 持平 | ✅ |
| err_unparsed | 2,791（前值 2,592） | +7.7% | ✅ 量级稳定 |
| goapp_dissectfail | 0 | 持平 | ✅ |
| caddy_parsefail | 0 | 持平 | ✅ |
| ylog_parsefail | 0 | 持平 | ✅ remoteAddr[0] 修复持续有效，未出现新的非法键名（无需抽样） |
| _grokparsefailure | 0 | 持平 | ✅ |
| _dissectfailure / infra_kitex_dissectfail | 1 / 1 | 持平 | ✅ 极低位 |
| hook 刷屏（"can't rename log file"） | 0 | 持平 | ✅ 无回归（红色项） |
| Invalid FieldReference | 0 | 持平 | ✅ 无回归 |
| gin-access 缺 gin_status | 40（前值 220） | -82% | ✅ 量级极小，继续改善 |
无效 tag 合计约 17,612 条，占比 0.17%（前值 0.17%），结构健康。
小时分布（CST 08:00–24:00，16 桶）：08:00 起步 34.1 万 → 09:00 冲高 1,022,087、14:00 峰值 1,034,831 → 白天维持 47–98 万/时 → 23:00 回落至 27.4 万。曲线与业务作息一致，无孤立异常尖峰。
三、B. system-log 明细（完整 CST 24h）
| 检查项 | 计数 | 环比 | 判定 |
|---|
| 总文档数 | 12,044,312 | +1.8% | 🟡 刚破 1200 万黄线（其中 ~36 万为 grok 失败噪音回归） |
事件转储回显（"@version" => "1" 精确签名） | 962（前值 1,055） | -8.8% | 🔴 红色告警（连续第三晚复发，见定位） |
| syslog_hostname 字面量（%{fields.server_name}） | 0 | 持平 | ✅ 无回归 |
| mapper_parsing_exception + infra_day | 0 | 持平 | ✅ 无回归 |
| mapper_parsing_exception + apiVersion | 0 | 持平 | ✅ 组合模板持续生效（自 09-23 起保持为 0） |
| clickhouse-server 日志 | 0 | 持平 | ✅ 无回归（红色项，正常≈0） |
| _grokparsefailure | 359,372（前值 0） | 回归 | ⚠️ LAN_addcn_117 pmm-agent 颜色码噪音复发（见定位） |
无效碎片总量（regexp [0-9]+\. / "[0]" / "from /"） | 1,661,681（前值 1,744,512） | -4.8% | ⚠️ 观察项，来源见下 |
🔴 红色告警定位 1：LAN_addcn_35 logstash 事件转储回显（连续第三晚复发）
- 进程：logstash[1214328]，机器：LAN_addcn_35（2026-09-22 曾修复的同一台）。
- 时间分布：CST 02:00–04:00 集中（340 / 310 / 310 条），05:00、17:00 各 1 条零星，其余时段为 0。
- 性质判定（沿用 10-27 日报结论）：logstash Dissector WARN「pattern not found」事件转储——youdu pipeline 对 Windows 主机
d032019080022-v 的 ng_kv_err.log（log_type=api-original-log）执行 infra dissect 失败（源消息为 \tpanic: 等短行），WARN 日志把含 "@version"=>"1" 的完整事件体打进 /var/log/messages 被 filebeat 重采。并非 stdout rubydebug 回归。
- 连续三晚 02:00 准时复发，基本确认为夜间定时任务驱动的固定模式。建议：① LAN_addcn_35 logstash 对该 Dissector WARN 降噪/drop 或兼容 panic 短行；② 排查 d032019080022-v 02:00 定时任务 panic 根因。
⚠️ 观察项定位 2：LAN_addcn_117 pmm-agent 颜色码噪音回归（_grokparsefailure 35.9 万/天）
- 机器：LAN_addcn_117（359,257 条，占 99.97%），来源 pmm-agent。
- 抽样确认：消息含 ANSI 颜色码（
#033[36m / #033[0m / #011），如 pmm-agent: #033[36mINFO#033[0m[...] VictoriaMetrics/lib/logger/flag.go:20 ... vm_agent，颜色码破坏 grok 模式导致解析失败。与 09-27 前的旧病灶完全一致（10-27 曾清零，今日复发，疑似 117 上 pmm-agent 重装/升级后颜色输出回归）。
- 分布：全天匀速 1.3–1.7 万/小时，非尖峰型。建议在 117 的 filebeat/logstash 加颜色码清洗或对 pmm-agent 配置
--log-level=warn / 去色输出。
无效碎片 Top5 来源（完整 24h）
| 机器 | 总量 | 主要进程 | 备注 |
|---|
| LAN_addcn_45 | 445,331 | dockerd 437,209 | 已知待办（dockerd debug 未关），不告警 |
| LAN_addcn_82 | 364,189 | haproxy[124397] 290,893、rpc.mountd 34,410 | 持续观察 |
| LAN_addcn_22 | 234,349 | kubelet[257775] 224,572 | 持续观察 |
| LAN_addcn_26 | 109,112 | — | 持续观察 |
| LAN_addcn_185 | 64,278 | — | 持续观察 |
小时分布（完整 24h）：夜间 52–55 万/时 → 上午爬升 → 10:00–11:00 峰值 ~60.5 万 → 午后 44–48 万，平滑无孤立尖峰。
四、C. 集群磁盘水位巡检
| 节点 | disk.percent | disk.used | disk.avail | disk.total | 判定 |
|---|
| elasticsearch-master-1（10.2.200.32） | 72%（最高） | 71.0gb | 26.8gb | 97.8gb | ✅ <;75% 黄线，但为三节点最高，持续跟踪 |
| elasticsearch-master-0（10.2.70.159） | 65% | 64.5gb | 33.2gb | 97.8gb | ✅ |
| elasticsearch-master-2（10.2.231.216） | 56% | 55.5gb | 42.2gb | 97.8gb | ✅ |
- 集群 health：green（3 节点，active_shards 328，unassigned 0），无非 STARTED 分片 ✅。
- 索引总存储 185.8 GiB（较 09-22 实测 214 GB 明显回落，旧索引清理已见成效）。
索引存储 Top15 家族
| 家族 | 存储 | 占比 | 索引数 | 日均/索引 |
|---|
| system-log | 40.6 GiB | 21.8% | 7 | ~5.8 GiB |
| k8s-audit | 33.4 GiB | 18.0% | 7 | ~4.8 GiB |
| logstash-nginx_access | 31.0 GiB | 16.7% | 7 | ~4.4 GiB |
| win_smb_log | 22.4 GiB | 12.1% | 7 | ~3.2 GiB |
| tw8591-cloudwatch | 11.6 GiB | 6.2% | 7 | ~1.7 GiB |
| mysql_audit | 11.3 GiB | 6.1% | 7 | ~1.6 GiB |
| tw591-cloudwatch | 7.7 GiB | 4.2% | 7 | ~1.1 GiB |
| youdu_next_log | 7.3 GiB | 3.9% | 2 | ~3.7 GiB（保留仅 2 天） |
| .monitoring-es-7 | 7.2 GiB | 3.9% | 7 | ~1.0 GiB |
| mysql_error | 6.9 GiB | 3.7% | 7 | ~1.0 GiB |
| logstash-traefik_access | 4.0 GiB | 2.1% | 7 | ~0.6 GiB |
| k8s-log | 1.6 GiB | 0.9% | 7 | — |
| k8s-event-log | 0.3 GiB | 0.2% | 7 | — |
| system_secure | 0.3 GiB | 0.2% | 7 | — |
| elastalert_status_status | 0.1 GiB | 0.1% | 1 | — |
可释放估算（仅建议，不执行删除）
- 各家族多为 7 天保留。若 Top3 家族（system-log / k8s-audit / logstash-nginx_access）各删最旧 1 天：约释放 5.8 + 4.8 + 4.4 ≈ 15 GiB（含副本），集群总量 185.8 → ~171 GiB；按分片均衡分摊到 3 节点，最高水位 master-1 预计 72% → 约 67%。
- 若各删最旧 2 天（≈30 GiB）：master-1 预计降至 约 61%，可远离 75% 黄线。
- 长期建议仍为配 ILM 自动滚动删除（youdu 已事实保留 2 天，可作参照），并优先处理 dockerd debug（45/22，~44 万条/天）与 LAN_addcn_117 pmm-agent 噪音（~36 万条/天）两个可削减源头。
五、告警汇总
| 级别 | 项目 | 计数 | 定位 |
|---|
| 🔴 红色 | system-log 事件转储回显（"@version" => "1"） | 962 | LAN_addcn_35 / logstash[1214328]，CST 02:00–04:00，连续第三晚同模式（d032019080022-v panic 短行触发 Dissector WARN） |
| 🟡 黄色 | youdu 日总量外推 >1200 万 | 16h 实测 1049.8 万（外推 ~1575 万） | 业务日志增长为主，解析失败占比 0.17% 平稳 |
| 🟡 黄色 | system-log 日总量 >1200 万 | 12,044,312 | 其中 ~36 万为 LAN_addcn_117 grok 失败噪音（剔除后 ~1168 万，仍在基线上沿） |
| ⚠️ 观察 | system-log _grokparsefailure 回归 | 359,372（前日 0） | LAN_addcn_117 / pmm-agent ANSI 颜色码破坏 grok（旧病灶复发） |
| ⚠️ 观察 | 无效碎片 166.2 万/天 | -4.8% | Top：45/dockerd（已知待办）、82/haproxy+kubelet、22/kubelet |
| ✅ 正常 | hook 刷屏 / Invalid FieldReference / hostname 字面量 / mapper 400（infra_day、apiVersion）/ clickhouse-server | 均 0 | 09-22 治理项全部保持有效 |
| ✅ 正常 | 磁盘水位 56–72%、集群 green | — | master-1 72% 为最高，<75% 黄线 |
六、环比（vs 10-27 日报）
- youdu 总量（16h 口径）：10,419,940 → 10,498,080（+0.7%，涨势显著放缓：前日 +18.5%）。
- system-log 总量（24h 口径）：11,825,978 → 12,044,312（+1.8%），首破 1200 万黄线。
- 事件转储回显：1,055 → 962（-8.8%），LAN_addcn_35 同源同时段，未处置。
- _grokparsefailure：0 → 359,372（LAN_addcn_117 噪音回归，本日最大新增项）。
- 无效碎片：1,744,512 → 1,661,681（-4.8%）。
- 其余治理红线项（hook 刷屏、FieldReference、hostname 字面量、mapper 400、clickhouse）全部保持 0。
- 磁盘：集群索引总量 185.8 GiB（09-22 实测 214 GB 后持续回落）；最高水位节点由 master-0 转为 master-1（72%），仍低于黄线。
七、当日结论
整体处于「需关注」状态：所有 09-22 治理红线项（hook 刷屏、FieldReference、hostname 字面量、mapper 400、clickhouse 堆栈）继续保持零回归，磁盘水位回落到 56–72%、集群 green，基本盘健康。需要处置的有两件事：一是 LAN_addcn_35 事件转储回显连续第三晚 02:00 准时复发（红色，建议对 Dissector WARN 降噪并排查 d032019080022-v 的夜间 panic 定时任务）；二是 LAN_addcn_117 pmm-agent 颜色码噪音回归带来 35.9 万/天 grok 失败，直接把 system-log 顶破 1200 万黄线，治理该源后即可回落至基线区间。youdu 外推连续三日越线但增速已放缓至 +0.7%，且无效 tag 占比仅 0.17%，属业务量增长而非解析恶化。磁盘方面建议尽快配 ILM，并在清理前优先关掉 dockerd debug 与 pmm-agent 颜色输出两个可控噪音源。