ES 无效数据日报 2026-10-29

统计窗口：2026-10-29 00:00 – 24:00 CST（UTC 2026-10-28T16:00Z – 2026-10-29T16:00Z）
口径说明（沿用 10-28 日报）：两个索引均按 UTC 滚日。system-log 通过 system-log-2026.10.28,2026.10.29 双索引查询获得完整 CST 24h；youdu_next_log 仅保留 2 天（youdu_next_log-2026.10.28 已删除），CST 00:00–08:00 数据不可查，仅覆盖 CST 08:00–24:00（16h），与前几日日报口径一致，环比可比。

一、总览

索引	昨日总量	基线/参考	环比（vs 10-28 日报）	判定
youdu_next_log-2026.10.29	10,854,012（仅覆盖 CST 08:00–24:00）	黄线 1200 万/天（全天口径）	+3.4%（前值 10,498,080，同为 16h 覆盖）	🟡 按 16h 外推全天 ≈1630 万，连续四日越过 1200 万黄线（增量仍为业务日志本身，见下）
system-log-2026.10.28/29	11,693,618（完整 24h）	基线 ~1050 万/天；黄线 1200 万	-2.9%（前值 12,044,312）	✅ 回落至黄线以下（其中 ~40.5 万为 LAN_addcn_117 pmm-agent grok 失败噪音，剔除后 ~1129 万，仍高于基线但在区间上沿）

二、A. youdu_next_log-2026.10.29 明细（CST 08:00–24:00）

指标	数值	环比	判定
总文档数（CST 08:00–24:00）	10,854,012	+3.4%	🟡 外推全天 >1200 万，黄色预警（连续第四日），增速与昨日持平
log_type_unmatched	5	基本为 0	✅
parsefail_kitex	11,885	平稳区间	⚠️ 观察项（量级不变）
parsefail_nsq	2,880	平稳	✅
err_unparsed	2,889	平稳	✅
goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure	均 0（terms 聚合无桶）	持平	✅ remoteAddr[0] 修复持续有效，未出现新的非法键名（<;5000，无需抽样）
hook 刷屏（"can't rename log file"）	0	持平	✅ 无回归（红色项）
Invalid FieldReference	0	持平	✅ 无回归
gin-access 缺 gin_status	33	低位	✅
按小时分布	08:00 起量 26 万，09:00–17:00 高位 76–97 万/h，晚间回落至 32–45 万/h	曲线形态正常	✅ 无异常尖峰

无效/解析失败类 tag 合计 ≈ 17,676（占 0.16%），总量与占比均平稳；youdu 增长来自 parsed_ylog / parsed_caddy / parsed_gin 业务日志本身，非解析恶化。

三、B. system-log 明细（完整 CST 24h）

指标	数值	环比	判定
总文档数	11,693,618	-2.9%	✅ 回到 1200 万黄线以内
事件转储回显（syslog_message 含 `"@version" => "1"` 精确签名）	931 🔴	前值 ~930（连续第四晚复发）	🔴 红色告警，来源见下
syslog_hostname 字面量（%{fields.server_name}）	0	持平	✅ grok 修复无回归
mapper_parsing_exception × infra_day	0	持平	✅
mapper_parsing_exception × apiVersion	0	持平	✅ 组合模板持续生效（09-23 起）
clickhouse-server 日志	0	持平	✅ 无回归（红色项）
_grokparsefailure（tags）	405,016	+12.8%（前值 ~35.9 万）	⚠️ LAN_addcn_117 404,921 + LAN_addcn_165 95，pmm-agent 颜色码噪音持续且略增
无效碎片总量（regexp `[0-9]+\.` / "[0]" / "from /"）	1,665,310	+0.2%（前值 1,661,681）	⚠️ 观察项
按小时分布	6.4–8.2 万/h，白天略高	平滑	✅ 无尖峰

🔴 事件转储回显定位（红色）

机器	进程	总量	时间分布
LAN_addcn_35	logstash[1214328]	931	10-29 02:00（309）/ 03:00（310）/ 04:00（311）+ 11:00（1）

性质判定（沿用 10-27/10-28 结论）：logstash Dissector WARN「pattern not found」事件转储——youdu pipeline 对 Windows 主机 d032019080022-v 的 ng_kv_err.log 执行 infra dissect 失败，WARN 日志把含 "@version" => "1" 的事件体打进 /var/log/messages 被 filebeat 重采。并非 stdout rubydebug 回归。已连续第四晚 02:00–04:00 准时复发（约 310 条/h），建议对 Dissector WARN 降噪并排查该 Windows 主机的夜间 panic 定时任务。

无效碎片 Top5 来源

机器	总量	主要进程	备注
LAN_addcn_45	455,861	dockerd 447,706、kubelet 5,201	已知待办（dockerd debug 未关），标注不告警
LAN_addcn_82	360,575	haproxy[124397] 287,195、rpc.mountd 34,416	⚠️ 新近冒头，建议关注
LAN_addcn_22	231,256	kubelet[257775] 220,551	已知（dockerd/kubelet 噪音带）
LAN_addcn_26	107,053	automount 57,430、haproxy 45,457	观察项
LAN_addcn_185	63,248	kubelet[4102] 51,190	观察项

四、C. 集群磁盘水位巡检

集群 health：🟢 green（3 节点、164 主分片 / 328 活跃、0 unassigned、100%）。无任何非 STARTED 分片。

每节点水位（总量 97.8 GB/节点）

节点	disk.percent	disk.used	disk.avail	shards	判定
elasticsearch-master-1（10.2.200.32）	72%（最高）	71.0 GB	26.8 GB	109	✅ <;75% 黄线，但持续高位需跟踪
elasticsearch-master-0（10.2.70.159）	70%	68.7 GB	29.1 GB	110	✅
elasticsearch-master-2（10.2.231.216）	52%	51.0 GB	46.8 GB	109	✅

索引存储 Top15 家族（合计 184.8 GiB，较 10-28 的 185.8 GiB 基本持平）

家族	存储	占比	索引数	文档数
system-log	40.4 GiB	21.8%	7	7086 万
k8s-audit	32.1 GiB	17.3%	7	1314 万
logstash-nginx_access	31.4 GiB	17.0%	7	3549 万
win_smb_log	22.4 GiB	12.1%	7	1601 万
mysql_audit	11.1 GiB	6.0%	7	1448 万
tw8591-cloudwatch	10.9 GiB	5.9%	7	428 万
youdu_next_log	8.1 GiB	4.4%	2	1434 万
tw591-cloudwatch	7.9 GiB	4.3%	7	373 万
.monitoring-es-7	7.2 GiB	3.9%	7	762 万
mysql_error	6.8 GiB	3.7%	7	3422 万
logstash-traefik_access	4.0 GiB	2.2%	7	495 万
k8s-log	1.6 GiB	0.9%	7	272 万
k8s-event-log	0.4 GiB	0.2%	7	23 万
system_secure	0.3 GiB	0.2%	7	39 万
elastalert_status_status	0.1 GiB	0.1%	1	63 万

可释放估算与清理建议（仅建议，不执行删除）

各家族多为 7 天保留。若 Top3 家族（system-log / k8s-audit / logstash-nginx_access）各删最旧 1 天：约释放 5.8 + 4.6 + 4.5 ≈ 15 GiB（含副本），集群总量 184.8 → ~170 GiB；按分片均衡分摊，最高水位 master-1 预计 72% → 约 67%。若各删最旧 2 天（约 30 GiB），master-1 预计降至 ~62%。
长期建议仍为配 ILM 自动滚动删除（youdu 事实保留 2 天可作参照），并优先治理两个可控噪音源：dockerd debug（LAN_addcn_45/22，~45 万条/天） 与 LAN_addcn_117 pmm-agent 颜色码噪音（~40 万条/天 grok 失败）——后者已在治理后把 system-log 总量压回 1200 万以内，彻底治理后可回落至 ~1050 万基线。

五、告警汇总

级别	项目	数值	定位/说明
🔴 红色	事件转储回显	931	LAN_addcn_35 logstash[1214328]，10-29 02:00–04:00 准时复发（连续第四晚），Dissector WARN 事件转储，非 stdout rubydebug 回归
🟡 黄色	youdu 日总量外推 >1200 万	16h 实测 1085.4 万（外推 ~1630 万）	连续第四日，增速 ~3%，无效 tag 占比仅 0.16%，属业务量增长
✅ 正常	system-log 日总量	11,693,618（-2.9%）	回落至 1200 万黄线以内
✅ 正常	hook 刷屏 / Invalid FieldReference / ylog_parsefail / hostname 字面量 / mapper 400（infra_day、apiVersion）/ clickhouse-server	均 0	09-22 治理项全部保持有效
✅ 正常	集群水位	green；最高节点 72%	低于 75% 黄线，无未分配分片
⚠️ 观察	_grokparsefailure 40.5 万（+12.8%）、无效碎片 166.5 万（+0.2%）	—	117 pmm-agent、45 dockerd、82 haproxy 为主，均已知待办/观察项

六、环比变化（vs 10-28 日报）

youdu 总量（16h 口径）：10,498,080 → 10,854,012（+3.4%），连续走高但增速温和；无效 tag 绝对量与占比（0.16%）持平。
system-log 总量（24h 口径）：12,044,312 → 11,693,618（-2.9%），回落至黄线以内；主因 117 pmm-agent 噪音虽有 +12.8%，但其他来源（dockerd 等）总量微降。
事件转储回显：~930 → 931（持平，第四晚 02:00 定时复发）。
磁盘：索引总量 185.8 → 184.8 GiB（持平）；最高水位节点仍为 master-1（72%），集群 green。
全部 09-22 治理红线项继续保持零回归。

七、当日结论

整体处于「需关注」状态：所有 09-22 治理红线项（hook 刷屏、Invalid FieldReference、hostname 字面量、mapper 400、clickhouse 堆栈、ylog_parsefail）继续保持零回归，磁盘水位 52–72%、集群 green，基本盘健康。唯一红色项仍是 LAN_addcn_35 logstash Dissector WARN 事件转储回显，已连续第四晚 02:00–04:00 准时复发（931 条/晚），建议尽快对该 WARN 降噪并排查 Windows 主机 d032019080022-v 的夜间 panic 定时任务。youdu 外推连续四日越线但增速仅 +3.4%、无效占比 0.16%，属业务增长；system-log 已回落至 1200 万以内，彻底治理 117 pmm-agent（+12.8%）与 45 dockerd 两个噪音源后可回到 ~1050 万基线。磁盘建议尽快配 ILM；若 Top3 家族各删最旧 1 天可释放约 15 GiB，master-1 水位预计 72% → 67%。