ES 无效数据日报 2026-11-03

统计窗口：2026-11-03 00:00 – 24:00 CST（UTC 2026-11-02T16:00Z – 2026-11-03T16:00Z）
口径说明（沿用前几日日报）：两索引均按 UTC 滚日。system-log 通过 system-log-2026.11.02 + system-log-2026.11.03 双索引求和获得完整 CST 24h；youdu_next_log 仅保留 2 天，CST 00:00–08:00 数据不可查，仅覆盖 CST 08:00–24:00（16h），与前几日日报口径一致，环比可比。
上一次日报为 2026-11-02，环比均 vs 11-02。

一、总览

索引	昨日总量	基线/参考	环比（vs 11-02）	判定
youdu_next_log-2026.11.03	11,381,354（仅 CST 08:00–24:00，16h）	黄线 1200 万/天	+6.3%（前值 10,704,270，同为 16h 覆盖）	✅ 连续第二日常态量级，低于黄线
system-log（11.02+11.03 双索引）	10,499,466（完整 24h）	基线 ~1050 万/天；黄线 1200 万	+6.5%（前值 9,857,361）	✅ 恰在基线附近，低于黄线

二、A. youdu_next_log-2026.11.03 明细（CST 08:00–24:00）

指标	数值	环比	判定
总文档数（CST 08:00–24:00）	11,381,354	+6.3%	✅ 常态量级（10-29 以来 1070–1140 万区间）
log_type_unmatched	20	↑（前值 2）	✅ 绝对量极小，无需处置
parsefail_kitex	11,880	持平（前值 11,872）	⚠️ 观察项（量级不变）
parsefail_nsq	2,880	持平（前值 2,880）	✅
err_unparsed	2,591	-2.0%（前值 2,645）	✅
goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure	均 0（terms 聚合无桶）	持平	✅ remoteAddr[0] 修复持续有效，ylog_parsefail <;5000 无需抽样
hook 刷屏（"can't rename log file"）	0	持平	✅ 无回归（红色项）
Invalid FieldReference	0	持平	✅ 无回归
gin-access 缺 gin_status	26（gin-access 总量 3,537,437）	↑（前值 3）	✅ 占比 0.0007%，低位可忽略
按小时分布	CST 08:00 起 32.8 万，白天 62–108 万/h（CST 14:00 峰值 108.1 万），晚间回落至 29–45 万/h	曲线形态与常态一致	✅ 无异常尖峰

无效/解析失败类 tag 合计 ≈ 17,371（占 0.15%），绝对量与占比均平稳。

三、B. system-log 明细（完整 CST 24h，双索引求和）

指标	数值	环比	判定
总文档数	10,499,466（11.02 索引 358.1 万 + 11.03 索引 691.9 万）	+6.5%	✅ 与 1050 万基线持平
事件转储回显（`"@version" => "1"` 精确签名）	命中 1,166，其中真实回显 961，误报 205（见下）	真实回显 961 vs 前值 931（+3.2%，连续第七晚复发）	🔴 红色告警，定位见下
syslog_hostname 字面量（%{fields.server_name}）	0	持平	✅ grok 修复无回归
mapper_parsing_exception × infra_day	0	持平	✅
mapper_parsing_exception × apiVersion（system-log + tw*-cloudwatch-2026.11.03）	均 0	持平	✅ 组合模板持续生效（09-23 起）
clickhouse-server 日志	0	持平	✅ 无回归（红色项）
_grokparsefailure（tags）	38,868	-0.4%（前值 39,029）	✅ 平稳（pmm-agent 噪音治理后常态量级）
无效碎片总量（regexp `[0-9]+\.` / "[0]" / "from /"）	1,582,516	+4.9%（前值 1,508,923）	⚠️ 观察项（仍以已知 dockerd/kubelet/haproxy 噪音为主）
按小时分布	CST 全天 37.5–49.3 万/h，白天工作时段略高，曲线平滑	平滑	✅ 无尖峰

🔴 事件转储回显定位（红色）

来源	数量	时间分布	性质判定
LAN_addcn_35 / logstash[1214328]	961	CST 11-03 02:00（340）/ 03:00（310）/ 04:00（310）/ 05:00（1），另零星 4 条	真实回显：抽样确认为 Dissector WARN「pattern not found」事件转储（youdu pipeline 对 Windows 主机 `d032019080022-v` 的 `ng_kv_err.log` 输出 badger Go 栈行 `github.com/dgraph-io/badger/v4/table...` 不匹配 infra dissect 模板，WARN 日志把含 `"@version" => "1"` 的事件体打进 /var/log/messages 被 filebeat 重采）。连续第七晚 02:00–04:00 准时复发，量级稳定（931→961，+3%）。并非 stdout rubydebug 回归。
LAN_addcn_45 / dockerd	205	CST 白天多时段零星（06:00–15:00 共 10 个小时段）	分词误报，非回显：抽样确认为 dockerd build debug 行 `level=debug msg="[BUILDER] Use cached version: [	1 INSTALL_...]"`，标准分词后` [version, 1]` 恰好相邻，与事件转储签名同形。属 dockerd debug 噪音（已知待办），不计入回显告警。

处置建议（沿用）：对 LAN_addcn_35 的 Dissector WARN 降噪（logger.deprecations 或 pipeline 日志级别调整），并排查 Windows 主机 d032019080022-v 每晚 02:00 触发 badger 栈输出的定时任务；dockerd debug 关闭（LAN_addcn_45/22，预计 system-log 日增降至 ~800 万）仍在待办。

无效碎片 Top5 来源

机器	总量	主要进程	备注
LAN_addcn_45	469,267	dockerd 460,368、kubelet 5,114、journal 2,826	已知待办（dockerd debug 未关），标注不告警
LAN_addcn_82	348,696	haproxy[124397] 275,160、rpc.mountd[96046] 34,594、filebeat 10,016	⚠️ 持续观察项（较 11-02 的 333,774 再升 4.5%，连续两日上行）
LAN_addcn_22	114,946	kubelet[257775] 103,947、gitlab-runner 2,409	已知（kubelet 噪音带）
LAN_addcn_26	102,744	automount[1174] 57,432、haproxy[12569] 41,350	观察项
LAN_addcn_185	69,959	kubelet[4102] 58,051、filebeat 2,880	观察项

四、C. 集群磁盘水位巡检

每节点水位（_cat/allocation）

节点	disk.percent	disk.used	disk.avail	disk.total	分片数	判定
elasticsearch-master-0（10.2.70.159）	73%（最高）	72.0 GB	25.7 GB	97.8 GB	110	⚠️ 未触 75% 黄线，但较 11-02 的 71% 再升 2pp，逼近黄线
elasticsearch-master-1（10.2.200.32）	65%	64.3 GB	33.4 GB	97.8 GB	110	✅（前值 63%）
elasticsearch-master-2（10.2.231.246）	49%	48.7 GB	49.1 GB	97.8 GB	110	✅（前值 52%）

集群 health：green（165 主分片 / 330 全部分片，unassigned=0，relocating=0），无非 STARTED 分片。
索引总量 178.7 GiB，较 11-02 的 178.6 GiB 基本持平；多数家族索引数收敛至 7 个（约 7 天保留）。youdu_next_log 仅 2 索引（8.2 GiB，1,448 万条）。

索引存储 Top15 家族（合计占比 ~99%）

家族	存储	占比	索引数	文档数
system-log	36.7 GiB	20.5%	7	6,461 万
logstash-nginx_access	32.1 GiB	18.0%	7	3,636 万
k8s-audit	25.1 GiB	14.1%	7	995 万
win_smb_log	23.9 GiB	13.4%	7	1,640 万
mysql_audit	13.1 GiB	7.3%	7	1,831 万
tw8591-cloudwatch	12.4 GiB	6.9%	7	499 万
tw591-cloudwatch	10.6 GiB	5.9%	7	503 万
youdu_next_log	8.2 GiB	4.6%	2	1,448 万
.monitoring-es-7	7.4 GiB	4.1%	7	763 万
logstash-traefik_access	4.5 GiB	2.5%	7	572 万
mysql_error	2.2 GiB	1.2%	7	1,076 万
k8s-log	1.7 GiB	0.9%	7	285 万
k8s-event-log	0.4 GiB	0.2%	7	29 万
system_secure	0.3 GiB	0.2%	7	38 万
elastalert_status_status	0.1 GiB	0.1%	1	63 万

可释放估算与清理建议（仅建议，不执行删除）

当前最高水位节点 master-0 为 73%，距 75% 黄线仅 2pp（两日 +2pp/天斜率），预计 1–2 天内可能触线，建议提前准备。
以 Top 家族日均（总占用/索引数，含副本）估算：
system-log ≈5.2 GiB/天：删最旧 2 天可释放约 10.5 GB，master-0 水位预计 73%→~70%；
logstash-nginx_access ≈4.6 GiB/天：删最旧 2 天可释放约 9 GB，水位预计降至 ~67%；
二者合计删 2 天约释放 19.5 GB，水位预计 73%→~66%。
建议：优先为 win_smb_log（23.9 GiB）、k8s-audit（25.1 GiB）配 ILM 统一保留策略；不建议手工单删。日报只做水位跟踪，不执行删除。

五、告警汇总

🔴 红色告警

事件转储回显（真实）961 条（system-log：LAN_addcn_35 / logstash[1214328]，连续第七晚 CST 02:00–04:00 定时复发，931→961 缓慢上行）——根因为 Dissector WARN 事件转储 + Windows 主机 d032019080022-v 夜间 badger panic/栈输出任务，建议尽快处置（WARN 降噪或修复该主机定时任务）。注：签名另命中 dockerd 205 条，经抽样确认为 build debug 行分词误报，不计入告警。

🟡 黄色预警

master-0 磁盘水位 73%（较 11-02 +2pp，两日累计 +7pp）：未触 75% 黄线，但按当前斜率 1–2 天内可能触线，列为观察项；触线后参考第四节清理建议（删 2 天约释放 19.5 GB）。
无其他黄色项：syslog_hostname 字面量 0、Invalid FieldReference 0、mapper_parsing_exception（infra_day/apiVersion）均 0，两索引日总量均在黄线以下，集群 green。

✅ 正常项

hook 刷屏 0；clickhouse-server 0；ylog_parsefail / caddy_parsefail / _grokparsefailure（youdu）均 0；治理基线（2026-08-20 / 09-22 各项）零回归；集群 green，三节点水位 49–73%。

六、总结

2026-11-03 整体需关注：治理基线全部保持有效（hook 刷屏、FieldReference、hostname 字面量、mapper 400、clickhouse 堆栈均零回归），集群 green，system-log 总量 1,050 万恰在基线，youdu 1,138 万（16h 口径）连续第二日常态。唯一红色项仍是 LAN_addcn_35 的 logstash 事件转储回显（961 条，连续第七晚 02:00–04:00 定时复发且缓慢上行），建议尽快对 Dissector WARN 降噪并排查 Windows 主机 d032019080022-v 的夜间任务；本日签名声明的 dockerd 205 条经抽样确认为分词误报（build debug 行），未计入告警。磁盘方面 master-0 水位 73%（+2pp），按斜率 1–2 天内可能触 75% 黄线，届时可按 Top 家族清理建议（删 system-log + nginx_access 最旧 2 天约释放 19.5 GB）处置；dockerd debug 关闭（LAN_addcn_45/22）与 LAN_addcn_82 haproxy 碎片上行仍为待办观察项。