ES 无效数据日报 2026-11-05

统计窗口：2026-11-05 00:00 – 24:00 CST（UTC 2026-11-04T16:00Z – 2026-11-05T16:00Z）
口径说明（沿用前几日日报）：两索引均按 UTC 滚日。system-log 通过 system-log-2026.11.04 + system-log-2026.11.05 双索引求和获得完整 CST 24h；youdu_next_log 仅保留 2 天（11-04 索引已删除），CST 00:00–08:00 数据不可查，仅覆盖 CST 08:00–24:00（16h），与前几日日报口径一致，环比可比。
上一次日报为 2026-11-04，环比均 vs 11-04。

一、总览

索引	昨日总量	基线/参考	环比（vs 11-04）	判定
youdu_next_log-2026.11.05	10,884,009（仅 CST 08:00–24:00，16h）	黄线 1200 万/天	-10.1%（前值 12,111,153，同为 16h；前值含 20:30 突发 147 万，剔除后常态 ~1,064 万 → 本日 ~+2.3%，属常态波动）	✅ 回落至常态，未触线
system-log（11.04+11.05 双索引）	11,686,625（完整 24h）	基线 ~1050 万/天；黄线 1200 万	-1.5%（前值 11,866,081）	⚠️ 未触线但持续高于 1050 万基线（dockerd debug 未关为主因）

二、A. youdu_next_log-2026.11.05 明细（CST 08:00–24:00）

指标	数值	环比	判定
总文档数（CST 08:00–24:00）	10,884,009	-10.1%	✅ 昨日突发未复发，回落常态
log_type_unmatched	18	↑（前值 8）	✅ 绝对量极小
parsefail_kitex	11,881	-0.5%（前值 11,943）	⚠️ 观察项（量级持平，连续多日 ~1.2 万）
parsefail_nsq	2,880	持平（前值 2,880）	✅
err_unparsed	2,582	-6.0%（前值 2,748）	✅
goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure	均 0（terms 聚合无桶；仅 _dissectfailure 1、infra_kitex_dissectfail 1）	持平	✅ remoteAddr[0] 修复持续有效，ylog_parsefail <;5000 无需抽样
hook 刷屏（"can't rename log file"）	0	持平	✅ 无回归（红色项）
Invalid FieldReference	0	持平	✅ 无回归
gin-access 缺 gin_status	187	↑（前值 12）	✅ 占 gin-access（341.7 万）0.005%，可忽略
按小时分布	CST 白天 38.9–100.5 万/h（CST 14:00 峰值 100.5 万），夜间自然回落至 27.6 万，曲线平滑	昨日 20:00 尖峰未复发	✅ 无异常尖峰

无效/解析失败类 tag 合计 ≈ 17,363（占 0.16%），绝对量与占比均平稳。

三、B. system-log 明细（完整 CST 24h，双索引求和）

指标	数值	环比	判定
总文档数	11,686,625（11.04 索引 CST 00–08h 4,280,576 + 11.05 索引 CST 08–24h 7,406,049）	-1.5%	⚠️ 高于 1050 万基线、逼近 1200 万黄线（dockerd debug 未关为主因）
事件转储回显（`"@version" => "1"` 精确签名）	签名命中 1,006，其中真实回显 931（logstash），误报 75（dockerd，见下）	真实回显 931 vs 前值 1,086（-14.3%，增速转跌但仍 nightly 复发）	🔴 红色告警，定位见下
syslog_hostname 字面量（%{fields.server_name}）	0	持平	✅ grok 修复无回归
mapper_parsing_exception × infra_day	0	持平	✅
mapper_parsing_exception × apiVersion	0	持平	✅ 组合模板持续生效（09-23 起）
clickhouse-server 日志	0	持平	✅ 无回归（红色项）
_grokparsefailure（tags）	38,325（00–08h 11,600 + 08–24h 26,725）	+0.05%（前值 38,306）	✅ 平稳
无效碎片总量（regexp `[0-9]+\.` / "[0]" / "from /"）	1,707,786（00–08h 526,658 + 08–24h 1,181,128）	+0.9%（前值 1,692,038）	⚠️ 观察项（仍以已知 dockerd/kubelet/haproxy 噪音为主）
按小时分布	CST 全天 43.5–52.5 万/h，曲线平滑	平滑	✅ 无尖峰

🔴 事件转储回显定位（红色）

来源	数量	时间分布	性质判定
LAN_addcn_35 / logstash[1214328]	931（930 集中在 CST 02:00/03:00/04:00 各 310 条，白天零星 1 条）	连续第九晚 CST 02:00–04:00 准时复发，量级 931→961→1,086→931（本日 -14%，止涨回落）	真实回显：与 11-04 日报定位一致——youdu_next_log pipeline 对 Windows 主机 `d032019080022-v` 的 pebble WAL 行 Dissector WARN「pattern not found」事件转储，含 `"@version" => "1"` 的事件体落入 /var/log/messages 被 filebeat 重采。非 stdout rubydebug 回归。
LAN_addcn_45 / dockerd	75	CST 白天多时段零星（09:00 UTC 最多 23 条）	分词误报，非回显：与 11-04 同型，dockerd build debug 行 URL 参数 `version=1` 分词后 [version, 1] 相邻。属 dockerd debug 噪音（已知待办），不计入回显告警。

处置建议（沿用）：① 对 LAN_addcn_35 的 youdu_next_log pipeline Dissector WARN 降噪（log4j2 logger org.logstash.dissect.Dissector 调至 ERROR）；② 体检 Windows 主机 d032019080022-v 的 CST 02:00 定时 pebble/备份任务。dockerd debug 关闭（LAN_addcn_45/22）仍在待办，关闭后 system-log 预计回落至 ~800–950 万。

无效碎片 Top5 来源（CST 08–24h 口径）

机器	总量	主要进程	备注
LAN_addcn_45	330,821	dockerd 324,043、kubelet 3,495、journal 1,896	已知待办（dockerd debug 未关），标注不告警
LAN_addcn_82	260,243	haproxy[124397] 211,363、rpc.mountd 22,956、filebeat 13,305	⚠️ 持续观察（量级与前日 355k/16h→本日 260k/16h 口径内波动，未创新高）
LAN_addcn_22	162,424	kubelet[257775] 151,544、gitlab-runner 2,490	已知（kubelet 噪音带）
LAN_addcn_26	70,476	automount 38,278、haproxy 29,596	常规噪音
LAN_addcn_185	40,131	kubelet[4102] 32,129	常规噪音

四、C. 集群磁盘水位巡检

每节点水位（_cat/allocation）

节点	disk.percent	disk.used	disk.avail	分片数	判定
elasticsearch-master-0	76%（最高）	75.1 GB	22.6 GB	110	🟡 触 75% 黄线（前值 77%，+4pp 后微降 1pp；趋势 71→73→77→76）
elasticsearch-master-1	60%	59.6 GB	38.2 GB	110	✅（前值 62%）
elasticsearch-master-2	55%	54.5 GB	43.3 GB	110	✅（前值 55%）

集群 health：green（unassigned_shards=0，active_shards_percent 100%），无非 STARTED 分片。
索引总量 182.3 GiB（前值 183.1 GiB，-0.8 GiB，首次回落）；各家族索引数维持 7 个（约 7 天保留），youdu_next_log 2 个。

索引存储 Top15 家族（合计占比 ~99%）

家族	存储	占比	索引数	文档数
system-log	36.9 GiB	20.2%	7	6,494 万
logstash-nginx_access	32.5 GiB	17.8%	7	3,706 万
k8s-audit	29.7 GiB	16.3%	7	1,175 万
win_smb_log	24.5 GiB	13.4%	7	1,692 万
mysql_audit	12.8 GiB	7.0%	7	1,814 万
tw8591-cloudwatch	12.5 GiB	6.8%	7	502 万
tw591-cloudwatch	11.0 GiB	6.0%	7	526 万
youdu_next_log	7.9 GiB	4.3%	2	1,415 万
.monitoring-es-7	7.3 GiB	4.0%	7	769 万
logstash-traefik_access	4.7 GiB	2.6%	7	614 万
k8s-log	1.6 GiB	0.9%	7	279 万
k8s-event-log	0.3 GiB	0.2%	7	22 万
system_secure	0.3 GiB	0.2%	7	38 万
elastalert_status_status	0.1 GiB	0.1%	1	63 万
mysql_error	0.1 GiB	0.0%	7	20 万

可释放估算与清理建议（仅建议，不执行删除）

master-0 维持 76%（黄线 75%），虽较昨日微降，但磁盘余量仅 22.6 GB，安全边际不足，建议尽快安排清理/ILM。
以 Top 家族日均（总占用/索引数，含副本）估算：
system-log ≈5.3 GiB/天：删最旧 2 天可释放约 10.6 GB，master-0 水位预计 76%→~73%（退出黄线）；
logstash-nginx_access ≈4.6 GiB/天：删最旧 2 天再释放约 9 GB，叠加后水位预计 ~70%；
k8s-audit（4.2 GiB/天）与 win_smb_log（3.5 GiB/天）各删最旧 2 天再释放约 15.4 GB，四项合计约 35 GB，水位预计 76%→~64%。
建议：优先为 k8s-audit、win_smb_log 配 ILM 统一保留策略（人工删旧天索引 + ILM 均可）；不建议手工单删未评估的索引。日报只做水位跟踪，不执行删除。

五、告警汇总

🔴 红色告警

事件转储回显（真实）931 条（system-log：LAN_addcn_35 / logstash[1214328]，连续第九晚 CST 02:00–04:00 定时复发，量级 931→961→1,086→931，本日 -14% 止涨但未消除）——根因为 Dissector WARN 事件转储 + Windows 主机 d032019080022-v 夜间 02:00 pebble WAL 输出任务。签名另命中 dockerd 75 条（LAN_addcn_45），为 build URL version=1 分词误报，不计入。

🟡 黄色预警

master-0 磁盘水位 76%（触 75% 黄线，连续两日；71→73→77→76）：建议按第四节清理方案处置（删 system-log + nginx_access 最旧 2 天约释放 19.6 GB，可退回 ~70%）。
⚠️ 观察项（未触线）：system-log 日总量 11,686,625 持续高于 1050 万基线（dockerd debug 未关为主因）；parsefail_kitex ~1.19 万/日量级持平。

✅ 正常项

hook 刷屏 0；clickhouse-server 0；syslog_hostname 字面量 0；Invalid FieldReference 0；mapper_parsing_exception（infra_day/apiVersion）0；ylog_parsefail / caddy_parsefail / _grokparsefailure（youdu）均 0；治理基线（2026-08-20 / 09-22 各项）零回归；集群 green；youdu 日总量回落常态（昨日的 svc_org error 突发未复发）。

六、总结

2026-11-05 整体需关注（一项待处置）：治理基线零回归（hook、FieldReference、hostname 字面量、mapper 400、clickhouse 均 0），集群 green，youdu 总量随昨日 20:30 突发消退回落至 1,088 万常态。唯一红色项仍是 LAN_addcn_35 事件转储回显——连续第九晚 CST 02:00–04:00 复发 931 条（较昨日 -14%，止涨但未消除），建议尽快落地 Dissector WARN 降噪并体检 Windows 主机 d032019080022-v 的凌晨定时任务。master-0 磁盘 76% 连续两日触黄线，按估算删 Top 家族最旧 2 天可释放约 20–35 GB、退回 70–64%。system-log 总量 11.69M 仍高于基线，主因待办的 dockerd debug（LAN_addcn_45/22，~25 万条/日碎片），关闭后预计回落至 800–950 万。