ES 无效数据日报 2026-10-21
- 统计范围：2026-10-21 00:00 – 24:00（UTC+8），即 UTC 2026-10-20T16:00 – 2026-10-21T16:00
- 数据源：只读 ES 查询（es-query skill）+
_cat 直连巡检
- 上期日报：[es-invalid-data-report-20261020.md](es-invalid-data-report-20261020.md)（2026-10-20，周二）
一、总览
| 索引 | 本期总量 | 参考基线/阈值 | 上期（10-20） | 环比 | 判定 |
|---|
| youdu_next_log-2026.10.21 | 12,014,332 | 阈值 1200 万 | 10,427,181 | +15.2% | 🟡 超阈值 1.4 万条（0.1%） |
| system-log-2026.10.21 | 7,488,453 | 基线 ~1050 万（dockerd 关闭后目标 ~800 万） | 7,361,666 | +1.7% | ✅ 低于基线与阈值 |
youdu 总量首次越过 1200 万黄色线，但仅超出 0.1%，属于业务量自然波动区间边缘，持续观察即可；system-log 维持在 750 万左右，明显低于 1050 万基线（dockerd 待办仍在，见无效碎片节）。
二、A. youdu_next_log-2026.10.21 无效数据分类
| 指标 | 本期 | 上期参考 | 判定 |
|---|
| 总文档数 | 12,014,332 | 10,427,181 | 🟡 超 1200 万阈值（+0.1%） |
| parsefail_kitex | 11,919 | 常态波动 | 🟡 无效类最大项 |
| parsefail_nsq | 2,880 | 常态 | 观察项 |
| err_unparsed | 2,719 | 常态 | 观察项 |
| log_type_unmatched | 6 | ~0 | ✅ |
| ylog_parsefail | 0 | 0 | ✅ remoteAddr[0] 修复持续有效 |
| goapp_dissectfail / caddy_parsefail / _grokparsefailure | 0 / 0 / 0 | 0 | ✅ |
| hook 刷屏（"can't rename log file"） | 0 | 0 | ✅ 无回归 |
| Invalid FieldReference | 0 | 0 | ✅ 无回归（ylog_parsefail=0，无需抽样） |
| gin-access 缺 gin_status | 12 | 20 | ✅ 个位数级 |
小时分布（UTC，+8 为本地）
小时曲线整体正常，业务高峰（06:00–09:00 UTC，即 14:00–17:00 CST）约 90–100 万/小时。唯一尖峰：12:00 UTC（20:00 CST）达 1,733,094，约为日均小时值（75 万）的 2.3 倍，前后小时（53 万 / 27 万）正常，判断为晚间业务瞬时高峰（parsed_ylog/parsed_gin 量增），非异常刷屏模式，持续观察。
三、B. system-log-2026.10.21 无效数据分类
| 指标 | 本期 | 上期（10-20） | 判定 |
|---|
| 总文档数 | 7,488,453 | 7,361,666 | ✅ |
事件转储回显（"@version" => "1" 精确签名） | 2 | 0 | 🔴 规则触发，实际为孤立事件（见下） |
| syslog_hostname 字面量（%{fields.server_name}） | 0 | 0 | ✅ |
| mapper_parsing_exception × infra_day | 0 | 0 | ✅ |
| mapper_parsing_exception × apiVersion | 0 | 0 | ✅ cloudwatch 组合模板持续生效 |
| clickhouse-server 堆栈 | 0 | 0 | ✅ |
| _grokparsefailure（syslog_message 含） | 0 | 224,263 | ✅ 大幅收敛（上期 LAN_addcn_117 pmm-agent ANSI 码问题已消失） |
| 无效碎片总量（组合口径） | 1,227,282 | 1,186,857 | +3.4%，见 top 来源 |
🔴 事件转储回显：2 条孤立事件定位
- 时间：2026-10-21T08:21:12Z（16:21 CST），同一秒两条（_id: gaaMXaEBCmWPDVYh-f69 / hKaMXaEBCmWPDVYh-f69）
- 来源：LAN_addcn_35，进程 kibana[212215]
- 判读：历史回显特征是 logstash pipeline 自噬、百万级/天且持续整日；本期仅 2 条、来自 kibana 进程日志内恰好包含事件转储字面串（大概率是有人在 16:21 于 kibana/终端操作时该字符串被 syslog 记录），不构成回显回归。规则按 >0 报红，实际建议按观察处理；若后续日报中该签名回升至千级以上再启动排查。
无效碎片 Top 来源（双层聚合 top5）
| 机器 | 碎片量 | 主要进程 | 备注 |
|---|
| LAN_addcn_82 | 333,309 | haproxy[124397] 284,335 / rpc.mountd 23,166 / filebeat 6,438 | 🟡 治理候选，与上期（30.8 万）持平 |
| LAN_addcn_45 | 305,461 | dockerd 300,022 / kubelet 3,452 | 已知待办（dockerd debug 未关），标注不告警 |
| LAN_addcn_22 | 157,605 | kubelet[257775] 145,353 / gitlab-runner 4,314 | 治理候选，与上期（14.8 万）持平 |
| LAN_addcn_26 | 74,793 | automount 36,919 / haproxy 35,351 | 观察项 |
| LAN_addcn_185 | 47,444 | kubelet[4102] 39,371 | 观察项 |
小时分布平稳（44–49 万/小时），无尖峰。
四、C. 集群磁盘水位巡检
每节点水位
| 节点 | IP | disk.percent | disk.used | disk.avail | disk.total | 分片数 |
|---|
| elasticsearch-master-0 | 10.2.70.159 | 70%（最高） | 68.7gb | 29.1gb | 97.8gb | 110 |
| elasticsearch-master-1 | 10.2.200.61 | 64% | 62.9gb | 34.8gb | 97.8gb | 109 |
| elasticsearch-master-2 | 10.2.231.240 | 59% | 57.9gb | 39.9gb | 97.8gb | 109 |
- 集群 health：green（3 节点，328 分片全部 STARTED，0 unassigned）✅
- 索引总存储 184.4 GiB（上期 183.3 GiB，+1.1 GiB），最高水位 70%（上期 73%，回落 3pp），仍 <75% 黄色线 ✅
索引存储 Top15 家族
| 家族 | 存储 | 占比 | 索引数 | 文档数 |
|---|
| system-log | 39.7 GiB | 21.5% | 7 | 69.8M |
| logstash-nginx_access | 31.2 GiB | 16.9% | 7 | 36.1M |
| k8s-audit | 30.9 GiB | 16.7% | 7 | 12.1M |
| win_smb_log | 22.5 GiB | 12.2% | 7 | 16.3M |
| tw591-cloudwatch | 10.7 GiB | 5.8% | 7 | 5.1M |
| mysql_audit | 10.6 GiB | 5.8% | 7 | 13.5M |
| tw8591-cloudwatch | 9.9 GiB | 5.3% | 7 | 3.9M |
| youdu_next_log | 8.0 GiB | 4.4% | 2 | 15.3M |
| mysql_error | 7.2 GiB | 3.9% | 7 | 36.4M |
| .monitoring-es-7 | 7.2 GiB | 3.9% | 7 | 7.6M |
| logstash-traefik_access | 4.1 GiB | 2.2% | 7 | 5.3M |
| k8s-log | 1.6 GiB | 0.8% | 7 | 2.6M |
| system_secure | 0.3 GiB | 0.2% | 7 | 0.4M |
| k8s-event-log | 0.3 GiB | 0.2% | 7 | 0.2M |
| elastalert_status_status | 0.1 GiB | 0.1% | 1 | 0.6M |
可释放估算（仅建议，不执行任何删除）
Top3 家族（system-log / logstash-nginx_access / k8s-audit）合计 101.8 GiB / 21 个日索引 ≈ 14.5 GiB/天。若删除各自最旧 3 天索引，可释放约 43 GiB（总量 -23%）；按当前分布 master-0 分摊约 1/3（~14 GB），disk.used 68.7→约 54.7 GB，水位预计 70%→约 56%，远离 75%/85% 水位线。长期仍建议为各家族配置 ILM 按天滚动保留，摆脱人工清理。
五、告警汇总
| 级别 | 项目 | 说明 |
|---|
| 🔴 红色（规则触发） | 事件转储回显 = 2 | LAN_addcn_35 / kibana[212215]，16:21 CST 同秒 2 条孤立事件，非历史百万级回显模式，按观察处理 |
| 🟡 黄色 | youdu 总量 12,014,332 > 1200 万 | 仅超 0.1%（1.4 万条），环比 +15.2%，小时曲线除 20:00 CST 业务高峰外无异常，观察为主 |
| 🟡 黄色（观察） | 碎片 top 来源：LAN_addcn_82 haproxy（28.4 万）、LAN_addcn_22 kubelet（14.5 万） | 治理候选，连续多期持平；LAN_addcn_45 dockerd（30 万）为已知待办，标注不告警 |
| ✅ 通过 | hook 刷屏 0；Invalid FieldReference 0；ylog_parsefail 0；syslog_hostname 字面量 0；mapper 400（infra_day/apiVersion）0；clickhouse-server 0；_grokparsefailure 0（上期 22.4 万，LAN_addcn_117 pmm-agent ANSI 问题已消失）；gin 缺 status 12；集群 green；磁盘最高 70% | 核心治理项全部零回归 |
六、环比（vs 2026-10-20 日报）
| 指标 | 本期（10-21） | 上期（10-20） | 变化 |
|---|
| youdu 总量 | 12,014,332 | 10,427,181 | +15.2%，越过 1200 万线（+0.1%） |
| system-log 总量 | 7,488,453 | 7,361,666 | +1.7% 持平 |
| _grokparsefailure | 0 | 224,263 | -100%，LAN_addcn_117 pmm-agent ANSI 噪音消失 |
| 无效碎片总量 | 1,227,282 | 1,186,857 | +3.4% |
| 事件转储回显 | 2（kibana 孤立） | 0 | 规则触发，实际无回归 |
| 集群总存储 / 最高水位 | 184.4 GiB / 70% | 183.3 GiB / 73% | 总量微增，水位回落 3pp |
七、当日结论
2026-10-21（周三）所有历史治理项（hook 刷屏、Invalid FieldReference、ylog_parsefail、syslog_hostname 字面量、mapper 400、clickhouse-server 堆栈、logstash 回显循环）继续保持零回归，且上期的 LAN_addcn_117 pmm-agent ANSI 噪音（_grokparsefailure 22.4 万/天）已消失归零。youdu 总量 1201.4 万首次触及 1200 万黄色线（仅超 0.1%，环比 +15.2%，20:00 CST 存在 2.3 倍业务高峰尖峰），建议下期重点观察是否持续越线；system-log 748.8 万维持低位。事件转储回显签名命中 2 条（LAN_addcn_35 kibana，同秒孤立事件），不构成回显回归，观察即可。集群 green、总存储 184.4 GiB、最高水位 70%（较上期回落 3pp），仍建议尽快落 ILM 或删 Top3 家族旧 3 天（可释放约 43 GiB）。整体判定：正常偏关注（无回归；youdu 总量贴线 + haproxy/kubelet 碎片与 dockerd 待办未收敛）。