youdu_next_log-2026.10.20、system-log-2026.10.20outputs/es-invalid-data-report-20261019.md（2026-10-19）| 索引 | 本期总量 | 参考基线/阈值 | 判定 |
|---|---|---|---|
| youdu_next_log-2026.10.20 | 10,427,181 | 阈值 1200 万；上期 11,255,525 | ✅ 低于阈值，环比 -7.4% |
| system-log-2026.10.20 | 7,361,666 | 基线 ~1050 万（dockerd 关闭后目标 ~800 万）；上期 7,271,686 | ✅ 低于基线，环比 +1.2% |
| 指标 | 数值 | 判定 |
|---|---|---|
| 总文档数 | 10,427,181 | ✅ |
| hook 刷屏（"can't rename log file"） | 0 | ✅ 无回归 |
| Invalid FieldReference | 0 | ✅ 无回归 |
| ylog_parsefail | 0 | ✅ remoteAddr[0] 修复持续有效 |
| caddy_parsefail / goapp_dissectfail / _grokparsefailure | 0 / 0 / 0 | ✅ |
| parsefail_kitex | 11,880 | 🟡 稳定无效来源（上期 11,841，持平），可列入下批治理 |
| parsefail_nsq | 2,880 | 与既往量级一致 |
| err_unparsed | 2,600 | 与既往量级一致 |
| log_type_unmatched / _dissectfailure / infra_kitex_dissectfail | 2 / 1 / 1 | 个位数，忽略 |
| gin-access 缺 gin_status | 20 | ✅ 个位数量级 |
| 小时分布 | 峰 997k@09:00 CST，谷 212k@22:00 CST | ✅ 正常昼夜曲线，无异常尖峰 |
无效/异常 tag 合计：17,364（上期 17,279，+0.5% 持平）。
| 指标 | 数值 | 判定 |
|---|---|---|
| 总文档数 | 7,361,666 | ✅ 低于 1050 万基线（亦低于 1200 万阈值） |
事件转储回显签名（"@version" => "1"） | 1 | 🔴 规则触发（>0），但确认为已知残留（见下） |
syslog_hostname 字面量 %{fields.server_name} | 0 | ✅ 无回归 |
| mapper_parsing_exception + infra_day | 0 | ✅ |
| mapper_parsing_exception + apiVersion | 0 | ✅ cloudwatch 组合模板持续生效（09-23 起新建索引均为 0） |
| clickhouse-server 日志 | 0 | ✅ 无回归 |
| 无效碎片总量（组合口径） | 1,186,857 | 上期 1,122,769，+5.7% |
| _grokparsefailure | 224,263 | 🔴/🟡 连续高位（上期 22.7 万），来源集中，见下 |
回显签名定位（1 条）：LAN_addcn_35 / logstash[1214328]，2026-10-20 11:40:40 CST（_id=RZxlV6EBCmWPDVYhtkvt）。与上期（10-19 11:44 CST 同一 pipeline）完全同源，属 Dissector WARN「pattern not found」对 Windows pebble WAL 日志不匹配 infra 模板时携带的事件转储，非回显循环，量维持 1 条/天，趋近消失。维持建议：为该类 Windows 单行补 dissect 分支或对 _dissectfailure WARN 降采样。
无效碎片 Top5 来源（host / 进程）：
| 主机 | 碎片量 | Top 进程 | 备注 |
|---|---|---|---|
| LAN_addcn_45 | 310,205 | dockerd 304,763 / kubelet 3,435 | 🟡 已知待办（dockerd debug 未关），标注不告警 |
| LAN_addcn_82 | 307,836 | haproxy[124397] 259,176 / rpc.mountd 22,932 | 🟡 治理候选，与上期（~29 万）相当 |
| LAN_addcn_22 | 158,081 | kubelet[257775] 148,089 / gitlab-runner 3,248 | 🟡 kubelet 堆栈碎片，可关注 |
| LAN_addcn_26 | 72,466 | automount 38,367 / haproxy 31,472 | 观察项 |
| LAN_addcn_137 | 37,897 | kubelet 30,625 / kernel 3,784 | 观察项 |
_grokparsefailure 224,263 定位：LAN_addcn_117 独占 224,125（99.9%），抽样（_id=OC6bVqEBCmWPDVYh40Ds）确认为 pmm-agent 日志带 ANSI 颜色码（#033[36m...#033[0m）导致 grok SYSLOG 行格式不匹配。与上期同源同量级（22.7 万），未收敛。建议：filebeat 侧对该主机日志做 ANSI 剥离（dissector 或 ruby 清洗 #033[xxm），或在 pmm-agent 关闭颜色输出。
小时分布：450k–480k/h 平稳，无尖峰 ✅。
| 节点 | IP | disk.percent | disk.used | disk.avail | disk.total | 分片数 |
|---|---|---|---|---|---|---|
| elasticsearch-master-0 | 10.2.70.159 | 73%（最高） | 71.5gb | 26.3gb | 97.8gb | 109 |
| elasticsearch-master-2 | 10.2.231.202 | 62% | 60.7gb | 37.1gb | 97.8gb | 109 |
| elasticsearch-master-1 | 10.2.200.20 | 59% | 57.9gb | 39.8gb | 97.8gb | 108 |
Top 家族存储：
| 家族 | GiB | 占比 | 索引数 | 日均 |
|---|---|---|---|---|
| system-log | 39.6 | 21.6% | 7 | ~5.7 GiB |
| k8s-audit | 31.7 | 17.3% | 7 | ~4.5 GiB |
| logstash-nginx_access | 30.9 | 16.8% | 7 | ~4.4 GiB |
| win_smb_log | 21.8 | 11.9% | 7 | ~3.1 GiB |
| mysql_audit | 11.4 | 6.2% | 7 | ~1.6 GiB |
| tw591-cloudwatch | 10.8 | 5.9% | 7 | ~1.5 GiB |
| tw8591-cloudwatch | 8.9 | 4.9% | 7 | ~1.3 GiB |
| youdu_next_log | 7.4 | 4.0% | 2 | — |
| 其余（.monitoring-es-7 / mysql_error / traefik 等） | ~20.8 | ~11.4% | — | — |
可释放估算（仅建议，不执行删除）：Top3 家族（system-log / k8s-audit / logstash-nginx_access）合计 102.2 GiB，日均 ~14.6 GiB/天。若删除各自最旧 3 天索引，可释放约 44 GiB（总量 -24%）；按当前分布 master-0 分摊约 1/3（~14.6 GB），disk.used 71.5→约 57 GB，水位预计 73%→约 58%，远离 75%/85% 水位线。长期建议为各家族配 ILM 按天滚动保留（如保留 7 天自动删除），避免依赖人工清理。
| 级别 | 项目 | 定位与说明 |
|---|---|---|
| 🔴 红色（规则触发，已知残留） | 事件转储回显签名命中 1 条（阈值 >0） | LAN_addcn_35 / logstash[1214328]，11:40 CST，与上期同源：Dissector WARN 携带事件转储命中签名，非回显循环，量 1 条/天趋近消失。维持既有建议。 |
| 🔴 需处置（连续高位） | system-log _grokparsefailure 224,263，99.9% 来自 LAN_addcn_117 pmm-agent ANSI 颜色码日志 | 建议剥离 ANSI 或关 pmm-agent 颜色输出 |
| 🟡 黄色 | youdu parsefail_kitex 11,880 | 与上期持平的稳定无效来源，列入下批治理 |
| 🟡 黄色（观察） | 碎片 top 来源：LAN_addcn_82 haproxy（25.9 万）、LAN_addcn_22 kubelet（14.8 万） | 治理候选；LAN_addcn_45 dockerd 为已知待办，标注不告警 |
| 🟡 趋势关注 | master-0 水位 70%→73% | 仍 <75%，但需持续跟踪；附清理建议 |
| ✅ 通过 | hook 刷屏 0；Invalid FieldReference 0；ylog_parsefail 0；gin 缺 status 20；syslog_hostname 字面量 0；mapper 400（infra_day/apiVersion）0；clickhouse-server 0；两索引总量均低于阈值；集群 green；磁盘最高 73% | 全部核心治理项零回归 |
| 指标 | 本期（10-20） | 上期（10-19） | 变化 |
|---|---|---|---|
| youdu 总量 | 10,427,181 | 11,255,525 | -7.4%（周二正常回落） |
| youdu 无效 tag 合计 | 17,364 | 17,279 | +0.5% 持平 |
| system-log 总量 | 7,361,666 | 7,271,686 | +1.2% 持平 |
| 事件转储签名 | 1 | 1 | 同源残留，未扩散 |
| _grokparsefailure | 224,263（LAN_addcn_117） | ~227,000（LAN_addcn_117） | -1.2%，未收敛 |
| 无效碎片总量 | 1,186,857 | 1,122,769 | +5.7% |
| 集群总存储 / 最高水位 | 183.3 GiB / 73% | 189.6 GiB / 70% | 总量下降，水位回升 3pp |
| 集群 health | green | green | 持平 |
2026-10-20（周二）所有历史治理项（hook 刷屏、Invalid FieldReference、syslog_hostname 字面量、mapper 400、clickhouse-server 堆栈、回显循环）继续保持零回归；youdu 总量 1042.7 万（环比 -7.4%）、system-log 736.2 万，均低于阈值/基线，小时曲线正常无尖峰。集群 green、总存储降至 183.3 GiB，但 master-0 水位回升至 73%，距 75% 黄色线仅 2 个百分点，建议尽快按 Top3 家族删旧 3 天（可释放约 44 GiB）或落 ILM。仍需处置的两项：LAN_addcn_117 的 pmm-agent ANSI 日志致 _grokparsefailure 单日 22.4 万（连续高位未收敛），以及 dockerd debug（LAN_addcn_45）/ haproxy（LAN_addcn_82）碎片待办。整体判定：正常偏关注（无回归；master-0 水位逼近阈值 + LAN_addcn_117 grok 失败需尽快处置）。