ES 无效数据日报 2026-09-17

统计范围：2026-09-17 00:00–24:00 CST（UTC 2026-09-16T16:00Z – 2026-09-17T16:00Z）

治理基线：2026-08-20（youdu hook 刷屏已 drop；clickhouse-server 堆栈已重启修复）

口径说明（与 08-27 以来各期日报同口径）：youdu_next_log 索引按保留策略仅存当日 CST 08–24 时 16h 观测窗口，全天量按 ×1.5 折算；system-log 跨 .09.16/.09.17 双索引取完整 24h。无效碎片三子句组合口径含 [0] 误匹配失真，趋势比较以 "from /" 真实口径为准。昨日为周四，工作日形态；上一份日报为 20260915（周二），环比以其为基准。

一、总览

索引	昨日总量	口径	治理后正常基线	判定
youdu_next_log-2026.09.17	9,900,462	16h 观测窗口（周四）	~800 万/天	🟡 黄色预警：折算全天 ~1485.1 万 > 1200 万阈值（高位平台较上期回落，仍持续超标）
system-log-2026.09.16/09.17	13,796,837	完整 24h	~700 万/天	🟡 黄色预警（>1000 万，高位平台首次小幅回落 -0.6%），红色项持续闭环

二、环比（vs 20260915 日报）

索引	本期	上期	变化
youdu_next_log	9,900,462（16h）	10,681,581（16h）	-7.3%（高位平台回落，折算全天 1485.1 万 vs 1602.2 万）
system-log	13,796,837（24h）	13,877,751（24h）	-0.6%（高位平台企稳，结束连续抬升）

三、youdu_next_log-2026.09.17（CST 08–24 时窗口，总量 9,900,462）

指标	数量	占比	环比
hook 刷屏（can't rename log file）	0	0	0 → 持平 ✅
log_type_unmatched	28,980	0.29%	4 → 突增（见下方定位：单文件一次性突刺）⚠️
parsefail_kitex	11,570	0.12%	11,576 → 持平（固定底噪）
parsefail_nsq	5,760	0.07%	5,760 → 持平
err_unparsed	4,485	0.05%	4,364 → +2.8%（低位稳定）
parsefail_grpc（观察项）	2,172	0.02%	2,430 → -10.6%（回落）
goapp_dissectfail / caddy_parsefail / ylog_parsefail / _grokparsefailure	0	0	持平 ✅
gin-access 缺 gin_status	20	~0	1 → +19（微量）

⚠️ log_type_unmatched 突刺定位

来源单一：D:\Youdu\Server\10.0.28-202606171702\svc_msg\log\ng_push-2026-09-17T02-20-42.564.log 占 28,959/28,980（99.9%）。
时间集中：CST 08–09 时一次性写入 28,973 条，其后全天仅零星个位数，无持续刷屏特征。
判定：某客户端 ng_push 的一次性异常日志文件突发（未匹配任何 log_type），非采集端回归；建议关注该客户端 svc_msg 的 push 模块当时是否报错。

小时分布（CST 08–24）

峰值 848,302/h（10 时）、谷值 350,248/h（21 时），白天高、夜间低的正常工作日形态，无异常尖峰。无效/异常 tag 合计 ~53,967 条、占窗口总量 ~0.55%（剔除突刺后 ~0.26%，与上期持平）。

四、system-log-2026.09.16/09.17（完整 24h，总量 13,796,837）

指标	数量	占比	环比
clickhouse-server 堆栈	0	0	0 → 持平 ✅（阈值 >;100，持续零值，无来源机器）
无效碎片（三子句组合口径）	1,841,887	13.3%	1,762,695 → +4.5%
无效碎片（"from /" 真实口径）	428,242	3.1%	316,698 → +35.3%（抬升明显，见 Top 来源）⚠️
_grokparsefailure	37,855	0.27%	37,706 → +0.4%（低位稳定）

无效碎片 Top5 来源（全天三子句口径，server × program）：

#	机器	程序	条数
1	LAN_addcn_45	dockerd	636,658
2	LAN_addcn_82	haproxy[124397]	366,721
3	LAN_addcn_22	kubelet[1594525]	152,126
4	LAN_addcn_20	kubelet[3990000]	61,010
5	LAN_addcn_26	automount[1146]	57,552

注：LAN_addcn_82 新增 rpc.mountd[96046] 34,426 条进入前三程序，是 "from /" 口径 +35% 的主要增量来源之一（NFS mount 相关碎片）。

小时分布（CST 00–24）

全小时 527,072–639,951 条/h，凌晨略高、午后缓降的平稳形态，无异常尖峰。

五、告警汇总

🔴 红色告警：无

hook 刷屏 = 0 ✅；clickhouse-server = 0 ✅，两项治理红线持续闭环（治理基线 2026-08-20 以来保持）。

🟡 黄色预警

youdu_next_log：16h 窗口 990.0 万，折算全天 ~1485.1 万 > 1200 万阈值（较上期 -7.3%，方向向好但仍超标，工作日高位平台）。
system-log：全天 1379.7 万 > 1000 万阈值（-0.6%，高位企稳）。

⚠️ 观察项

log_type_unmatched 单日突刺 28,980 条（上期 4 条），定位为单个客户端 ng_push 日志文件一次性突发，次日若复发需排查该机器 svc_msg。
system-log "from /" 真实无效口径 +35.3%，LAN_addcn_82 haproxy/rpc.mountd 与 LAN_addcn_45 dockerd 为主要来源，建议列入下一步治理候选。

六、当日结论

两条治理红线（hook 刷屏、clickhouse-server 堆栈）继续零值闭环，无红色告警。双索引日总量仍处黄色预警高位，但 youdu -7.3%、system-log -0.6%，高位平台出现回落迹象。需关注两个新增异常：youdu 侧单个客户端 ng_push 的一次性 log_type_unmatched 突刺（2.9 万条，非系统性回归），以及 system-log "from /" 真实无效口径 +35%（dockerd/haproxy/rpc.mountd 碎片持续产出）。总体判定：需关注但无需紧急处置——维持现有治理，跟踪突刺次日是否复发，并评估对 dockerd/haproxy 碎片源的下一步 drop/解析治理。