Path1 VLM 检出核对 · 正报/误报/漏报
评测数据集概况 —
Path1 漏斗语料来自 qty_pretrigger_eval 全量短片;weak 文件夹标签:theft/shoplifting=偷窃,normal=正常。
检出核对总结
加载多模型 Path1 VLM 比测…
两种口径:①排行榜 /「预触发后 VLM」= 仅 L1 触发片;②「全方案 Path1」= 全语料弱标签,未预触发计不报。分环节表拆开 L1 漏/误触与 VLM 漏/误。终判仍需 POS qty_mismatch。
完整方案 · 预触发 → Path1 VLM qwen-vl-plus
L1 用 OD + 启发式尽早发现「可疑拿货 / 藏匿」,抽关键帧送 L2 VLM。OD 教师(G-DINO / WeDetect)高召回;现网 L1 默认 World,可切 --backend gdino|wedetect。
三层合并 · OD 检出 × L1 预触发 × Path1 VLM
口径分开但同页对照:①HQ 关键帧商品检出;②L1 视频弱标签触发;③Path1 VLM(未预触发=不报)。现网 Path1 漏斗仍走 World L1。
| 层 | 方案 | 指标 | 数值 | 说明 |
|---|
分环节漏误 · 全语料弱标签 全方案
排行榜 = 预触发后 VLM 条件指标。本表拆开 L1 / VLM / 全链路,看每环漏多少、误多少。
| 环节 | 口径 | Acc | P | R | TP/FP/FN | 说明 |
|---|
方案组合效果 · L1 × VLM 矩阵
排列组合:L1 后端(World / WeDetect / G-DINO)× VLM。已测行可对比全方案 Acc/R/P;教师×VLM 待跑满后补齐。
| L1 | VLM | 状态 | 触发 | 全方案 Acc | 全方案 P | 全方案 R | 全方案 F1 | TP/FP/FN | 预触发后 Acc | p50 | 说明 |
|---|
排行榜 · 速度 / 检准 —
高亮:最快(蓝)· 最高 F1(主题色)· 最高检准(绿)。判偷 = steal | conceal_unpaid。本表为预触发后同关键帧条件指标,不是全方案终表。
| 模型 | p50 | 速度 | P | R | Spec | F1 | TP/FP/FN | miss/fp | 状态 |
|---|
正报 / 误报 / 漏报可视化 —
正报 = weak+ 且判偷(keep_ok,可播源视频);误报 = weak− 仍判偷;漏报 = weak+ 未判偷。点击关键帧可放大。
分模型解读
结合延迟、检准/召回与 FP/漏检权衡。
当前 VLM Prompt —
与 Path1 评测 / L2 默认一致:仅藏匿行为可判偷,拿起商品 ≠ 偷。
加载中…
协议与复现
- 输入:复用 outputs/path1_vlm_eval/cases/*/keyframes(默认 4 帧)
- Prompt:见上方全文(来源 aistore.l2.DEFAULT_VLM_PROMPT)
- DeepSeek 必须 thinking: disabled,否则 reasoning 占满 tokens、content 为空
- 重跑:python scripts/bench_path1_vlm_models.py
- 报告:outputs/path1_vlm_model_bench/summary.json