AIStore PoC

评测数据集概况 —

Path1 漏斗语料来自 qty_pretrigger_eval 全量短片;weak 文件夹标签:theft/shoplifting=偷窃,normal=正常。

检出核对总结

加载多模型 Path1 VLM 比测…

—

两种口径:①排行榜 /「预触发后 VLM」= 仅 L1 触发片;②「全方案 Path1」= 全语料弱标签,未预触发计不报。分环节表拆开 L1 漏/误触与 VLM 漏/误。终判仍需 POS qty_mismatch。

完整方案 · 预触发 → Path1 VLM qwen-vl-plus

L1 用 OD + 启发式尽早发现「可疑拿货 / 藏匿」,抽关键帧送 L2 VLM。OD 教师(G-DINO / WeDetect)高召回;现网 L1 默认 World,可切 --backend gdino|wedetect。

L1 · OD
预触发后端
World(现网)· WeDetect / G-DINO(教师,HQ R≈0.8+)
L1 · 信号
数量 / 藏匿
qty_spike · 腕接近+入袋 → conceal
L2 · Path1
VLM 诊断
steal / conceal_unpaid(本页多模型对照)
终判
双路径 AND
vlm_steal ∧ POS qty_mismatch(本页不含)
加载漏斗…

三层合并 · OD 检出 × L1 预触发 × Path1 VLM

口径分开但同页对照:①HQ 关键帧商品检出;②L1 视频弱标签触发;③Path1 VLM(未预触发=不报)。现网 Path1 漏斗仍走 World L1。

层方案指标数值说明

分环节漏误 · 全语料弱标签 全方案

排行榜 = 预触发后 VLM 条件指标。本表拆开 L1 / VLM / 全链路,看每环漏多少、误多少。

环节口径AccPRTP/FP/FN说明

方案组合效果 · L1 × VLM 矩阵

排列组合:L1 后端(World / WeDetect / G-DINO)× VLM。已测行可对比全方案 Acc/R/P;教师×VLM 待跑满后补齐。

L1 VLM 状态 触发 全方案 Acc 全方案 P 全方案 R 全方案 F1 TP/FP/FN 预触发后 Acc p50 说明

排行榜 · 速度 / 检准 —

高亮:最快(蓝)· 最高 F1(主题色)· 最高检准(绿)。判偷 = steal | conceal_unpaid。本表为预触发后同关键帧条件指标,不是全方案终表。

模型 p50 速度 P R Spec F1 TP/FP/FN miss/fp 状态

分析结论

    场景选型

      正报 / 误报 / 漏报可视化 —

      正报 = weak+ 且判偷(keep_ok,可播源视频);误报 = weak− 仍判偷;漏报 = weak+ 未判偷。点击关键帧可放大。

      筛选 —

      分模型解读

      结合延迟、检准/召回与 FP/漏检权衡。

      当前 VLM Prompt —

      与 Path1 评测 / L2 默认一致:仅藏匿行为可判偷,拿起商品 ≠ 偷。

      加载中…

      协议与复现

      • 输入:复用 outputs/path1_vlm_eval/cases/*/keyframes(默认 4 帧)
      • Prompt:见上方全文(来源 aistore.l2.DEFAULT_VLM_PROMPT)
      • DeepSeek 必须 thinking: disabled,否则 reasoning 占满 tokens、content 为空
      • 重跑:python scripts/bench_path1_vlm_models.py
      • 报告:outputs/path1_vlm_model_bench/summary.json