AIStore PoC

定位

不是单纯「偷不偷」二分类,而是零售现场的 商品生命周期账本: Taken → Hidden → Checkout → Unreconciled;藏匿仅为可疑证据,告警给人审复核,而非模型直接宣判。

浏览

01
多路接入
货架 / 通道 / 收银台 · 视频或 RTSP · 抽帧
02
检测跟踪
行人 YOLO + ByteTrack · 可选开放商品支路
03
跨镜身份
OSNet ReID → 全局 C# / 店员 S#
04
行为事件
拿取 · 藏匿 · 归还(启发式 / hybrid)
05
账本对账
taken_proxy ↔ checkout_hard(POS 优先)
06
风险告警
融合打分 → 片段导出 → 人工复核
07
边缘 L2
Orin:L1 预触发 → VLM 异步诊断(可选)

包路径 src/aistore/: ingest · detect · track · reid · events · ledger · checkout · risk · footfall · staff · l2 · api

1感知

  • 行人闭集检测 classes=[0]
  • 商品:COCO 子集,或 YOLO-World 开放词(product / bottle / box…)
  • Pose:手腕相对躯干/髋,支撑藏匿判断

2身份与客流

  • OSNet embedding + 拓扑邻接 + 时间窗跨镜关联
  • 结账绑定:活跃会话 → 最高 taken_proxy → 非店员
  • 可选入口计数线 / 店员 gallery 去重

3行为事件

  • 拿取:货架 ROI 商品消失 + 与人 IoU / 手持 → soft taken_proxy
  • 藏匿:手腕持续进躯干/髋;可选模型 scorer
  • mode:heuristic | model | hybrid

4结账对账

  • 权威序:POS / ticket ≫ 视觉托盘 ROI
  • unreconciled ≈ taken_proxy − checkout_hard
  • SKU 级对账优先于件数(有 skus 时)

5风险融合

risk = 0.45·未对账 + 0.40·藏匿 + 0.15·拿而未结
  • 默认:未对账 ≥ 1 且证据过线 → 告警
  • 导出前后约 5s 片段;人工 confirm / FP / ignore

6L1 → L2(边缘)

  • L1 实时 CV 常开;过线才入队
  • L2 异步 VLM 看关键帧,限速 / cooldown
  • 当前 Orin 配置多为 backend: stub
主链在用 可选支路 规划 / stub
用途模型状态备注
行人检测 yolo11n.pt 主链 Ultralytics YOLO11n
姿态 yolo11n-pose.pt 主链 COCO 17 关键 · 藏匿启发式
跟踪 ByteTrack 主链 随 YOLO track 内置
跨镜 ReID osnet_x0_25 + MSMT17 主链 目标 OSNet;PoC 当前可退 MobileNetV3 占位
开放商品 yolov8s-worldv2.pt + CLIP 支路 item_detector.enabled;CPU 建议 imgsz 480
闭集商品 YOLO COCO 商品类 / 伪标蒸馏 支路 生产可关开放词,走 1–2 类 product
藏匿分类 concealment_ckpt 可选 默认可空,走姿态启发式
L2 VLM Qwen2-VL-2B-Instruct 规划 Orin INT4;现多为 stub
人脸脱敏 YuNet ONNX 独立脚本 不进主 pipeline
离线教师 Grounding DINO 伪标 不做多摄实时
configs/demo.yaml
叙事演示;可开 narrative_fallback(勿当精度证据)
configs/demo_cv.yaml
诚实 CV baseline · demo_binding 关闭
configs/demo_openvocab.yaml
YOLO-World 商品支路 · 效果优先对照
configs/pilot_store.yaml
单店直播试点模板 · POS hybrid
configs/pilot_orin_nx.yaml
Orin NX 四路 · L1/L2 队列 · 开放词关闭
deploy/docker-compose.yml
多店 / API 部署骨架

本地打开本页: python scripts/run_demo.py --skip-infer --serve → http://127.0.0.1:8787/architecture.html

相关页面

文档对照:README.md · docs/PRODUCTION.md · 本页 /architecture.html