产品定位
视觉模型巡检系统是传域软件开发工作室自主研发的 AI 视觉巡检方案，面向电力线路、接触网等需要长时间值守的场景。系统把“发现异常”和“判断异常”拆成两个阶段：检测器负责快速、低成本地找出画面中的可疑目标，视觉大模型负责给出类别、危险等级与处置建议。两者配合，让巡检既快又准，还能控制算力与接口成本。
工作原理
- 画面检测：每一帧画面经过开放词表检测器，框出词表中的目标，并进入跟踪层获得稳定编号。
- 事件触发：连续多帧确认、区域冷却与速率限制共同作为闸门，保证一个物体只产生一个事件。
- 大模型分析：事件触发后，系统把带框标注的全图送入视觉大模型，获取结构化结论。
- 动作联动：报警、截图归档、时间线记录与可选的 webhook 推送依次执行，大模型结果同步写入事件。
- 周期抽检：另有独立线程按固定周期对全图做一次全面排查，补充静止异物的发现能力。
应用场景
- 输电线路与变电站周边的鸟巢、风筝、塑料薄膜、防尘网等异物巡查；
- 铁路接触网周边的悬挂物与施工遗留物监测；
- 园区、厂区围界内的异常物体识别与夜间值守；
- 需要“发现即报警、报警即留证”的无人值守场景。
部署方式
系统以桌面应用形式交付，也可以以无界面服务运行。检测模型与词表可以按现场需要更换；视觉大模型支持云端接口，也支持本地私有化部署，满足不同的数据安全要求。
技术架构
- 检测层：YOLOE 开放词表检测，支持 Apple Silicon（MPS）与 NVIDIA（CUDA）加速；
- 跟踪层：基于速度外推的多目标跟踪，减少漏检闪烁与重复报警；
- 触发层：状态机实现的成本闸门，控制大模型调用频率；
- 分析层：兼容 OpenAI 接口的视觉大模型客户端，支持超时与重试；
- 应用层：PySide6 桌面界面，提供实时画面、事件时间线与事件回看。
项目成果
- 实现开放词表检测、跟踪、触发、大模型分析与报警归档的完整闭环；
- 大模型调用量由“每帧”降为“每事件”，显著降低算力与接口成本；
- 支持多种视频源与离线批处理，便于现场部署与效果复盘。
迭代方向
- 持续优化小目标的召回率与误报率；
- 扩展更多异物类别的词表与样本库；
- 增加多路视频的统一管理与报表功能。