跳到正文
Scientific Data· Bo Liu·· 7 天前AI 评分49

SurBench:用于评估大型多模态模型理解监控视频的综合数据集

SurBench: A Comprehensive Dataset for Evaluating Large Multimodal Models in Understanding Surveillance Videos

AI 导读

已发表的数据描述文章推出 SurBench,一个面向监控视频理解的大规模混合格式视频问答(VQA)基准,含 589,380 个 QA 对、覆盖 12 类任务及正常与异常场景。该基准由四个监控数据集构建(其中三个为新标注),采用人工事件描述与 LVLM 辅助生成相结合的混合标注流程,并辅以自动检查和抽样人工审核。文章还设计了多维评估协议,衡量上下文、时空与因果理解,尤其针对异常事件。

AI 深度导读基于原文整理的分节解读
背景
监控视频的复杂真实动态与安全攸关属性,使视觉语言模型对其理解仍具挑战。现有评测缺少面向该领域的专用基准。
做法
作者构建了 SurBench,一个混合格式的视频问答基准,含 589,380 条问答对,覆盖正常与异常场景下的 12 类任务。数据来自四个监控数据集,其中三个由作者新标注;标注流程结合人工撰写事件描述与 LVLM 辅助生成问答,随后做自动检查与抽样人工审核以评估标注质量与一致性。
结论
作者还设计了多维度评测协议,衡量上下文、时空与因果理解,尤其针对异常事件的理解。基准规模与质量控制流程同时被纳入设计。
意义
SurBench 为安全攸关场景下的多模态理解提供了一个大规模、经过质量控制、领域专用的测试平台。摘要未报告具体模型在该基准上的评测结果。

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

来源:Scientific Data · nature.com