逆矩阵联合智源研究院等推出悟界·PhysCapBench
作者:苏打
编辑:tuya
出品:财经涂鸦(ID:caijingtuya)
公司情报专家《财经涂鸦》获悉,近日,逆矩阵联合智源研究院、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench,成为首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。
从视频描述入手,悟界·PhysCapBench通过三大领域的参考数据、七个物理信息评价维度,以及视频生成与操作策略的下游验证,为描述策略选择、标注质量评估与训练数据优化提供统一依据。
智源研究院认为,悟界·PhysCapBench把预训练数据实践中的观察与思考,沉淀为跨领域参考描述、统一评价维度与下游验证流程,既评价Caption保留了哪些物理信息,也检验这些信息能否服务于视频生成与机器人策略学习,为多源真实数据转化为有效训练监督提供依据。
拆解来看,该基准可覆盖三类互补数据,共包含1,500段视频序列,每个领域各500段,建立起跨领域评价框架。其中,第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范则记录夹爪与物体的交互、操作阶段及执行结果。
同时,其可从七个维度评价Caption,把整体质量落到具体的信息类型,为描述策略选择与标注优化提供依据。
鉴于高质量的物理Caption需要同时满足信息覆盖与证据一致性,悟界·PhysCapBench针对性组织参考描述构建流程,从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容进行核验,七名专业标注人员参与标注与质量检查。通过这一流程,参考描述既服务于统一评测,也为后续描述生成和数据标注提供可复用的质量依据。
此外,描述质量的评价,需要进一步与下游效用建立联系。悟界·PhysCapBench从视频生成与操作策略两个方向,检验更完整的物理信息能否改善模型表现。
视频生成方面,更完整的物理描述能提供更有效的生成条件。在固定生成模型、首帧与生成时长的条件下,分别使用原始数据描述和物理描述作为条件,比较生成视频与真实视频之间的感知差异可见,物理描述在两个领域、两种生成模型上均带来改善。其中,第一人称操作领域的 LPIPS相对下降最高达到30.88%,PVCS相对下降最高达到28.09%。
机器人策略方面,通过Training Instruction Upsampler丰富训练语言监督。在原始任务指令的基础上,补充视频中可观察的动作过程、接触关系与状态变化,为策略学习提供更完整的语言监督;增强指令用于训练阶段,推理时仍使用原始简短指令。
在一个RoboTwin2.0子任务中开展的受控实验表明,使用同样的50条示范,对其中一半训练样本采用增强指令,π0.5 在40个共享测试初始场景中的成功次数从15次提升至18次,成功率由37.5% 提升至45.0%,提高7.5个百分点。在RoboTwin与RoboDojo的多任务评估中,四种策略模型的所选任务平均成功率均有所提升。
从生成条件到训练指令,两类实验展示了物理描述的下游价值,也为数据优化提供了依据,Caption的质量应与模型预测和执行所需的信息相联系。
“从评测Caption的物理信息,到验证其下游价值,悟界·PhysCapBench为世界模型基座建设提供了可复用的数据与评测基础设施。”智源研究院指出。
评论 共 0 条 · 0.20s