跳到正文
arXiv cs.AI· Denis Grachev, Damien LaRocque, Omar Moured·· 7 天前精选AI 评分72

预印本:仅检索邻近示范并复用动作块即可在 LIBERO 上达到 91.7% 成功率

How Much of Your VLA Is kNN

AI 导读

预印本显示,不训练策略,只检索相近示范并复用其动作块,就能在 LIBERO 仿真基准上达到 91.7% 成功率;在 LIBERO-Plus 扰动下,该检索方法的性能下降幅度在所有评估策略中最小。

AI 深度导读基于原文整理的分节解读
背景
视觉-语言-动作(VLA)模型在 LIBERO 仿真基准上的成功率已超过 95%,但这些成绩中有多少真正依赖对训练示范之外的泛化,目前并不清楚。该工作要回答的就是这个问题:VLA 的高分里,有多大成分只是对训练示范的检索与复用。
做法
作者采用一条不训练策略的路径:检索邻近示范,直接复用这些示范的动作块(action chunk),在 LIBERO 上评测成功率,并与已有策略对照;同时在 LIBERO-Plus 扰动条件下比较各类被评测策略的性能下降幅度。针对九个公开可用的 VLA,作者做微调前后的分析,考察微调是否主要让视觉语言主干变成更好的检索键、以及这些模型输出的动作是否仍与示范接近。此外提出离线指标 Local Action Consistency(LAC),用于衡量表示空间中邻近的观测是否也对应相似的未来动作。
结论
只靠检索邻近示范并复用其动作块,在 LIBERO 上无需任何策略训练即可达到 91.7% 的成功率。在 LIBERO-Plus 扰动下,检索方法的性能下降是所有被评测策略中最小的。对九个公开 VLA 的分析显示,微调大多是把视觉语言主干训练成更好的检索键,这些 VLA 的动作仍与示范接近。作为离线指标的 LAC 能够跟踪检索的成功率,并可用来指导检索键的训练。
意义
这组结果给出了一条免训练的检索基线,可作为衡量 VLA 在 LIBERO 上表现的对照:当训练好的策略与检索动作块的成绩相差不大时,高分在多大程度上来自示范复用就有了可量化的参照。LAC 则提供了一个不需要在线执行、只依赖表示与动作的指标,可用于筛选或训练检索键。作者已公开评测与源码。

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

推荐理由

不训练策略仅在 LIBERO 上做近邻示范检索即可达 91.7% 成功率,提示 VLA 的高分中有相当部分来自记忆与复用而非泛化。

来源:arXiv cs.AI · arxiv.org