让机器人理解「抓哪里」：把「三维可供性」引入操作数据生成

  新智元报道  

把一只马克杯挂上杯架，动作的成败往往在第一次接触时就已埋下伏笔。

夹住杯柄，杯子可能很稳，但挂钩就失去了进入的位置；夹住杯身之后，还需要让杯柄与挂钩正确对齐。倒水、开柜门、把杯子放进咖啡机，也都有各自的接触要求。

一次合适的抓取，需要为后续动作留下完成任务的空间。

这类要求与物体的可供性（affordance）有关：对当前任务而言，物体的哪个区域可以支持哪种交互。人会根据目标选择接触位置，机器人操作数据的生成过程同样需要这种判断。

图1 放置与悬挂任务的动态对比。图中四个结果窗口分别播放通用抓取与AffordSim的执行过程；任务相关的功能区域同时约束抓取选择和后续操作对齐。

针对这一问题，西安交通大学人工智能与机器人研究所、人机混合增强智能全国重点实验室的兰旭光教授团队提出AffordSim，将开放词汇三维可供性预测接入仿真轨迹生成。系统从自然语言描述出发，组织场景与任务，在物体表面定位功能区域，再结合运动规划生成可执行的机器人操作示范。

论文链接： https://arxiv.org/abs/2604.11674

项目主页： https://affordsim-platform.github.io/AffordSim.io/

代码仓库： https://github.com/AffordSim-Platform/AffordSim

研究同时构建了覆盖50项任务、7类操作技能、5种机械臂的评测基准，并以包含500余个刚体与关节物体的资产库提供支持。在需要精确选择功能区域的任务上，AffordSim减少了逐物体手工指定接触位置的需求，也为评估策略如何利用这些数据提供了实验平台。

为机器人准备操作示范，首先要确定它怎样接触物体。现有仿真数据生成流程常采用两类方案：人工为不同物体和任务调节抓取位置，或调用通用抓取估计器，按抓取稳定性选择候选姿态。

人工调节能编码细致的任务经验，但每增加一种物体或一种交互，就可能需要重新调整。通用抓取估计器减少了这部分工作，却未必考虑抓住物体之后还要做什么。例如，适合搬运杯子的接触位置，可能妨碍接下来把它挂到杯架上。

在通用抓取结果上增加语义区域过滤，可以排除一部分不合适的候选；但如果估计器一开始就没有在目标区域生成候选，后续过滤也无法补出缺失的抓取。AffordSim因此把功能区域预测放到候选生成之前，让任务要求直接决定机器人从哪里尝试接触物体。

贡献一 从任务描述到三维功能区域，再到可执行轨迹

AffordSim将场景组织、可供性预测与运动规划连接起来。

首先，视觉语言模型分别解析场景和任务描述。场景解析提取物体、属性和空间关系，从USD资产库中选择对象并组装场景；任务解析将目标拆解为操作步骤，生成相应的功能区域查询。例如，在倒水任务中，系统会区分被持握的容器和接收物料的容器，为不同交互角色生成查询。

随后，开放词汇三维可供性模型接收物体点云与查询，预测哪些表面点与当前交互有关。这里使用的是与仿真资产配套的点云，因此系统能够在三维几何上约束接触位置。

图2　AffordSim的数据生成流程。语言描述经过场景与任务解析，转化为功能区域查询；三维预测结果约束抓取候选，运动规划进一步检查候选是否可达、是否发生碰撞。

抓取选择分为两个阶段。第一阶段确定在哪个区域尝试抓取：系统在预测区域中提取代表性接触点，结合局部表面法向生成不同接近方向的候选姿态。第二阶段确定机械臂能执行哪个候选：调用cuRobo为候选规划无碰撞的接近轨迹，并按关节空间路径长度评分。

评分规则很直接：规划成功且无碰撞时，候选得分为路径长度的倒数；无法找到可行路径时，得分为零。系统选择最高分候选，复用对应的接近轨迹，再衔接夹爪闭合、抬升及后续任务动作，形成完整示范。

这种设计同时检查了功能上的适配性与机械臂执行的可行性，使预测出的功能区域能够实际参与轨迹生成。

贡献二 用50项任务评估可供性感知操作

AffordSim的基准覆盖抓取放置、开关、推拉、悬挂、倾倒、堆叠和长时序组合七类技能。任务可以在Franka、Kinova、Sawyer、UR5e和xArm7五种机械臂上运行。

图3 50项任务的动态展示，覆盖多种物体交互、操作序列与机械臂，用于评估轨迹采集和策略执行。

基准进一步按照功能区域约束和操作序列要求划分为三个难度层级：Easy包含10项任务，对接触区域的限制较少；Medium包含30项任务，需要根据物体功能选择接触区域；Hard包含10项任务，进一步引入长时序依赖或更严格的对齐与稳定性要求。

这一划分使实验能够观察：当任务越来越依赖正确的接触位置时，通用抓取、人工经验与可供性预测之间的差距如何变化。对于多阶段任务，基准还统计各阶段成功率，以定位失败发生在抓取、对齐还是后续动作中。

贡献三 替换真实场景背景，并支持切换相机视角

轨迹能够在仿真中执行之后，还需要考虑训练图像与真实环境之间的差异。AffordSim在域随机化中重点引入真实场景背景替换与跨相机视角渲染：在保留机器人及操作对象的前提下，将仿真背景替换为咖啡角、图书馆、工厂工作台等真实场景的重建结果，为操作示范提供不同的环境外观。

系统从每个场景的10—20张照片出发，利用Depth Anything 3恢复深度与相机位姿，再构建3D Gaussian Splatting表示。

背景可以随相机视角一起切换：在重建覆盖的范围内，改变虚拟相机的观察位置和方向，按对应相机参数重新渲染背景，并与同视角的仿真机器人和操作对象合成。这样，同一操作过程可以在多个相机视角下观察，背景的透视关系也随之变化。

图 4　真实背景与相机视角的联合变化。三行分别展示咖啡角、图书馆和工厂工作台，三列为−90°、−60°、−30°的相机视角；每一行的图像来自同一条操作轨迹的同步相机画面，并与对应视角的重建背景合成。

在背景替换之外，系统还支持物体位姿、表面纹理、光照和图像噪声随机化，使训练数据同时覆盖环境、视角与物体外观的变化。研究进一步将这些仿真示范用于真实机器人的零样本部署，以检验生成数据的迁移能力。

功能区域约束越强，可供性引导的收益越明显。在50项任务的轨迹采集实验中，各方法使用相同的场景和运动规划设置，每项任务运行100次，物体初始位姿采用30cm水平位置窗口与60°偏航角范围随机化。下表给出论文报告的各难度层级平均轨迹采集成功率。

表1　轨迹采集成功率。人工调节指针对物体设置接触位置及姿态规则；AnyGrasp+Filter在通用抓取候选上增加任务相关区域过滤。这里衡量的是示范轨迹能否成功采集，不是学习策略的执行成功率。

在Medium和Hard上，AffordSim相比AnyGrasp+Filter分别提高34和48个百分点。相对于人工调节基线，它分别达到约93%和89%的采集成功率水平：对应79%/85%和64%/72%。这两项相对比例体现了自动预测功能区域与逐物体人工调节之间的差距。

收益在五种机械臂上均可观察到。跨具身实验中，AffordSim在50项任务上的平均采集成功率为76%—83%，在每种机械臂上均比AnyGrasp+Filter高出32—33个百分点。

采集数据能够用于策略训练，复杂操作仍有提升空间。研究在20项代表性任务上比较BC、Diffusion Policy、ACT、VLA-adapter和π0.5，每项任务使用300条示范。π0.5与VLA-adapter的总体仿真执行成功率分别为55%和54%；在Hard任务上，分别为24%和23%。阶段分析显示，后续精确对齐与长动作序列仍是重要难点。

真实机械臂验证了零样本迁移的可行性。研究将仅使用AffordSim操作示范训练的策略部署到真实Franka FR3，覆盖两项放置、一项倾倒与一项悬挂任务，每项测试10次，不进行真实机器人数据微调。

图5　论文中的四项真实Franka FR3任务，按2×2排列：左上为香蕉放盘，右上为杯子上架，左下为将勺中物料倒入碗中，右下为马克杯悬挂。策略在仿真示范上训练后直接部署。

表2　零样本仿真到真实迁移成功率。每项任务测试10次；VLA-adapter的精确平均值为22.5%，论文表格按整数报告为23%。

真机结果说明仿真数据可以支持这些任务的直接迁移，同时也呈现出清晰的难度差异：涉及精确挂接的任务仍然更难。结合仿真实验，可以继续追踪功能区域预测、抓取后对齐和长时序执行各自带来的误差。

AffordSim将任务相关的接触区域作为数据生成中的显式条件，把自然语言目标、三维几何和运动可行性连接起来。它为减少逐物体接触规则的手工调节提供了一种路径，也通过统一基准评估可供性理解对机器人操作的实际影响。

当前结果还受到可供性模型覆盖范围的限制。

例如，部分悬挂任务中的接触配置在模型训练数据中较少出现，采集表现仍低于人工调节；透明物体、新几何和模糊功能区域也会带来挑战。柔性物体、双臂操作和手内操作尚未纳入当前框架。随着这些能力扩展，可供性感知数据生成有望覆盖更多日常操作场景。

参考资料：

https://arxiv.org/abs/2604.11674

编辑：LRST