新技术帮助机器人将物体装入狭小的空间

任何曾经尝试过将家庭大小的行李装进轿车大小的行李箱的人都知道这是一个难题。机器人也很难完成密集的包装任务。对于机器人来说，解决包装问题需要满足许多约束条件，例如堆叠行李以防止手提箱从后备箱中翻出、重物不放在较轻的物品上，以及机械臂和汽车保险杠之间的碰撞被避免。

一些传统方法按顺序解决这个问题，猜测一次满足一个约束的部分解决方案，然后检查是否违反了任何其他约束。由于需要执行一系列操作，并且要打包一堆行李，这个过程对于机器人来说可能非常耗时，不切实际。

麻省理工学院的研究人员使用一种称为扩散模型的生成人工智能形式来更有效地解决这个问题。他们的方法使用一组机器学习模型，每个模型都经过训练以表示一种特定类型的约束。这些模型结合起来生成包装问题的全局解决方案，同时考虑所有约束。

他们的方法能够比其他技术更快地生成有效的解决方案，并且在相同的时间内生成更多数量的成功解决方案。重要的是，他们的技术还能够解决模型在训练期间没有看到的新颖的约束组合和大量对象的问题。

由于这种普遍性，他们的技术可用于教导机器人如何理解和满足包装问题的总体约束，例如避免碰撞的重要性或希望一个物体靠近另一个物体的愿望。

以这种方式训练的机器人可以应用于不同环境中的各种复杂任务，从仓库中的订单履行到整理某人家中的书架。

“我的愿景是推动机器人完成更复杂的任务，这些任务有许多几何约束和需要做出更连续的决策——这些都是服务机器人在我们非结构化和多样化的人类环境中面临的问题。

借助成分扩散模型的强大工具，我们现在可以解决这些更复杂的问题并获得出色的泛化结果。”电气工程和计算机科学研究生、关于这种新机器学习技术的论文的主要作者ZhutianYang说道。

她的合著者包括麻省理工学院研究生毛佳媛和杜逸伦;JiajunWu，斯坦福大学计算机科学助理教授;JoshuaB.Tenenbaum，麻省理工学院脑与认知科学系教授、计算机科学与人工智能实验室(CSAIL)成员;TomásLozano-Pérez，麻省理工学院计算机科学与工程系教授，CSAIL成员;资深作者LeslieKaelbling，麻省理工学院计算机科学与工程系松下教授，CSAIL成员。

该研究将在机器人学习会议上发表。

机器人的约束复杂性

连续约束满足问题对于机器人来说尤其具有挑战性。这些问题出现在多步骤机器人操作任务中，例如将物品装入盒子或布置餐桌。

它们通常涉及实现许多约束，包括几何约束，例如避免机器人手臂与环境之间的碰撞;物理限制，例如堆叠物体以保持稳定;以及质量限制，例如将勺子放在刀的右侧。

可能存在许多限制，并且它们随着问题和环境的不同而变化，具体取决于对象的几何形状和人类指定的要求。

为了有效地解决这些问题，麻省理工学院的研究人员开发了一种称为Diffusion-CCSP的机器学习技术。扩散模型通过迭代优化输出来学习生成与训练数据集中的样本相似的新数据样本。

为此，扩散模型学习对潜在解决方案进行小幅改进的过程。然后，为了解决问题，他们从随机的、非常糟糕的解决方案开始，然后逐渐改进它。

例如，想象一下将盘子和器皿随机放置在模拟桌子上，使它们在物理上重叠。对象之间的无碰撞约束将导致它们相互推开，而定性约束会将盘子拖到中心，对齐沙拉和晚餐块等。

杨解释说，扩散模型非常适合这种连续约束满足问题，因为多个模型对一个物体的姿态的影响可以组合起来以鼓励满足所有约束。通过每次从随机初始猜测开始，模型可以获得一组不同的良好解决方案。

机器人一起工作

对于Diffusion-CCSP，研究人员希望捕捉约束的相互关联性。例如，在包装中，一个约束可能要求某个对象位于另一个对象旁边，而第二个约束可能指定这些对象之一必须位于何处。

Diffusion-CCSP学习一系列扩散模型，每种模型对应一个约束类型。这些模型是一起训练的，因此它们共享一些知识，例如要包装的物体的几何形状。

然后，这些模型共同寻找解决方案，在本例中是要放置的对象的位置，共同满足约束条件。

“我们并不总能在第一次猜测时找到解决方案。但是，当您不断完善解决方案并发生一些违规行为时，它应该会引导您找到更好的解决方案。你会从出错的地方得到指导，”她说。

与其他方法相比，为每种约束类型训练单独的模型，然后将它们组合起来进行预测，可以大大减少所需的训练数据量。

然而，训练这些模型仍然需要大量数据来证明已解决的问题。杨说，人类需要用传统的缓慢方法来解决每个问题，这使得生成此类数据的成本令人望而却步。

相反，研究人员通过首先提出解决方案来扭转这一过程。他们使用快速算法生成分段框，并将一组不同的3D对象放入每个分段中，确保紧密封装、稳定的姿势和无碰撞解决方案。

“通过这个过程，模拟中的数据生成几乎是瞬时的。我们可以生成数以万计的环境，在这些环境中我们知道问题是可以解决的，”她说。

使用这些数据进行训练后，扩散模型共同确定机器人夹具应放置物体的位置，从而在满足所有约束的同时实现包装任务。

他们进行了可行性研究，然后用真实的机器人演示了Diffusion-CCSP，解决了许多难题，包括将2D三角形装入盒子中、用空间关系约束包装2D形状、用稳定性约束堆叠3D对象以及用机械臂。

他们的方法在许多实验中都优于其他技术，产生了大量稳定且无碰撞的有效解决方案。

未来，Yang和她的合作者希望在更复杂的情况下测试Diffusion-CCSP，例如可以在房间内移动的机器人。他们还希望使Diffusion-CCSP能够解决不同领域的问题，而无需对新数据进行重新训练。

“Diffusion-CCSP是一种建立在现有强大生成模型之上的机器学习解决方案，”佐治亚理工学院交互式计算学院助理教授、NVIDIAAI研究科学家DanfeiXu(未参与其中)说道与这项工作。

“它可以通过组合已知的单独约束模型来快速生成同时满足多个约束的解决方案。尽管仍处于开发的早期阶段，但这种方法的不断进步有望在各种应用中实现更高效、安全和可靠的自主系统。”