OpenAI的Dactyl系统为机器人提供人类般的灵巧性

一份报告称：在即将发表的一篇论文（“灵巧的手工操作”）中，OpenAI研究人员描介绍了一个使用强化模型的系统，其中AI [称为Dactyl]通过反复试验来让机器人用最先进的精度抓住和操纵物体。更令人印象深刻的是，它在计算机模拟中完全以数字方式进行了训练，并没有提供任何人类演示来学习。研究人员使用MuJoCo物理引擎来模拟真实机器人可能运行的物理环境，以及Unity渲染图像以训练计算机视觉模型以识别姿势。但该团队写道，这种方法有其局限性 - 模拟仅仅是物理设置的“粗略近似”，这使得“不太可能”生成可以很好地转化为现实世界的系统。他们的解决方案是随机化环境的各个方面，如物理（摩擦，重力，关节限制，物体尺寸等）和视觉外观（照明条件，手和物体姿势，材料和纹理）。这既降低了过度拟合的可能性 - 当神经网络在训练数据中学习噪声时发生的现象。 接下来，研究人员训练了该模型 - 一个递归神经网络 - 拥有384台机器，每台机器具有16个CPU核心，允许它们每小时产生大约两年的模拟体验。在八个GPU上进行优化后，他们进入下一步：训练卷积神经网络，从三个模拟摄像机图像中预测机器人“手”中物体的位置和方向。一旦模型被训练，就进行验证测试。研究人员使用了一只“灵巧” 手，这是一只五指共有24个自由度的机器人手，安装在铝制框架上以操纵物体。同时，两组摄像机 - 运动捕捉摄像机和RGB摄像机 - 作为系统的眼睛，可以跟踪物体的旋转和方向。在两个测试的第一个中，算法的任务是重新定向用字母表字母标记的块。团队选择了一个随机目标，每次AI实现它时，他们选择一个新目标，直到机器人（1）拿掉了东西，机器人（2）花了一分多钟来操纵块，而机器人（3）则成功旋转50次。在第二次测试中，块与八角形棱镜交换。结果这些模型不仅表现出“前所未有”的表现，而且还自然发现了在人类中观察到的类型的抓握，例如三脚架（使用拇指，食指和中指的握把），棱柱形（拇指和手指相对的握把和尖端捏握。他们还学会了如何旋转和滑动机器人手的手指，以及如何使用重力，平移等）