机器人群体学习的新突破:96台设备实现协同成长
随着GPT-6 Astra等前沿智能模型的发展,机器人在某些操作任务上展现出了零样本学习的潜力。然而,可靠的模型策略在实际应用中显得更为重要,即便是最强的通用模型也可能在互动、对齐和长流程任务中频繁出错。研究显示,通过引入人类示范,机器人模型的可靠性可以得到显著提升,但在大规模部署中,人工示范的需求也面临挑战。
针对这一问题,Physical Intelligence的联合创始人Sergey Levine在采访中提到, robots最初需要人类的高质量示范来建立基本能力,然后才能自主尝试和学习。清华大学、智元与无问芯穹也提出了“群体经验学习”(Collective Experience Learning,CEL)范式,并成功在96台机器人上进行了原型验证。在一项以手机包装为例的多阶段工业应用中,经过训练的策略在两个未参与训练的相同机器人上进行了120次测试,成功率从79.2%提升至98.3%;具体来说,失败次数从25次减少至2次,减少幅度达92%。
更令人关注的是,随着学习机器人数量从16台增加至96台,测试成功率提升至98.3%。显然,机器人数量的增加有效提升了任务的执行能力。传统机器人训练路径通常依赖于人类的参与,无论是模仿学习还是环节强化学习,都需要人类示范和介入。然而,随着机器人数量的增长,经验丰富的人力资源难以跟上扩展的需求。
CEL方法的出现改变了后续学习中对动作监督的依赖。假设一台机器人在执行某项任务时遇到困难,另一台曾成功完成类似任务的机器人可以分享其经验,从而帮助前者改善操作。在这种框架下,人类的角色转变为结果的判断者,而非动作的指导者。
要将CEL转化为实际运作的学习过程,需要解决两个关键问题:首先,从大量仅有成功或失败反馈的执行经验中提炼出值得学习的内容;其次,在面对通信受限和局部故障时,如何让大规模机器人持续高效地积累经验。
面对每个任务可能长达3分钟且包含4000多个步骤,但反馈仅为成功或失败的简单信息,团队提出了“失败引导的经验检索微调算法”(FERT)。该算法能够区分成功与失败样本,从而增强学习的针对性。通过FERT框架,各机器人异步执行任务,成功轨迹被存入共享经验池供后续策略微调。同时,失败轨迹则帮助定位模型的学习重点,利用FERT算法对失败任务中的关键环节进行亚细致分析,以便从成功经验中提取有效操作片段。
为了确保96台机器人的持续运作,团队设计了容错异步训练系统(FATS),将100台机器人与50个边缘节点、6台云服务器整合,确保实时在线学习。FATS将机器人视为与GPU平行的训练资源,实现了硬件的统一调度,以便高效流动数据。每台机器人完成任务后,都可以迅速提交数据,从而实时更新策略,不必等待其他机器人。