机器人运动技能，可以通过深度强化学习获得，以作为反映状态-动作映射的神经网络。状态选择是机器人运动学习的关键所在。然而，由于神经网络的复杂性，通常需要人类的洞察力和工程努力，以通过定性方法（如消融研究 ablation studies）选择适当的状态，而没有对状态重要性进行定量分析。
近日，英国 爱丁堡大学 (University of Edinburgh) Wanming Yu, Chuanyu Yang，Zhibin Li等，在Nature Machine Intelligence上发文，提出了系统的显著性分析，定量评估了不同反馈状态的相对重要性，以用于基于深度强化学习，有效地学习运动技能，从而为机器人运动学习最基本的反馈状态识别提供了指导。基于包括关节位置、重力矢量和基本线速度和角速度的重要状态，研究证明了了模拟四足机器人可以学习各种鲁棒的运动技能。研究发现，只有在重要状态下，学习的运动技能，才能达到与具有更多状态，即相当于人的任务表现。这项工作，为状态观察对特定类型的运动技能影响，提供了定量的见解，从而以最小感知依赖性，学习广泛的运动技能。![]()
Identifying important sensory feedback for learning locomotion skills. ![]()
图1:四足动物和机器人之间的功能性感觉反馈。
![]()
图2:用于学习有效运动技能的关键反馈状态识别方法。
![]()
图3:基于显著性分析，确定了平衡恢复、小跑和跳跃技能的前四个关键状态反馈排名。
![]()
图4:小跑和跳跃反馈状态的64个维度相对重要性。
![]()
图5:平衡恢复、小跑和跳跃的全状态、关键状态和不相关状态策略的任务性能基准。
![]()
图6:基于关键反馈状态，学习新运动技能的适用性。
Yu, W., Yang, C., McGreavy, C. et al. Identifying important sensory feedback for learning locomotion skills. Nat Mach Intell 5, 919–932 (2023). https://doi.org/10.1038/s42256-023-00701-whttps://www.nature.com/articles/s42256-023-00701-whttps://www.nature.com/articles/s42256-023-00701-w.pdf声明：仅代表译者个人观点，小编水平有限，如有不当之处，请在下方留言指正！