从海量互联网视频中检索人类操作示范，英伟达联合莱斯大学发布RoboTok，提升下游机器人任务成功率

英伟达与莱斯大学联合推出机器人学习框架RoboTok，旨在从海量互联网视频中检索人类操作示范，以提升下游机器人任务的成功率。该系统通过分析视频中人类手部动作与物体交互的时序关系，自动提取关键操作步骤，并将其转化为机器人可执行的技能指令。RoboTok无需依赖人工标注或仿真环境，可直接利用现有视频数据，显著降低机器人技能学习的数据获取成本。实验结果显示，采用该框架后，机器人在多种操作任务中的成功率较传统方法有稳定提升，尤其在长序列任务中表现突出。该研究为机器人利用大规模非结构化视觉数据提供了一条可行路径，相关代码与模型已向学术界开放。