本页 + 工具栈 + 数据集外链上线
主线重点 · 第11层打通
仿真
仿真主线不是概念海报,而是可执行的四阶段路径:先把数据与评测立住,再选仿真器,再训策略,最后做 sim-to-real。每一阶段都有验收清单。
里程碑
本地 MuJoCo 场景与评测脚本
公开数据 BC 基线 + 成功率表
SO-101 遥操作与 sim-to-real 报告
实现路线图 · 可执行清单
P1 数据与评测底座
2/5 完成明确任务族、成功判据与可回放轨迹格式,避免一上来堆仿真器。
- 选定 1–2 个操作任务族(如桌面抓取、开门)与成功判据
- 统一轨迹 schema(观测、动作、语言指令、时间戳)
- 登记公开数据集入口(OXE / Bridge / DROID)并记下许可
- 写最小评测脚本:成功率、碰撞、完成时间
- 在本站 /sim 与 layers/11 互相链通术语
P2 仿真器与场景
1/5 完成选定主仿真器 + 备份引擎,搭出可域随机的场景资产管线。
- 主引擎选型:MuJoCo(控制)或 Isaac/Genesis(大规模合成)
- 导入本体 URDF/MJCF,校验关节限位与惯性
- 搭建至少 1 个可重置场景(桌面 + 3 物体)
- 打开域随机:光照、纹理、物体位姿、摩擦
- 浏览器工作台外链可用(/sim/workbench)
P3 策略与模仿学习
0/5 完成用公开数据 + 仿真轨迹训出可复现基线,再叠 RL 微调。
- 跑通 LeRobot 或等价流水线的数据加载
- 训练行为克隆基线并记录种子与超参
- 在 ManiSkill / 自建环境上报告成功率
- 可选:Isaac Lab / 自研 RL 对稀疏奖励任务微调
- 把失败案例回流到数据集与场景生成
P4 Sim-to-Real
0/5 完成低成本真机(如 SO-101)闭环:遥操作采集 → 策略上机 → 差距诊断。
- 装配开源臂并完成安全限位与急停
- 遥操作采集 50+ 条同任务真机轨迹
- 仿真策略零样本上机,记录域差距(视觉/动力学)
- 用少量真机数据做适配或残差策略
- 写复现文档:硬件版本、固件、相机外参
工具栈
公开项目 · 外链官网/GitHubMuJoCo
DeepMind 开源物理引擎,关节接触与力矩控制的事实标准之一。
NVIDIA Isaac Sim
基于 Omniverse 的高保真机器人仿真,面向合成数据与域随机。
Isaac Lab
Isaac 生态的强化学习与模仿学习实验框架,接 GPU 并行环境。
Genesis
通用物理仿真平台,强调速度与多物理耦合,适合批量数据生成。
ManiSkill
操作技能基准与 GPU 并行环境,覆盖抓取、装配等任务族。
LeRobot
Hugging Face 具身学习库:数据集、策略与低成本真机流水线。
RoboCasa
大规模家居操作仿真,围绕厨房等日常场景生成训练数据。
SO-101 / SO-ARM
低成本开源机械臂,常与 LeRobot 搭配做遥操作与策略验证。
Asimov(Menlo)开源栈
开源人形开发平台:MuJoCo/URDF + 真机固件进仿真(Processor-in-the-Loop)。适合对照闭源整机做 sim-to-real 可观测性实验。
公开数据集
浏览器工作台
进入 →站内嵌入 DeepMind mujoco_menagerie 的 The Robot Studio SO101:浏览器 MuJoCo WASM 真实物理步进(关节滑条 / 暂停单步 / 重力)。运动学教学台降为备用;外链 demo 仍可对照。
与产业链第11层
仿真数据 · 引擎 / 合成 / 遥操作 / 回流
产业链分层视角与本页实现路径互补:层页看产业位置,本页看你方怎么做。