主线重点 · 第11层打通

仿真

仿真主线不是概念海报,而是可执行的四阶段路径:先把数据与评测立住,再选仿真器,再训策略,最后做 sim-to-real。每一阶段都有验收清单。

里程碑

已完成M0 文档站

本页 + 工具栈 + 数据集外链上线

下一步M1 可重置场景

本地 MuJoCo 场景与评测脚本

规划中M2 基线策略

公开数据 BC 基线 + 成功率表

规划中M3 真机闭环

SO-101 遥操作与 sim-to-real 报告

实现路线图 · 可执行清单

P1 数据与评测底座

2/5 完成

明确任务族、成功判据与可回放轨迹格式,避免一上来堆仿真器。

  • 选定 1–2 个操作任务族(如桌面抓取、开门)与成功判据
  • 统一轨迹 schema(观测、动作、语言指令、时间戳)
  • 登记公开数据集入口(OXE / Bridge / DROID)并记下许可
  • 写最小评测脚本:成功率、碰撞、完成时间
  • 在本站 /sim 与 layers/11 互相链通术语

P2 仿真器与场景

1/5 完成

选定主仿真器 + 备份引擎,搭出可域随机的场景资产管线。

  • 主引擎选型:MuJoCo(控制)或 Isaac/Genesis(大规模合成)
  • 导入本体 URDF/MJCF,校验关节限位与惯性
  • 搭建至少 1 个可重置场景(桌面 + 3 物体)
  • 打开域随机:光照、纹理、物体位姿、摩擦
  • 浏览器工作台外链可用(/sim/workbench)

P3 策略与模仿学习

0/5 完成

用公开数据 + 仿真轨迹训出可复现基线,再叠 RL 微调。

  • 跑通 LeRobot 或等价流水线的数据加载
  • 训练行为克隆基线并记录种子与超参
  • 在 ManiSkill / 自建环境上报告成功率
  • 可选:Isaac Lab / 自研 RL 对稀疏奖励任务微调
  • 把失败案例回流到数据集与场景生成

P4 Sim-to-Real

0/5 完成

低成本真机(如 SO-101)闭环:遥操作采集 → 策略上机 → 差距诊断。

  • 装配开源臂并完成安全限位与急停
  • 遥操作采集 50+ 条同任务真机轨迹
  • 仿真策略零样本上机,记录域差距(视觉/动力学)
  • 用少量真机数据做适配或残差策略
  • 写复现文档:硬件版本、固件、相机外参

工具栈

公开项目 · 外链官网/GitHub
仿真器物理引擎接触控制

MuJoCo

DeepMind 开源物理引擎,关节接触与力矩控制的事实标准之一。

仿真器合成数据GPUOmniverse

NVIDIA Isaac Sim

基于 Omniverse 的高保真机器人仿真,面向合成数据与域随机。

仿真器RL并行环境

Isaac Lab

Isaac 生态的强化学习与模仿学习实验框架,接 GPU 并行环境。

仿真器高速仿真多物理

Genesis

通用物理仿真平台,强调速度与多物理耦合,适合批量数据生成。

基准/环境操作基准

ManiSkill

操作技能基准与 GPU 并行环境,覆盖抓取、装配等任务族。

策略/数据模仿学习开源硬件

LeRobot

Hugging Face 具身学习库:数据集、策略与低成本真机流水线。

场景家居场景生成

RoboCasa

大规模家居操作仿真,围绕厨房等日常场景生成训练数据。

开源硬件机械臂遥操作

SO-101 / SO-ARM

低成本开源机械臂,常与 LeRobot 搭配做遥操作与策略验证。

开源本体/固件开源人形固件Sim2Real

Asimov(Menlo)开源栈

开源人形开发平台:MuJoCo/URDF + 真机固件进仿真(Processor-in-the-Loop)。适合对照闭源整机做 sim-to-real 可观测性实验。

公开数据集

Open X-Embodiment

跨机构、跨本体的大规模机器人操作轨迹合集,VLA 预训练常用底座。

BridgeData V2

真实厨房/桌面操作轨迹,强调多样物体与场景,适合模仿学习。

DROID

分布式真实机器人操作数据集,覆盖多地点、多任务采集。

RH20T

大规模真实机器人操作与多模态标注,偏中文社区与工业场景可读。

浏览器工作台

进入 →

站内嵌入 DeepMind mujoco_menagerie 的 The Robot Studio SO101:浏览器 MuJoCo WASM 真实物理步进(关节滑条 / 暂停单步 / 重力)。运动学教学台降为备用;外链 demo 仍可对照。

与产业链第11层

Layer 11

仿真数据 · 引擎 / 合成 / 遥操作 / 回流

产业链分层视角与本页实现路径互补:层页看产业位置,本页看你方怎么做。

公开信息整理,非投资建议;请回源核验