TL;DR · 同一张研究地图
这四项工作并不是同一任务上的 SOTA 竞争者，而是连接了具身学习的四层问题：
采集和结构化人类操作经验（Gen-HumanEgo / DexterCap） → 让人类动作可用作机器人控制监督（Dyna-2.1） → 保留复杂任务的长期历史与纠错经验（RoboTTT） → 在真实生产环境里执行完整 Workflow（Dyna-2.1）。
最值得借鉴的是它们如何选择实验与证据，而不是孤立地比较“规模最大”或“成功率最高”。尤其不能把 Demo 当统计实验、把 Marker fitting residual 当 MPJPE、把 partial task score 当 full-task success。
| 工作 | 研究层级 | 直接给出的证据 | 还没有直接证明的事 | 深读价值 |
|---|---|---|---|---|
| Dyna-2.1 | 人类动作到机器人策略 / 真实流程 | URR 与三层部署系统描述；约 1h 未剪辑洗衣房演示 | 2.1 的大样本成功率、Human Data 的独立贡献、跨站点统计提升 | 看 Motion Interface 和 Runtime |
| Gen-HumanEgo | 大规模 Ego 数据的结构化生产 | HF 数据卡记录 1,847.7 h、44,632 episodes、10,257 tasks；公司内部手/深度评测 | 加入 Hand/Depth/Semantics 对机器人策略的独立增益 | 看 Schema、QC、数据效益 |
| RoboTTT | 长历史的 VLA / 在线记忆 | 真机多任务、上下文扩展和 DAgger Distillation 实验；Task Completion Score 79% vs 42% | 79% 完整任务成功率、所有长时间场景的普遍泛化 | 看训练机制、干预和评测 |
| DexterCap | 精细手物运动 GT 基础设施 | 13 相机 <$6K 系统、marker fitting residual 2.06±1.09 mm、检测消融与数据集 | 独立 MoCap GT 的 Hand MPJPE、任意遮挡鲁棒性、下游 policy gain | 看可观测性与标注可信度 |
Evidence Standard · 什么才算证明了结论？
| Evidence 类型 | 这批工作中的例子 | 可以合理得出的结论 | 不可以直接推出的结论 |
|---|---|---|---|
| 可检查的数据发布事实 | Gen-HumanEgo 的 HF 数据卡与 schema | 发布接口、标注字段、目录与官方登记规模 | 所有伪标签达到 Ground Truth 精度、对 VLA 一定有益 |
| 内部测量 + 实验协议 | GenRobot 的 HandTrack / Ego-Depth；DexterCap 的 MRE | 特定评估定义下的性能与工程能力 | 未公开 GT 时的可复现跨系统绝对精度 |
| 受控评估与消融 | RoboTTT 的 1K/8K Context、GDN/TTT 对照 | 在其训练数据/任务/指标下，记忆机制提升任务表现 | 任意机器人任务都适用、完全没有额外推理负担 |
| 视频演示和定性案例 | Dyna-2.1 一小时工作流视频 | 在所展示条件下系统可以执行完整长流程与恢复操作 | 系统的总体成功率、可靠性分布与人类数据的因果效应 |
易误读的四个数字
- Dyna： 1 小时未剪辑视频是连续展示时长，不是 1 小时无失败概率，也不是可外推的产品可靠性曲线。报告中引用的 Dyna-2 比 Dyna-1 的 87% vs 46% 客户验收数据属于前代，不能当作 Dyna-2.1 的评测。
- GenRobot： 1,847.7 h 是数据卡的已登记采集时长；官网的 HandTrack 亚厘米属于内部模型精度声明，不能推导全量数据集的每帧误差阈值。Whole-Body 配套文章的约 3 cm 也不是 Gen-HumanEgo 手指精度。
- RoboTTT： 79% 是阶段/步骤 Rubric 汇总的平均 Task Completion Score。复杂 Gear Bot 的 2/10 才是该任务的完整流程成功次数（详见原文 Table 1）。
- DexterCap： 2.06±1.09 mm 是由视觉 marker 观测与拟合结果形成的 Marker Reconstruction Error；不是外部独立 GT 下的指关节 MPJPE，也不反映物体接触力。
横向分析：四种研究假设和实际可验证性
| 研究假设 | 关键中间变量 | 目前的最强验证 | 最需要补的控制变量 |
|---|---|---|---|
| 人类动作可转成可执行机器人技能（Dyna） | URR、policy / controller / orchestrator 分工 | 工作流系统示例与架构说明 | 固定 robot demo 下 human motion 数据量/质量的交互消融 |
| 多视角 Ego 自动标注能规模化（GenRobot） | 追踪精度、伪标签置信度、语义粒度 | 数据卡、内部精度、公开格式 | 外部 GT 样本、下游操控表现、每小时人工标注成本 |
| Long Context 能明显提高机器人操作（RoboTTT） | Fast Weights、历史长度、纠错数据 | Context Scaling + baselines + 实机任务 | 同计算量下的结构化对象记忆、对历史跨度的因果测试 |
| 密集 marker 改善精细在手动作 GT（DexterCap） | Marker visibility、ID recall、重建收敛 | 检测网络实验、Marker residual、操作序列 | 独立手指/指尖 GT、重度遮挡下分组失效率、佩戴干扰 |
按优先级排列的三组研究实验
P0 · Label Value：高质量 HOI 人类监督究竟帮助什么？
目标： 把“数据规模和标注很完整”的叙事变成可检验的控制增益，连接 GenRobot 与 DexterCap。
- 固定： 训练数据小时数、视频内容、模型参数、训练 token 数、机器人示范数量、评测物体与种子。
- 变量：
Ego RGB、+3D hand、+object pose、+contact / tactile；另做 Pseudo-label 质量分桶 / 标签噪声注入。 - 评测： robot Success Rate、Contact F1、首次成功时间、Fingertip Error、未见过物体泛化；用独立 GT 子集测标签质量。
- 区分的假设： 额外模态是因为信息量增加而有效，还是主要靠更多监督 token 和训练计算？
P1 · Temporal Memory：什么时候需要把失败和纠错“写进”历史？
目标： 用 RoboTTT 的机制回答 Dyna 完整 Workflow 对记忆的要求。
- 固定： 视觉 backbone、control horizon、训练预算、动作监督、任务初始状态。
- 变量： 1 帧、固定窗口 Attention、TTT Fast Weights、Structured Event / Object Memory；再让关键事件在 1/10/50/200 s 之前发生。
- 扰动： 物品提前被搬走、目标状态变化、抓取中滑脱、失败后人工纠正。
- 评测： 完整任务 Success Rate 与 Rubric Partial Score 分开报告，恢复时间、重复动作次数、latency、GPU memory、history retention 曲线。
P2 · Ground Truth Trustworthiness：Marker + Ego 的标注链条能否被独立验证？
目标： 将 DexterCap 的 Marker 几何精度与 GenRobot 的规模化标签结合，避免生成标签自我验证。
- 设计： 同时采集多视角标记、Ego 视频和独立光学 / EM / IMU 参考，在刚体与高遮挡物体下建立小而高质量的 GT subset。
- 变量： Marker density、cam count、视角布局、手物遮挡时长、是否使用 EM/IMU。
- 评测： 2D Reprojection Error、Marker Residual、MPJPE、Fingertip Error、Object 6D Error、Contact State Error 分开报告。
- 判别： Marker Residual 下降是否真的带来未观察关节/指尖精度提升？哪类失效无法由多视角视觉单独解决？
逐篇 Deep Review 链接
- Dyna-2.1 · Runtime / URR / Workflow
- Gen-HumanEgo · Ego Data / Labels / QC
- RoboTTT · Fast Weights / Sequence Training / Control
- DexterCap · Marker Geometry / MANO / Dataset
本篇为 AI 辅助横向对照草稿，默认 draft，和单篇分析一样需要审阅后才允许发布到个人网站。