Skip to content

feat(TWIST): 重写详情笔记,新增十六幕讲解动画、三个交互演示与配音视频 - #655

Open
ImChong wants to merge 3 commits into
mainfrom
claude/twist-details-animation-video
Open

ImChong wants to merge 3 commits into
mainfrom
claude/twist-details-animation-video

Conversation

@ImChong

@ImChong ImChong commented Oct 19, 2026

Copy link
Copy Markdown
Owner

发布清单 033 TWIST(arXiv 2505.02833,CoRL 2025)。照 HOVER / MaskedMimic 的做法:笔记对照论文 LaTeX 源码与官方仓库 YanjieZe/TWIST 重写,新做动画、演示与配音视频。

笔记

  • 对照 arXiv v1(只有这一版)的 LaTeX 源码与官方仓库(2025-11-01 的 main)逐条核查重写;旧版只依据摘要整理。
  • 补上表 1–2、图 6–8 的全部数字,关键发现 1–4、部位误差、延迟、可达性与失败。
  • 论文没写的数取自代码并标明出处:
    • 教师看第 1, 5, …, 95 步共 20 帧(0.02–1.9 s),每帧 58 维,教师 1318 维;学生 (31 + 74) × 11 = 1155 维。
    • 跟踪五项是 $w,e^{-k\epsilon}$。
    • KL 系数从 0.1 起每次迭代乘余弦因子、连乘,约 3000 次后接近 0(共 30,002 次)。
    • 自录数据的采样权重 100 / 50,按段抽样时约占 44% 的回合。
  • 代码与表 2 的出入:推基座 1.0 m/s(表里 0.1);另有质心与动作延迟的随机化。
  • 「🚶 具体实例」用官方学生模型在 MuJoCo 里的复现,标明不是论文的实验。动画后的正文按惯例折叠。

动画、演示与视频

  • assets/js/demos/twist.js:十六幕讲解动画、配音视频播放器,以及三个交互演示:
    • 教师 / 学生各看到什么;
    • 奖励计算器;
    • 图 6 / 图 8 与复现对比。
  • 动画里 G1 的画面:用官方学生模型照 server_low_level_g1_sim.py,在 MuJoCo 里跟官方数据集的两段自录动捕,再按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图。
  • 另用了论文图的裁剪,以及项目页视频剪的 13 段片段(技能那一幕一次放一个)。
  • 复现:154 段自录动捕全部跑过,148 段全程站住。部位误差约是论文图 8 右的 2.7–3.2 倍;脚最大、手其次,头和膝的先后与论文相反(论文里两者只差 0.2 mm)。
  • 配音视频:14 分 54 秒,网页版 18.9 MB,附海报。
    • 旁白「重定向」写成「崇定向」,字幕换回,避免念成 zhòng。
    • 渲染中途核对数字,改了 4 句说法;只重新合成这几句,只重渲受影响的部分。
  • 路线图 TWIST 节点加 🎬;AGENTS.md、视频 README、发布清单 033 同步。

TWIST 页面:第 5、15 幕(1280 宽),奖励计算器(1280 宽),教师/学生观测、图 6 / 图 8 演示与视频播放器(390 宽)

验证

  • pytest:312 passed;ruff check scripts/ tests/:通过。
    • 新增两个测试。一个解码嵌入数据重算:第 17.00 s 的跟踪五项(4.0051 / 4.4)、部位误差、根部离参考 0.43–1.38 m、KL 系数在第 1448 / 2160 / 2721 次跌破的阈值。另一个核对项目页片段。
  • check_layout.mjs twist story near:no overlap;check_layout.mjs twist cover:no overlap。
  • 视频:四段并行渲染 26,833 帧,音视频时长 894.43 / 894.43 s。
  • Jekyll 构建并消毒后,在 1280 与 390 宽度下打开页面,无脚本错误。
    • 手机宽度下「图 6、图 8」演示的横轴标签原先互相压住,已改成两行、窄屏用小号字。

Generated by Claude Code

- 笔记对照 arXiv v1 的 LaTeX 源码与官方仓库 YanjieZe/TWIST 逐条核查重写:补上表 1–2、图 6–8 的数字,
  记下论文没写的数(20 帧未来参考、教师 1318 维 / 学生 1155 维、跟踪五项的指数系数、KL 系数连乘衰减、
  自录数据的采样权重约占 44% 回合)与代码和表 2 的出入;具体实例用官方学生模型在 MuJoCo 里的复现
- 新增 assets/js/demos/twist.js:十六幕动画(G1 复现的 3D 贴图、论文图裁剪、13 段项目页片段)、
  配音视频播放器、教师 / 学生观测、奖励计算器、图 6 / 图 8 与复现三个交互演示
- 新增配音视频(14 分 54 秒,网页版 18.9 MB)与海报;路线图 TWIST 节点加 🎬
- 测试:解码嵌入数据重算第 17.00 s 的跟踪五项、部位误差、根部偏移与 KL 系数;核对项目页片段
- 文档:AGENTS.md、视频 README、发布清单 033

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013hUAmeFC2z93YJEEq3rmAi

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants