Skip to content

feat(TWIST2): 重写详情笔记,新增十八幕讲解动画、三个交互演示与配音视频 - #654

Open
ImChong wants to merge 3 commits into
mainfrom
claude/twist2-explainer-video
Open

ImChong wants to merge 3 commits into
mainfrom
claude/twist2-explainer-video

Conversation

@ImChong

@ImChong ImChong commented Oct 19, 2026

Copy link
Copy Markdown
Owner

发布清单 034。照 HOVER / HOMIE 的做法做 TWIST2(arXiv 2511.02832,项目页写 ICRA 2026)。

笔记

  • 对照 arXiv 的 LaTeX 源码、项目页与官方仓库 amazon-far/TWIST2 逐条核查重写;动画之后的正文按 AGENTS.md 折叠。
  • 「论文与代码」单列出入:
    • 「一阶段」在代码里就是不加载教师的 DAgger-PPO(--teacher_exptid None);
    • 策略观测 $(35+92)\times 11+35 = 1432$ 维,脚本注释写 1402;价值网络 1734 维;
    • 数据集 19,426 段,PICO 自采的 73 段权重 10,初始抽样约 3.6%;
    • 奖励 21 项(关节角、关键点各 2.0,惩罚 11 项);
    • 手的抓握量 α 每循环 ±0.05(100 Hz 下 0.2 s 合到底),捏的张开姿态取 80%;脖子乘 neck_retarget_scale = 1.5;
    • 高层扩散策略的代码没有开源。
  • 表 II 在摘要、引言、图 1、项目页的说法各不相同,以表为准,笔记记下各处原文。
  • 「🚶 具体实例」12 节。走路漂移(终点相距 0.99 m、中途最大 2.01 m)与蹲下误差(平均 0.081 rad)是我们用官方 ONNX 权重在 MuJoCo 里跟官方 PICO 样例的复现,不是论文的实验,笔记、动画、旁白都标明了;论文没写的理解标成推测。

动画与演示(assets/js/demos/twist2.js)

  • 十八幕讲解动画:
    • 参考与跟出来的两台 G1 按 Robot_Retarget_Online 的材质离线渲染成贴图(assets/img/papers/twist2/g1_3d/),另有一张 Dex3-1 左手特写(握 / 捏各 11 档 α);
    • 用了论文图 1–15 的裁剪;第 1、4、5、8、11、13、14、17 幕嵌入项目页视频剪的 15 段片段(约 3.1 MB)。
  • 三个交互演示:35 维命令浏览器(走路 / 蹲下 / 漂移)、手和脖子、表 II / III 与图 14。
  • 测试:EXPLAINER_BUNDLES / EXPLAINER_SCENES 加入 twist2;新增两个测试:
    • 解码嵌入的动作与漂移轨迹,用 Python 重算例 1–3 的命令、误差、漂移,核对动画、旁白、笔记三处一致;
    • 核对论文图、贴图与片段文件。

配音视频

  • 14 分 10 秒,旧合成地址(EDGE_TTS_LEGACY=1)整篇合成。用 WordBoundary 把 96 句切词查过,改了「右脚跟一步」(切成「脚跟」)、「Twist 2 只用」(「2 只」)、「用官方权重跟」「后处理界面」等粘词;「重定向」在旧地址会切开,旁白改说「映射」;13 处「遥操作」按能量量过静音,超过 120 ms 的一处已改。
  • render.mjs chunk 四段并行渲染 25,506 帧,音视频 850.200 / 850.184 s,全片解码无错。
  • 网页版 -crf 37 压到 17.9 MB,放在笔记 media/,附 540×960 海报;prepare_pages 写入 video_seconds = 850,路线图 TWIST2 节点加 🎬。
  • 033 TWIST 还没有视频,片头不说「上一期」,从 TWIST 的做法讲起;片尾只预告 035 FALCON 的主题。
  • README、AGENTS.md、RELEASE_PLAN 已同步;034 未打勾。

检查

本地构建的笔记页(左上:桌面版十八幕动画;左下:命令浏览器;右:390 宽的配音视频卡片):

TWIST2 笔记页:讲解动画、命令浏览器、配音视频卡片(桌面与 390 宽)


Generated by Claude Code

- 笔记对照 arXiv 2511.02832 的 LaTeX、项目页与官方仓库逐条核查重写,记下代码与论文的出入
- twist2 bundle:十八幕动画(G1 用官方 ONNX 在 MuJoCo 跟官方 PICO 样例的复现渲染,15 段项目页片段、论文图 1–15)
- 三个交互演示:35 维命令浏览器、手和脖子、表 II / III 与图 14
- 配音旁白 twist2.py、片头片尾 twist2.js;测试核对共用的数字

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CMNqo8zjz25w3rMBq74GsR
- 网页版 crf 37 压到 17.9 MB,海报由封面缩到 540×960
- 重跑 prepare_pages:papers.json 记下视频时长与十八幕;路线图节点加 🎬
- AGENTS.md、视频 README 记下体积与渲染参数;演示 1 的说明改正(两台都是灰色贴图)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CMNqo8zjz25w3rMBq74GsR
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CMNqo8zjz25w3rMBq74GsR

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants