Skip to content

feat(HOMIE): 重写详情笔记,新增十七幕讲解动画、三个交互演示与配音视频 - #650

Merged
ImChong merged 16 commits into
mainfrom
claude/homie-details-animation-video
Oct 22, 2026
Merged

ImChong merged 16 commits into
mainfrom
claude/homie-details-animation-video

Conversation

@ImChong

@ImChong ImChong commented Oct 19, 2026 •

Copy link
Copy Markdown
Owner

发布清单 032。照 HOVER / MaskedMimic 的做法做 HOMIE(arXiv 2502.13013 v2,RSS 2025)。

笔记

  • 对照 arXiv v2 的 LaTeX 源码与官方 InternRobotics/OpenHomie(main,2026-09-08)逐条核查重写;动画之后的正文按 AGENTS.md 折叠。
  • 「论文与代码」单列十几处出入:
    • 命令 4 维(多了 $v_y$);
    • 蹲 / 站 / 走的比例是 1/3 / 1/6 / 1/2;
    • 课程系数是 $\lambda = 20(1-0.99\rho_a)$;
    • 7 项奖励只在站着时才算;
    • 对称损失的写法、摩擦范围;
    • 部署增益比训练配置大、部署时偏航命令的缩放是 0.25;
    • 官方 MujocoDeploy/g1.yaml 用的是 policy.pt,和我们回放用的 deploy.onnx 设置不同。
  • 改正旧版:
    • 观测叠的是 6 步,不是 5 步;
    • 图 1 有 (a)–(i) 九个任务;
    • 表 VI 是 33 项奖励;
    • 数据增强和对称损失是两件事;
    • 「快 200%」论文里没有,删去。
  • 标成推测的:
    • $r_{knee}$ 正文对奖励方向的描述和公式相反,判断是笔误(用两帧回放算给读者看);
    • 表 VIII 的 $[-0.24, 0.74]$ 是笔误;
    • deploy.onnx 是按部署增益训的(依据:按训练配置的增益跑,会比命令多蹲约 5 cm)。
  • 「🚶 具体实例」11 节。G1 的动作是我们在 MuJoCo 里跑官方 deploy.onnx 的回放(sim-to-sim,不是论文的实验)。

动画与演示(assets/js/demos/homie.js)

  • 十七幕讲解动画:
    • G1 是五段回放的 3D 贴图(Robot_Retarget_Online 的材质,assets/img/papers/homie/g1_3d/,约 2.2 MB);
    • 用了论文图 1、2、5–9、17、20 的裁剪;
    • 第 2、10–12、14–16 幕嵌入 13 段项目页视频片段(项目页写明是原速,约 1.6 MB)。
  • 三个交互演示:上身姿态课程(可切论文 / 代码两种写法)、$r_{knee}$ 计算器、表 I–V / 图 11 / 表 X 与我们的回放统计。
  • 测试:EXPLAINER_BUNDLES / EXPLAINER_SCENES 加入 homie;新增两个测试:
    • 解码嵌入的回放,用 Python 重算 $r_{knee}$、课程均值、镜像动作等,核对动画、旁白、笔记三处一致;
    • 核对贴图尺寸、论文图与片段文件。

配音视频

  • 15 分 59 秒,旧合成地址(EDGE_TTS_LEGACY=1)合成。
  • 2026-10-21 合并 main(HugWBC、ExBody2)后,照 HugWBC 的看片反馈全篇自检,91 段旁白改了 34 段:
    • 片头改接 HugWBC 的片尾预告。「和上一期的干预训练是一个思路」是我们的看法,旁白里说「在我们看来」。
    • 每张图表在画面上补一行「读法」,旁白在图第一次出现时念出来(第 3、5、6、9、10、12、13、15、16 幕)。
    • 表号念中文数字、字幕换回罗马数字;RSS 写成「R S S」。
    • 用 WordBoundary 全篇切词,改掉单独成词的多音字与跨词切错。数字没有被并成一个,「遥操作」的停顿都在 75 ms 以内。
    • 按每个词的音量查出「站得稳、走得动」几乎没声音,改说「都能站稳,也能正常走路」。
    • 第 15 幕压在网格线上的数字描一圈底色(halo()),第 7 幕游标移到格子后面。
    • 要点框不再有单字成行,数字和单位之间用不换行空格。
    • 两处事实改正:第 3 幕 ACE 的手靠视觉跟踪,第 13 幕 OpenTeleVision 用的是 M2 芯片、不是显卡。
  • render.mjs chunk 四段并行重渲 28,789 帧。音视频 959.62 / 959.63 s,全片解码无错。
  • 网页版 -crf 37 压到 18.4 MB,附 540×960 海报。prepare_pages 写入 video_seconds = 959,路线图 HOMIE 节点有 🎬。
  • 片尾只预告 033 TWIST 的主题。README、AGENTS.md、RELEASE_PLAN 已同步;032 仍未打勾。

检查

  • check_layout.mjs homie story / story near / 整片 / cover:都是 no overlap。
  • python3 -m pytest:317 passed;ruff check scripts/ tests/:通过。
  • 本地站点:Jekyll 构建 + nh3 消毒后打开笔记页。控制台只有一条全站共有的 CSP frame-ancestors 提示。

本地构建的笔记页(左:桌面版第 6 幕与配音视频播放器;中:上身姿态课程与 $r_{knee}$ 计算器;右:390 宽的动画与表 I;截图是自检前的版本,布局未变):

HOMIE 笔记页:讲解动画、视频播放器、三个交互演示(桌面与 390 宽)

🤖 Generated with Claude Code

https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8

- 笔记对照 arXiv v2 LaTeX 与 OpenHomie 代码逐条核查重写,列出论文与代码的出入
- 十七幕动画:G1 用官方 deploy.onnx 在 MuJoCo 里的回放做 3D 贴图,嵌入项目页片段
- 三个演示:上身姿态课程、r_knee 计算器、表 I–V 与回放统计
- 配音旁白与片头片尾、测试、路线图 🎬、文档与发布清单(视频文件随后提交)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
- 笔记 media/ 加入网页版视频(17.1 MB)与海报,填上时长与体积
- 重新生成 papers.json(video_seconds 889、十七幕)
- 视频 README、AGENTS.md 记下渲染与压缩参数

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
- 课程与 r_knee 两个演示的 Canvas 轴名被裁掉,加大上、下、左边距;横轴名去掉下划线
- .github/pr-assets/pr-homie-page.png:本地 Jekyll 构建 + nh3 消毒后的笔记页(桌面与 390 宽)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
claude added 12 commits October 21, 2026 12:24
- 片头接 HugWBC 片尾预告,同一实验室、RSS 念成「R S S」
- 第 3、5、6、7、9、10、12、13、15、16 幕的图表在画面上和旁白里都补上读法
- 表号改用中文数字念、字幕换回罗马数字;避开多音字与单字列举
- 第 15 幕数值标签加描边底、挪开压线的标注;第 7 幕游标移到格子后面
- 要点卡片不再单字成行,数字与单位之间用不换行空格
- 笔记记下官方 MujocoDeploy 配置与我们回放的出入

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
四段并行重渲 28,789 帧,音视频 959.62 / 959.63 s;全片 check_layout 无重叠,封面无重叠。
同步更新播放器、笔记下载按钮、AGENTS.md、视频 README 与发布计划里的时长和大小。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
看片反馈「右边只动手臂的示意图看不懂」:两条半透明色带换成两台 G1 的 MuJoCo 回放(官方 deploy.onnx)。
同样往前下方伸手,中间一台站着、右边一台再蹲到 0.40 m;货架按同一比例画,虚线跟着双手可视网格的最低点:
站着 0.53 m 够不到最低一层,蹲下 0.20 m 够得到(带手 G1 模型按回放关节角做正运动学,嵌进 HAND)。
新增两张贴图表(40 帧),旁白改这一句;测试核对两段手臂目标一致、只差高度命令,以及 0.53 / 0.20 m。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
视频里前几段旁白比分镜长,clock − 7.0 会多出十几秒,一出场就已经蹲完;改用 K.clipSince 按时间线算。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
看片反馈:上肢大幅摆动时拇指被卡住,整只手卡住再弹回零位。训练用的 g1.urdf 只有两只脚带碰撞体,
回放用的 g1.xml 全身都有,拇指勾在髋上、手腕增益又小。改成只留脚的碰撞(上身关节最大落后目标 1.89 → 0.39 rad),
手臂下垂与伸手的姿势往外张一点、课程随机摆上身挑了手臂不穿进身体的种子,七段回放、七张贴图、
200 段评测与对称分析全部重跑,动画、旁白、笔记与测试的数字跟着改。

「论文图 1 就」「表一把」的「一」被当成数词变调(基频和「图移就」一样),改成「再看论文的图一:」「先看表一:」;
新增 tone_cmp.py,用同位置的同音参考字比基频曲线。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
第 1、2、5、7、8、10–13、16、17 幕以文字为主的面板换成动画(cockpitRig / flowSeg / squareGrid / dial / flipCard),
小点不从字上划过;要点框超过两行的四条删短;无障碍描述跟着更新。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
「操作员遥操作宇树 G1」的「遥」后面断了 150 ms;全篇 WordBoundary 切词对照 jieba 参考切分,
28 句改了 29 处说法(离操|作员、遥操|作留、穿同|构外|骨骼、取绝|对值、逆运|动学等)。
render.mjs 的 clip 模式也用各自的 built html,几段可以并行渲染。网页版视频暂未重渲。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
飞轮卡片挪到圆环外,小点沿整圈连续走、经过的卡片亮一下(原先一圈里 84% 的时间藏在卡片后面)。
since() 在视频里改用 K.clipSince:原先用 clock − cue,第 10、12、16 幕的 200 格、15 个手指点、
示范 50 / 50 在那一段一开始就已经满了。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
竖线挪到新的 ρ' → 绿条从默认角伸出 → 黄点走到 a_i,每 2 s 一次;条上标 ρ'、a_i,
画面加两行读法(两端是上下限、两边按比例画),旁白跟着念一遍。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
@ImChong
ImChong merged commit 2ade1cd into main Oct 22, 2026
1 check passed
@ImChong
ImChong deleted the claude/homie-details-animation-video branch October 22, 2026 11:51
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants