Repository navigation
feat(HOMIE): 重写详情笔记,新增十七幕讲解动画、三个交互演示与配音视频 - #650
Merged
Merged
Conversation
- 笔记对照 arXiv v2 LaTeX 与 OpenHomie 代码逐条核查重写,列出论文与代码的出入 - 十七幕动画:G1 用官方 deploy.onnx 在 MuJoCo 里的回放做 3D 贴图,嵌入项目页片段 - 三个演示:上身姿态课程、r_knee 计算器、表 I–V 与回放统计 - 配音旁白与片头片尾、测试、路线图 🎬、文档与发布清单(视频文件随后提交) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
- 笔记 media/ 加入网页版视频(17.1 MB)与海报,填上时长与体积 - 重新生成 papers.json(video_seconds 889、十七幕) - 视频 README、AGENTS.md 记下渲染与压缩参数 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
- 课程与 r_knee 两个演示的 Canvas 轴名被裁掉,加大上、下、左边距;横轴名去掉下划线 - .github/pr-assets/pr-homie-page.png:本地 Jekyll 构建 + nh3 消毒后的笔记页(桌面与 390 宽) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
- 片头接 HugWBC 片尾预告,同一实验室、RSS 念成「R S S」 - 第 3、5、6、7、9、10、12、13、15、16 幕的图表在画面上和旁白里都补上读法 - 表号改用中文数字念、字幕换回罗马数字;避开多音字与单字列举 - 第 15 幕数值标签加描边底、挪开压线的标注;第 7 幕游标移到格子后面 - 要点卡片不再单字成行,数字与单位之间用不换行空格 - 笔记记下官方 MujocoDeploy 配置与我们回放的出入 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
四段并行重渲 28,789 帧,音视频 959.62 / 959.63 s;全片 check_layout 无重叠,封面无重叠。 同步更新播放器、笔记下载按钮、AGENTS.md、视频 README 与发布计划里的时长和大小。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
看片反馈「右边只动手臂的示意图看不懂」:两条半透明色带换成两台 G1 的 MuJoCo 回放(官方 deploy.onnx)。 同样往前下方伸手,中间一台站着、右边一台再蹲到 0.40 m;货架按同一比例画,虚线跟着双手可视网格的最低点: 站着 0.53 m 够不到最低一层,蹲下 0.20 m 够得到(带手 G1 模型按回放关节角做正运动学,嵌进 HAND)。 新增两张贴图表(40 帧),旁白改这一句;测试核对两段手臂目标一致、只差高度命令,以及 0.53 / 0.20 m。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
视频里前几段旁白比分镜长,clock − 7.0 会多出十几秒,一出场就已经蹲完;改用 K.clipSince 按时间线算。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
看片反馈:上肢大幅摆动时拇指被卡住,整只手卡住再弹回零位。训练用的 g1.urdf 只有两只脚带碰撞体, 回放用的 g1.xml 全身都有,拇指勾在髋上、手腕增益又小。改成只留脚的碰撞(上身关节最大落后目标 1.89 → 0.39 rad), 手臂下垂与伸手的姿势往外张一点、课程随机摆上身挑了手臂不穿进身体的种子,七段回放、七张贴图、 200 段评测与对称分析全部重跑,动画、旁白、笔记与测试的数字跟着改。 「论文图 1 就」「表一把」的「一」被当成数词变调(基频和「图移就」一样),改成「再看论文的图一:」「先看表一:」; 新增 tone_cmp.py,用同位置的同音参考字比基频曲线。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
第 1、2、5、7、8、10–13、16、17 幕以文字为主的面板换成动画(cockpitRig / flowSeg / squareGrid / dial / flipCard), 小点不从字上划过;要点框超过两行的四条删短;无障碍描述跟着更新。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
「操作员遥操作宇树 G1」的「遥」后面断了 150 ms;全篇 WordBoundary 切词对照 jieba 参考切分, 28 句改了 29 处说法(离操|作员、遥操|作留、穿同|构外|骨骼、取绝|对值、逆运|动学等)。 render.mjs 的 clip 模式也用各自的 built html,几段可以并行渲染。网页版视频暂未重渲。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
飞轮卡片挪到圆环外,小点沿整圈连续走、经过的卡片亮一下(原先一圈里 84% 的时间藏在卡片后面)。 since() 在视频里改用 K.clipSince:原先用 clock − cue,第 10、12、16 幕的 200 格、15 个手指点、 示范 50 / 50 在那一段一开始就已经满了。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
竖线挪到新的 ρ' → 绿条从默认角伸出 → 黄点走到 a_i,每 2 s 一次;条上标 ρ'、a_i, 画面加两行读法(两端是上下限、两边按比例画),旁白跟着念一遍。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
发布清单 032。照 HOVER / MaskedMimic 的做法做 HOMIE(arXiv 2502.13013 v2,RSS 2025)。
笔记
main,2026-09-08)逐条核查重写;动画之后的正文按 AGENTS.md 折叠。MujocoDeploy/g1.yaml用的是policy.pt,和我们回放用的deploy.onnx设置不同。deploy.onnx是按部署增益训的(依据:按训练配置的增益跑,会比命令多蹲约 5 cm)。deploy.onnx的回放(sim-to-sim,不是论文的实验)。动画与演示(
assets/js/demos/homie.js)assets/img/papers/homie/g1_3d/,约 2.2 MB);EXPLAINER_BUNDLES/EXPLAINER_SCENES加入homie;新增两个测试:配音视频
EDGE_TTS_LEGACY=1)合成。halo()),第 7 幕游标移到格子后面。render.mjs chunk四段并行重渲 28,789 帧。音视频 959.62 / 959.63 s,全片解码无错。-crf 37压到 18.4 MB,附 540×960 海报。prepare_pages写入video_seconds = 959,路线图 HOMIE 节点有 🎬。检查
check_layout.mjs homie story/story near/ 整片 /cover:都是 no overlap。python3 -m pytest:317 passed;ruff check scripts/ tests/:通过。frame-ancestors提示。本地构建的笔记页(左:桌面版第 6 幕与配音视频播放器;中:上身姿态课程与$r_{knee}$ 计算器;右:390 宽的动画与表 I;截图是自检前的版本,布局未变):
🤖 Generated with Claude Code
https://claude.ai/code/session_01EteLFnvBKa4E5mp5E51wW8