CI: replace explicit example skips with hermetic smoke tests

[richardoo-707]

Context

Several example directories had empty test_ci.sh files. Bash exits successfully for an empty script, so PR and scheduled example checks reported green without running a test.

The empty-script fix adds real smoke tests where the examples can run deterministically. The following examples remain explicitly skipped until they can satisfy the same contract:

• examples/language/deepseek: even the tiny configuration eagerly calls AutoConfig.from_pretrained(..., trust_remote_code=True), making CI depend on network access, the Hugging Face cache, and remote code.
• examples/community/roberta: the example requires external preprocessed data, tokenizer/config assets, multi-host setup, and legacy ColossalAI APIs.
• examples/inference/benchmark_ops: the entry points are full performance grids with warmups/repetitions and do not expose a bounded correctness-oriented smoke mode.

Acceptance criteria

• Each skipped directory has a deterministic smoke command that performs meaningful work and fails on regressions.
• The smoke test does not download model weights, datasets, tokenizers, or executable remote code.
• It runs in the example CI image and completes within five minutes on at most two GPUs.
• It uses synthetic/local fixtures and returns non-zero when the example is broken.
• Replace the corresponding explicit SKIP script with the smoke command.

Until these conditions are met, CI must print an explicit warning linked to this issue instead of silently succeeding.

[ka-snap1]

你好，我想要认领这个issue，能否分配给我？我目前计划按三个子目录分阶段处理：
examples/inference/benchmark_ops

1. 增加一个有界的、面向正确性的 smoke 模式，而不是运行完整 benchmark grid。
2. 使用较小的 synthetic tensor，并尽量与 PyTorch / reference implementation 做结果对比。
3. 缩小 warmup / repeat，确保出现回归时脚本能返回非零退出码。

examples/language/deepseek

1. 去掉 smoke test 对 AutoConfig.from_pretrained(..., trust_remote_code=True) 的依赖。
2. 使用本地 tiny config 和合成输入，避免依赖网络、HF cache、模型权重、tokenizer 或远程代码。
3. 运行一个最小的 forward / backward 流程，确保能够覆盖实际的 ColossalAI 路径。

examples/community/roberta

1. 先梳理当前 legacy API、外部数据和 tokenizer 等依赖。
2. 尽量替换为本地 fixture / synthetic batch，并将流程缩减为单机、最多 1～2 张 GPU 的 smoke test。
3. 测试会覆盖有意义的模型或训练逻辑，而不是只检查 import 或初始化。

整体上我会保证测试是 deterministic、offline、5 分钟内完成，并且真实回归能够导致 test_ci.sh 失败。
我打算先从相对独立的 benchmark_ops 开始。

如果可以的话，我想确认一下：这三个 example 是否可以拆成三个 PR 分别提交？

[richardoo-707]

感谢您的关注！目前这个issue我已经完成了修复处理，在等待测试合并，感谢您的支持！

…

On Fri, Sep 25, 2026 at 10:36 PM jie he ***@***.***> wrote: *ka-snap1* left a comment (hpcaitech/ColossalAI#6453) <#6453 (comment)> 你好，我想要认领这个issue，能否分配给我？我目前计划按三个子目录分阶段处理： examples/inference/benchmark_ops 1. 增加一个有界的、面向正确性的 smoke 模式，而不是运行完整 benchmark grid。 2. 使用较小的 synthetic tensor，并尽量与 PyTorch / reference implementation 做结果对比。 3. 缩小 warmup / repeat，确保出现回归时脚本能返回非零退出码。 examples/language/deepseek 1. 去掉 smoke test 对 AutoConfig.from_pretrained(..., trust_remote_code=True) 的依赖。 2. 使用本地 tiny config 和合成输入，避免依赖网络、HF cache、模型权重、tokenizer 或远程代码。 3. 运行一个最小的 forward / backward 流程，确保能够覆盖实际的 ColossalAI 路径。 examples/community/roberta 1. 先梳理当前 legacy API、外部数据和 tokenizer 等依赖。 2. 尽量替换为本地 fixture / synthetic batch，并将流程缩减为单机、最多 1～2 张 GPU 的 smoke test。 3. 测试会覆盖有意义的模型或训练逻辑，而不是只检查 import 或初始化。 整体上我会保证测试是 deterministic、offline、5 分钟内完成，并且真实回归能够导致 test_ci.sh 失败。 我打算先从相对独立的 benchmark_ops 开始。 如果可以的话，我想确认一下：这三个 example 是否可以拆成三个 PR 分别提交？ — Reply to this email directly, view it on GitHub <#6453?email_source=notifications&email_token=B32N6EAPD6NYTLCVDKR2MOL5QZ7IVA5CNFSNUABFM5UWIORPF5TWS5BNNB2WEL2JONZXKZKDN5WW2ZLOOQXTKOBTGQYTSNRZGE32M4TFMFZW63VGMF2XI2DPOKSWK5TFNZ2KYZTPN52GK4S7MNWGSY3L#issuecomment-5834196917>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/B32N6EDPJV5MHTETB6EKFTL5QZ7IVAVCNFSNUABFKJSXA33TNF2G64TZHM2DEMRSG42DKOJWHNEXG43VMU5TKNJXG42TSNJUGY32C5QC> . Triage notifications, keep track of coding agent tasks and review pull requests on the go with GitHub Mobile for iOS <https://github.com/notifications/mobile/ios/B32N6EEM3GNEUR4AG3YXPKD5QZ7IVA5CNFSNUABFM5UWIORPF5TWS5BNNB2WEL2JONZXKZKDN5WW2ZLOOQXTKOBTGQYTSNRZGE32M4TFMFZW63VGMF2XI2DPOKSWK5TFNZ2KUZTPN52GK4S7NFXXG> and Android <https://github.com/notifications/mobile/android/B32N6ECOZ7OWCJZBQKF3J3T5QZ7IVA5CNFSNUABFM5UWIORPF5TWS5BNNB2WEL2JONZXKZKDN5WW2ZLOOQXTKOBTGQYTSNRZGE32M4TFMFZW63VGMF2XI2DPOKSWK5TFNZ2K4ZTPN52GK4S7MFXGI4TPNFSA>. Download it today! You are receiving this because you authored the thread.Message ID: ***@***.***>

[richardoo-707]

你好，我想要认领这个问题，能否给我分配？我目前计划按三个子目录分阶段处理： examples/inference/benchmark_ops

1. 增加一个有界的、正确面向性的烟雾模式，而不是运行完整的基准网格。
2. 使用较小的合成张量，并尝试与 PyTorch / 参考实现做结果对比。
3. 缩小热身/重复，确保出现回归时脚本能返回非零退出码。

示例/语言/深度搜索

1. 去掉冒烟测试对 AutoConfig.from_pretrained(..., trust_remote_code=True) 的依赖。
2. 使用本地tiny config和合成输入，避免依赖网络、HF缓存、模型权重、tokenizer或远程代码。
3. 运行一个最小的前进/后退流程，确保能够覆盖实际的ColossalAI路径。

examples/community/roberta

1. 先下载当前遗留 API、外部数据和 tokenizer 等依赖。
2. 尽量替换为本地固定装置/合成批次，将流程缩减为单机、最多1～2张GPU的冒烟测试。
3. 会测试覆盖有意义的模型或逻辑，而不仅仅是检查导入或初始化。

整体上我会保证测试是确定性的、离线的、5分钟内完成，并且真实的回归可能导致test_ci.sh失败。 我打算先从相对独立的 benchmark_ops 开始。

如果可以的话，我想确认一下：这三个例子是否可以拆成三个PR分别提交？

您好，我这个已经完成了修复，目前在等待测试合并，非常感谢您的关注