用 nanochat 在单 GPU 节点上低成本训练…

当你想以低于 100 美元的成本、在单台 GPU 节点上端到端复现 GPT-2 级模型（分词、预训练、微调、评测、推理、聊天界面）时使用。

适用场景

解决思路

1. 安装：git clone https://github.com/karpathy/nanochat.git 并 cd nanochat；如无 uv 则运行 curl -LsSf https://astral.sh/uv/install.sh | sh；然后 uv sync 并 source .venv/bin/activate。
2. 跑完整 GPT-2 speedrun（8×H100，约 2–3 小时，约 48 美元）：bash runs/speedrun.sh。
3. 分布式预训练：OMP_NUM_THREADS=1 torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- --depth=26 --run="d26_run" --model-tag="d26"。
4. 单 GPU 预训练：python -m scripts.base_train -- --depth=26 --run="d26_single"。
5. 快速研究迭代（约 5 分钟，GPT-1 规模）：torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- --depth=12 --run="d12_exp" --model-tag="d12" --core-metric-every=999999 --sample-every=-1 --save-every=-1。
6. CPU / Apple Silicon 上跑微型模型：bash runs/runcpu.sh。
7. 训练完成后启动聊天 UI：source .venv/bin/activate 后 python -m scripts.chat_web，访问 http://<your-server-ip>:8000/。
8. 命令行聊天：python -m scripts.chat_cli -p "hello"。
9. 跑 scaling law 与 miniseries：bash runs/scaling_laws.sh 和 bash runs/miniseries.sh。
10. 用 --depth 作为唯一复杂度旋钮，其余超参（宽度、头数、学习率、训练时长、权重衰减）自动按 compute-optimal 推导：depth 6–8 为玩具模型（CPU/MPS 可行），12 为 GPT-1 规模（8×H100 约 5 分钟），16 为中等规模（约 15 分钟），24–26 为 GPT-2 规模（约 2 小时、约 48 美元）。
11. 精度/dtype 通过 nanochat/common.py 中的 COMPUTE_DTYPE 显式管理（不用 torch.amp.autocast）：CUDA SM 80+（A100、H100）默认 bfloat16，可用 NANOCHAT_DTYPE=float32 覆盖；CUDA SM < 80（V100、T4）默认 float32，可用 NANOCHAT_DTYPE=float16 覆盖；CPU/MPS 为 float32。
12. 按需强制 dtype：推理用 NANOCHAT_DTYPE=float32 python -m scripts.chat_cli -p "hello"；训练用 NANOCHAT_DTYPE=bfloat16 torchrun --nproc_per_node=8 -m scripts.base_train；float16 训练会自动启用 GradScaler：NANOCHAT_DTYPE=float16 torchrun --nproc_per_node=8 -m scripts.base_train。
13. 理解精度机制：权重以 fp32 存储（优化器精度），自定义 Linear 在前向时转换为 COMPUTE_DTYPE，embedding 直接以 COMPUTE_DTYPE 存储以省显存。
14. 用 Python 加载已训练模型做推理：从 nanochat.gpt 导入 GPT、从 nanochat.engine 导入 InferenceEngine、从 nanochat.checkpoint_manager 导入 CheckpointManager；用 CheckpointManager("checkpoints/d26").load() 得到 model 与 config，model.eval() 后用 InferenceEngine(model).generate(prompt="Once upon a time", max_new_tokens=200, temperature=0.8, top_p=0.95) 生成。
15. 用脚本封装 depth 训练：构造 torchrun --standalone --nproc_per_node={nproc} -m scripts.base_train -- --depth={depth} --run={run_name} --model-tag={run_name} 并通过 subprocess.run 调用，环境变量设 OMP_NUM_THREADS=1。
16. 显存不足时调小 --device_batch_size（默认 32，约需每卡 80GB），梯度累积会自动维持等效总 batch：如 --device_batch_size=16、8、4、2、1。
17. 在 wandb 中监控关键指标：val_bpb（bits-per-byte 验证损失，对词表大小不变，按 step/total_training_time/total_training_flops 观察）、core_metric（DCLM CORE 分数，超过 0.2565 即击败 GPT-2）、train/mfu（模型 FLOPS 利用率）、train/tok_per_sec（训练吞吐）；训练前用 os.environ["WANDB_PROJECT"] 设置项目名。
18. 为 SFT 人格/身份生成合成数据：python dev/gen_synthetic_data.py --output data/identity_sft.jsonl，再按指南混入 SFT 阶段。
19. 研究迭代循环：改 nanochat/ 代码 → 跑 d12 快速验证（带 --core-metric-every=999999 --sample-every=-1 --save-every=-1）→ 看 wandb 的 val_bpb 随 step/time/flops 变化 → 有希望再上 d16 或 d26。
20. H100 上可用 FP8 训练加速（见 runs/speedrun.sh 中的具体调用）。
21. 只评测 CORE 分数：python -m nanochat.core_eval --checkpoint checkpoints/d26/latest。
22. 在 Lambda 或远程机器上服务：训练后 source .venv/bin/activate 并 python -m scripts.chat_web，通过 http://<PUBLIC_IP>:8000/ 访问，用 screen -S nanochat 或 tmux 保持常驻（Ctrl+A, D 分离）。
23. 排障：OOM 时减小 --device_batch_size；单 GPU 比 8 卡慢 8 倍属正常，去掉 torchrun 直接用 python -m scripts.base_train，梯度累积会自动维持等效总 batch；非 CUDA 硬件用 bash runs/runcpu.sh（结果较弱，仅供开发调试）；float16 梯度下溢时 nanochat 会自动启用 GradScaler（注意 RL 脚本不支持 float16，SFT 与 base_train 支持）；V100/T4（SM < 80）无 bf16，默认回退 float32，可选 NANOCHAT_DTYPE=float16；聊天 UI 打不开时确认云厂商防火墙/安全组已放行 8000 端口，并用公网 IP 而非 localhost 访问。

适用边界 · 注意事项

• 没有 GPU 节点或预算极低时不适合做完整 GPT-2 级训练；CPU/MPS 只能跑玩具模型，结果较弱，仅供开发调试。
• RL 脚本不支持 float16 精度（SFT 与 base_train 支持）。
• V100/T4 等 SM < 80 的卡不支持 bfloat16，需回退 float32 或改用 float16。