据Andrej Karpathy在推特上透露，通过启用FP8训练，GPT-2模型的训练时间提升了4.3%，在8块H100 GPU上已缩短至2.91小时，按现行云端价格，完整复现GPT-2训练仅需约20美元。相比2019年OpenAI首次发布时的高昂成本和敏感性，GPT-2现已成为低门槛实验平台。Karpathy指出，FP8训练虽在理论上具备2倍FLOPS优势，但实际应用中支持有限且效率提升未达预期，张量级别缩放实现约7.3%加速。此外，torchao曾报告Llama3-8B模型FP8训练加速达25%。Karpathy介绍，借助Flash Attention 3和Muon优化器等创新，GPT-2训练成本七年间降至原来的1/600，为AI创业团队和研究者带来低成本、快速原型验证的新机遇。据Karpathy介绍，nanochat等开源项目正持续通过优化推动大模型训练门槛的大幅降低，助推行业创新。