采用简单、纯 C/CUDA 的法学硕士培训。不需要 245MB 的 PyTorch 或 107MB 的 cPython。训练 GPT-2（CPU、fp32）需要在单个文件train_gpt2.c中编写约 1,000 行干净代码，而在 GPU 上训练则需要约 2,000 行（添加 CUDA 内核）在train_gpt2.cu中。代码立即编译并运行，它与 PyTorch 参考实现完全匹配，并且与（编译的）PyTorch 的速度匹配（fp32，无闪存注意）。选择 GPT-2 作为第一个工作示例，因为它是法学硕士的鼻祖，也是现代堆栈的第一次组合。
开源地址：https://github.com/karpathy/llm.c