卡帕

A PyTorch重新实施GPT培训。MinGPT试图做到小巧、干净、易于解释和有教育意义，因为目前可用的大多数都有点杂乱无章。GPT不是一个复杂的模型，该实现大约有300行代码，包括样板和完全不必要的自定义因果自我关注模块。无论如何，所发生的一切都是将一系列索引放入一系列变压器块中，然后得出下一个索引的概率分布。剩......