Andrejej，前特斯拉AI总监，现回归OpenAI的AI大神 8月3日，Karpathy转发了一篇广为流传的博客文章。本文讨论了英伟达GPU的短缺，认为小型和大型云供应商的大型H100集群正在耗尽；培训大型语言模型的初创企业、云服务提供商和其他大公司需要超过1000个H100或A100，对大型开源模型进行重大微调的初创公司需要超过100张H100或A100；预测H100短缺可能持续到2024年。

本文预测GPT-4可能在1万到2.5万张A100上训练，Meta有2.1万张A100张左右，特斯拉有7万张A100张左右，半导体存Stability AI拥有大约5000张A100张，Falcon-40B在384张A100上训练。Inflection在其GPT-3.5等效模型中使用了3500张H100。GPT-H100张可能需要30000-50000张。H100，GCP约25000张。H1000-40000张微软Azure可能有类似的Oracle。约35000-40000张H100张CoreWeave预订。

在H100的需求方面，OpenAI可能需要5万张，Inflection可能需要2.2万张，Meta可能需要2.5万张(有人说Meta实际上想要10万张甚至更多)。每个大型云可能需要30000张（Azure、谷歌、AWS、Oracle）。Lambda、CoreWeave等私有云可能需要10万张。Anthropic、Helsing、Mistral、Character，每个家庭可能需要1万张。

• DRAM
• AI
• 人工智能
• GPT-5
• 内测