前特斯拉AI总监、现回归OpenAI的AI大神Andrej Karpathy在8月3日转发了一篇广为流传的博客文章。这篇文章探讨了英伟达GPU的短缺情况，认为小型和大型云供应商的大规模H100集群的容量正在耗尽；训练大型语言模型的初创企业、云服务供应商及其他大公司需要拥有超过1000张H100或A100，对大型开源模型进行重大微调的初创公司需要拥有超过100张H100或A100；预测H100短缺情况可能会持续到2024年。 该文章预测GPT-4可能在10000到25000张A100上进行了训练