最近，据业内人士分析，GPT-H100张可能需要30000-50000张。

摩根士丹利此前曾表示，GPT-5将使用2.5万个GPU，自2月以来已经开始训练，但Sam Altman后澄清GPT-5尚未训练。

然而，Altman此前表示:“我们的GPU非常短缺，使用我们产品的人越少越好。人们使用的越少，我们就会很高兴，因为我们没有足够的GPU。”

在这篇题为《Nvidia H100 GPU：在供需文章中，科技公司对GPU的使用和需求进行了深入分析。

文章推测，小型和大型云提供商的大型H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。

那么，GPU需求真的遇到瓶颈了吗？

各大公司GPU需求约43万张H100

目前，生成式人工智能的爆发还没有放缓，对计算能力提出了更高的要求。

一些初创公司正在使用英伟达昂贵而高性能的H100训练模型。

马斯克说，GPU在这一点上比药物更难获得。

Sam Altman表示，OpenAI受GPU限制，推迟了其短期计划(微调、特殊容量、32k上下文窗口、多模式)。

Karpathy 大型科技公司的年度报告甚至都在讨论与GPU访问相关的问题。

上周，微软发布了年度报告，并向投资者强调，GPU是其云业务快速增长的“关键原材料”。如果不能获得所需的基础设施，数据中心可能会中断风险因素。

据说这篇文章是HK发帖的作者写的。

他猜测OpenAI可能需要5万张H100张，DRAM而Inflection可能需要2.2万张，Meta可能需要2.5万张，而大型云服务提供商可能需要3万张(如Azure)、Google Cloud、AWS、Oracle）。

Lambda、CoreWeave等私有云可能需要10万张。他写道，Anthropic、Helsing、Mistral和character可能需要1万张。

作者表示，这些都是粗略的估计和猜测，其中一些是重复计算云和从云租赁设备的最终客户。

总体而言，全球公司需要大约432000个H100。GPU的总需求是150亿美元，这取决于每个H100大约35000美元。

不包括国内，需要H800等大量互联网公司。

还有一些著名的金融公司，比如Jane Street、JP Morgan、Two Sigma等，每个家庭都在部署，从数百张A00/H100扩展到数千张A100/H100。

包括OpenAI、Anthropic、DeepMind、谷歌，还有X.所有大型实验室，包括ai，都在进行大型语言模型的训练，而英伟达的H100是不可替代的。

GPU并非短缺，而是供应链存在问题

但英伟达的一位高管说，问题不在于 GPU 这些都是短缺 GPU 如何进入市场。

虽然英伟达正在全力生产GPU，但这位高管表示，GPU的生产能力主要受到供应链的限制。

芯片本身可能有足够的产能，但其他部件的产能不足会严重限制GPU的产能。

这些组件的生产取决于世界各地的其他供应商。

然而，需求是可以预测的，因此问题正在逐步解决。

• GPU
• DRAM
• 缺货
• 英伟
• 风暴