英伟达H100海外租金大降 但说“算力泡沫破裂”为时过早
稀土掘金
发表于 2024-10-24 21:16:20
165
0
0
此前美国一家AI推理服务供应商Featherless.AI的联合创始人Eugene Cheah撰文表示,最近频繁收到算力租赁商的广告邮件,称单张英伟达H100 GPU的租赁价格降至大约2美元/小时,甚至更低,相比2023年5美元/小时左右的市场均价几近腰斩。
去年时,英伟达曾预测,4美元/小时的GPU价格会在4年内保持不变,但不到1年半就走向了降价。
Eugene Cheah在文中称,像AWS、Meta、谷歌这样的大型与中型AI模型公司,已通过长期租赁榨取了算力价值。眼下,除非是要建立大型智算集群的公司,否则不要购买全新的H100,“租算力”是更经济适用的选择。
市场普遍认同H100海外降价的趋势,但认为“2美元/小时”,甚至“1美元/小时”,主要是Lambda Labs等个别初创算力租赁公司为吸引客户搞促销,不能反映市场平均价格水平。
界面新闻记者浏览亚马逊AWS云服务平台官网时发现,按照短租和长租不同条件,以一台服务器8张GPU换算下来,H100的最新价格有12美元/小时(按一年长租签约)、5美元/小时(按三年长租签约)两种不同的档位。另一家云厂商谷歌云类似产品的价格也在10美元上下。
国内一位从事AI算力租赁业务的行业人士告诉界面新闻记者,海外H100降价的逻辑很容易理解——随着英伟达的GPU新品H200、B200今年陆续开始上市,新品性能更强,平均算下来H100算力成本相对更低,原来的旧产品自然需要降价,差别只在于降价幅度和速度。据他了解,5到8美元/小时,更能代表目前海外主流平台的价格水平,也符合英伟达此前预测的产品价格走势。
英伟达的新品近期开始上市供货后,市场反响依然热烈。
该公司CEO黄仁勋本月在参加一场研讨会时透露,B200 GPU近期开始量产交货后备受客户青睐,未来12个月的Blackwell架构GPU订单已全部售罄,任何新客户需要等到2025年才能收到产品。
“国内的情况与海外不同,因为英伟达高端显卡禁售,很难拿新品,走的是另一条不同的路。”上述人士认为,海外降价对国内几乎没有影响,现阶段,国内算力租赁市场最大的问题仍在于供需失衡,“国内算力资源极度分散,大多时候都是卖家找不到买家,买家也找不到卖家。”
之所以如此,是因为国内目前算力资源总供给有限,无法做到按需分配。
据界面新闻记者了解,国内用于训练AI模型的算力资源,除了AI GPU H100、A100之外,还有英伟达的消费GPU产品4090,以及不同厂商的国产AI算力。
同时,国内从事算力租赁的公司混杂,产品服务与价格缺乏统一标准,少有像海外的AWS、谷歌云那样,可以向客户提供标准化租赁服务的公司。
另有多位市场人士向界面新闻记者表示,国内算力资源租赁的服务器价格今年确有波动。一台H100服务器,年初的市场报价在12万元/年左右,现在的市价大概在7万元。
一家曾参与国内某地方政府建设智算中心的科技公司CEO提到,由于字节跳动、阿里、腾讯这些互联网巨头掌握的算力资源主要供自家大模型使用,很少能面向公开市场提供租赁服务。现在市场上绝大多数从事算力租赁的厂商都是在卖服务器硬件,无法做到像过去的云计算厂商一样,提供标准服务、统一定价。
“这些算力租赁服务商大多数是因去年算力需求暴涨囤了一定量的AI服务器现货,然后把算力硬件当作‘期货’炒。为了保证硬件回本,他们极少有能真正按小时计价来灵活地提供服务,许多订单都要按1年甚至更长时间起租,折算下来是一笔不小的成本。”这位CEO认为,国内市场降价主要影响的是这批“投机客”,他们手中的硬件资产在贬值。
另据两位AI服务器的销售人员透露,目前国内非公开渠道流通的少量H100服务器,现货每台价格在240万元-250万元上下,相比去年近300万元的售价有所下跌。
在上述科技公司CEO看来,仅通过H100的价格浮动就预言“算力泡沫破裂”为时尚早。
就供给而言,与Meta、微软、特斯拉这样已拥有数十万张H100 GPU,且仍继续加大采购的海外算力巨头相比,国内算力总量有限,各地仍在加紧投入建设智算中心。政府今年对算力建设的投入方向仍是主张“适度超前”来增加供给。
而从需求角度看,无论是AI大模型训练还是推理,以及支持传统企业通过AI探索业务转型,先进的算力资源始终是市场上的“抢手货”。
“市场上真正有资源、有实力建设算力中心的客户还是极少数,今年接触的大量客户对于平价、稳定且按需调用的算力还是极度渴求。”该CEO说道。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
You may like
- 英伟达、微软、谷歌等科技巨头纷纷布局 2025年将成为AI代理元年?
- 2024年美股盘点: 最大“黑马”年涨幅741%,英伟达四季度遭逆袭,微软垫底“七巨头”,机构警告AI泡沫
- “股神”巴菲特再出手!这家公司获增持 利润率比肩英伟达
- 英伟达下一个增长点?明年上半年计划推出人形机器人Jetson Thor
- 英伟达最新表态!机器人“ChatGPT时刻”即将到来 押注下一个增长动力
- 多国反垄断机构“盯上”英伟达
- 英伟达明年上半年或推机器人“大脑”,今年以来公司股价增幅超176%
- 英伟达计划明年上半年发布新一代人形机器人计算平台,支持多模态AI模型
- 知名投资人:英伟达正在“印钱” AI机遇无穷无尽!
- 美股成交额前20:英伟达年涨幅超过170% 获得Wedbush继续看好