微软被曝正自研AI大模型:5000亿个参数 与谷歌和OpenAI竞争
MPA
发表于 2024-5-7 14:42:52
168
0
0
当地时间5月6日,据外媒报道,微软正在研发一款名为MAI-1的最新AI大模型,其规模远超出微软此前推出的一些开源模型,在性能上或能与谷歌的Gemini 1.5、Anthropic的Claude 3和OpenAI的GPT-4等知名大模型相匹敌。微软或将在5月21日开始举办的Build开发者大会上演示这款新模型。
据报道,MAI-1的开发由前谷歌AI领导人、曾担任AI初创公司Inflection首席执行官的穆斯塔法·苏莱曼(Mustafa Suleyman)领导。就在今年3月,刚刚领投完Infection的最新一轮融资,微软便从Infection挖走了包括苏莱曼在内的两位联合创始人以及部分员工。有知情人士透露,微软为此向Infection支付了超过6.5亿美元。
尽管MAI-1可能借鉴了Inflection旗下模型的部分技术,有微软员工表示,MAI-1是一款全新的大语言模型,拥有约5000亿个参数,远超微软此前训练的任何开源模型。不到一个月前,微软刚推出了一款名为Phi-3的小型AI模型,其中Phi-3 mini被优化至可部署在手机上,拥有38亿参数,经过3.3万亿token的训练,微软称其性能与GPT-3.5等模型相当。
相比之下,MAI-1的规模要大得多,也需要更多的算力投入和训练数据。为了训练该模型,微软已经配置了大量包含英伟达GPU的服务器集群,并从各类来源收集训练数据,包括由OpenAI的GPT-4生成的文本和公共互联网数据。这或将使MAI-1与OpenAI的GPT-4处于相似的水平,据传后者拥有超过1万亿个参数。
Phi系列模型和MAI-1的研发体现出微软或在AI领域采取了双重策略,一边为移动设备开发小型本地模型,一边开发由云端支持的更大规模的模型。不过,即使在微软内部,MAI-1的确切用途也尚未得到确认。
更重要的是,MAI-1体现出微软并不希望在AI领域完全依附于合作伙伴OpenAI的技术。来自OpenAI的技术正在驱动微软的各类生成式AI功能,包括集成在Windows中的聊天机器人。此前,有来自微软AI平台团队的员工抱怨称,公司的AI战略过于关注与OpenAI的合作关系,使得微软对AI原创研究的预算减少。
6日当天,微软首席技术官凯文·斯科特(Kevin Scott)在领英上发帖,间接回应了关于MAI-1的报道。他表示,OpenAI使用微软构建的超级计算机来训练AI模型,而微软的研究部门和产品团队也在构建AI模型:“AI模型几乎出现在我们的每一项产品、服务和运营流程中,制作和运营它们的团队有时需要做一些自定义工作,无论是从头开始训练一个模型,还是微调别人构建的模型。未来将会有更多这样的情况,其中一些模型的名字包括图灵(Turing)和MAI。”
为了实现在AI方面的突破,微软也在大力囤积算力资源。4月初,有报道称微软计划到今年年底前囤积180万块AI芯片,意味着公司希望在2024年内将所持有的GPU数量增加两倍。据知情人士透露,从2024财年到2027财年(到2027年6月30日结束),微软预计将在GPU和数据中心上花费约1000亿美元。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
You may like
- 李彦宏:文心大模型日均调用量超15亿 较一年前增长30倍
- 李彦宏:文心大模型の1日平均使用量が15億を超え、1年前より30倍増加
- 微软AI CEO苏莱曼清华演讲:AI应致力于解决最重大的社会挑战
- DeepMind开源生物分子预测模型 诺奖成果将掀起AI制药浪潮?
- 百度李彦宏:过去24个月,AI行业最大变化是大模型基本消除了幻觉
- 「AI新世代」大模型厂商齐“卷”智能体,李彦宏称将迎来“靠想法就能赚钱时代”
- 李彦宏说大模型幻觉基本消除了 实测文心一言到底怎么样?
- 百度发布两款“超级有用”应用,李彦宏:大模型变得可用可信
- 美国“反垄断一姐”抓紧任期最后时刻 追查微软的云计算业务
- FTC计划对微软云计算业务反竞争行为展开调查
-
11월 14일, 세계예선 아시아지역 제3단계 C조 제5라운드, 중국남자축구는 바레인남자축구와 원정경기를 가졌다.축구 국가대표팀은 바레인을 1-0으로 꺾고 예선 2연승을 거두었다. 특히 이번 경기 국내 유일한 중계 ...
- 我是来围观的逊
- 어제 15:05
- Up
- Down
- Reply
- Favorite
-
계면신문기자 장우발 4분기의 영업수입이 하락한후 텐센트음악은 다시 성장으로 돌아왔다. 11월 12일, 텐센트음악은 최신 재보를 발표했다.2024년 9월 30일까지 이 회사의 3분기 총수입은 70억 2천만 위안으로 전년 ...
- 勇敢的树袋熊1
- 3 일전
- Up
- Down
- Reply
- Favorite
-
본사소식 (기자 원전새): 11월 14일, 다다그룹 (나스닥코드: DADA) 은 2024년 3분기 실적보고를 발표했다. 수치가 보여준데 따르면 고품질발전전략에 지속적으로 전념하고 사용자체험을 끊임없이 최적화하며 공급을 ...
- 家养宠物繁殖
- 그저께 15:21
- Up
- Down
- Reply
- Favorite
-
11월 12일 소식에 따르면 소식통에 따르면 아마존은 무료스트리밍서비스 Freevee를 페쇄하고 일부 종업원과 프로를 구독서비스 Prime Video로 이전할 계획이다. 올해 초 아마존이 내놓은 몇 편의 대형 드라마의 효 ...
- 度素告
- 3 일전
- Up
- Down
- Reply
- Favorite