マイクロソフトがAI大モデルを自己研究していることが明らかになった:5000億個のパラメータがグーグルとOpenAIと競合
planewh
发表于 2024-5-7 14:42:56
4609
0
0
テクノロジー大手のマイクロソフトや、パラメータ5000億に達する新しいAI(人工知能)の大モデルを開発しており、グーグルやOpenAIを前面に打ち出している。
現地時間5月6日、外国メディアの報道によると、マイクロソフトはマイクロソフトがこれまで発表してきたオープンソースモデルの一部をはるかに上回る規模のMAI-1という最新のAIビッグモデルを開発しており、性能的にはグーグルのGemini 1.5、AnthropicのClaude 3、OpenAIのGPT-4などの有名なビッグモデルに匹敵するかもしれない。マイクロソフトまたは5月21日から開催されるBuild開発者大会でこの新モデルをデモする。
報道によると、MAI-1の開発は、元グーグルのAIリーダーでAIベンチャー企業のInflectionの最高経営責任者を務めたムスタファ・スレーマン(Mustafa Suleyman)がリードしている。今年3月には、Infectionへの最新の融資を受けたばかりで、マイクロソフトはInfectionからスレイマンを含む2人の共同創業者と一部の従業員を引き抜いた。ある関係者によると、マイクロソフトはこのためにInfectionに6億5000万ドル以上を支払ったという。
MAI-1はInflection傘下のモデルの技術の一部を参考にしている可能性があるが、マイクロソフトの従業員によると、MAI-1は新しい大言語モデルで、約5000億のパラメータを持ち、マイクロソフトがこれまで訓練してきたオープンソースモデルをはるかに上回っているという。1ヶ月前にマイクロソフトはPhi-3という小型AIモデルを発売したばかりで、その中でPhi-3 miniは携帯電話に配備できるように最適化され、38億パラメータを持ち、3.3兆tokenの訓練を経て、マイクロソフトはその性能がGPT-3.5などのモデルと同等だと主張した。
対照的に、MAI-1の規模ははるかに大きく、より多くの計算力の投入と訓練データも必要です。このモデルを訓練するために、Microsoftはすでに、OpenAIのGPT-4によって生成されたテキストやパブリックインターネットデータを含む、雄大なGPUを含むサーバクラスタを大量に構成し、さまざまなソースからトレーニングデータを収集している。これにより、MAI-1はOpenAIのGPT-4と似たレベルになり、後者は1兆を超えるパラメータを持っていると言われています。
PhiシリーズモデルとMAI-1の開発は、マイクロソフトがAI分野で二重戦略を取っていることを体現しており、モバイル機器のために小型ローカルモデルを開発しながら、クラウドによってサポートされるより大規模なモデルを開発している。しかし、マイクロソフト内部でもMAI-1の正確な用途は確認されていない。
さらに重要なことに、MAI-1は、マイクロソフトがAI分野でパートナーのOpenAIに完全に依存することを望んでいない技術を体現している。OpenAIからの技術は、Windowsに統合されたチャットロボットを含むマイクロソフトのさまざまな生成AI機能を駆動している。これまで、マイクロソフトのAIプラットフォームチームの従業員からは、同社のAI戦略はOpenAIとの協力関係に注目しすぎており、マイクロソフトのAIオリジナル研究に対する予算が減少しているとの苦情があった。
マイクロソフトのケビン・スコット最高技術責任者(Kevin Scott)は6日、領英に投稿し、MAI-1に関する報道に間接的に応えた。彼は、OpenAIはマイクロソフトが構築したスーパーコンピュータを使ってAIモデルを訓練しているが、マイクロソフトの研究部門と製品チームもAIモデルを構築していると述べた。
AIにおける突破を実現するために、マイクロソフトも積算力資源を買いだめしている。4月初め、マイクロソフトが今年末までに180万枚のAIチップを買いだめする計画を立てていると報じられた。これは、同社が2024年中に保有するGPUの数を2倍に増やしたいと考えていることを意味する。関係者によると、マイクロソフトは2024年度から2027年度(2027年6月30日まで)まで、GPUとデータセンターに約1000億ドルを費やす見通しだ。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
You may like
- AI cloud leads Microsoft's performance, AI sales are expected to exceed billions of dollars in the next quarter
- Pre market forecast: Cloud business growth is expected to slow down, with Microsoft falling 4%; Xiaopeng Motors rises nearly 2%
- マイクロソフトは人工知能分野でCoreWeaveデータセンターを使用するという
- ウォルマートやサムの「前置倉」モデルをコピーして小さな店を開く
- DeepMindのオープンソース生体分子予測モデルノーベル賞の成果はAI製薬の波を巻き起こすのか?
- 百度李彦宏:過去24カ月、AI業界の最大の変化は大モデルが幻覚をほぼ解消したことだ
- 「AI新世代」の大モデルメーカーがスマートボディを“巻き”、李彦宏氏は「アイデアで稼げる時代が来る」と語る
- 李彦宏氏によると、大模型幻覚は実測文心をほぼ解消したという。
- The US' anti-monopoly leader 'seizes the final moments of her term to investigate Microsoft's cloud computing business
- FTC plans to investigate anti competitive behavior in Microsoft's cloud computing business
-
11월 14일, 세계예선 아시아지역 제3단계 C조 제5라운드, 중국남자축구는 바레인남자축구와 원정경기를 가졌다.축구 국가대표팀은 바레인을 1-0으로 꺾고 예선 2연승을 거두었다. 특히 이번 경기 국내 유일한 중계 ...
- 我是来围观的逊
- 어제 15:05
- Up
- Down
- Reply
- Favorite
-
계면신문기자 장우발 4분기의 영업수입이 하락한후 텐센트음악은 다시 성장으로 돌아왔다. 11월 12일, 텐센트음악은 최신 재보를 발표했다.2024년 9월 30일까지 이 회사의 3분기 총수입은 70억 2천만 위안으로 전년 ...
- 勇敢的树袋熊1
- 3 일전
- Up
- Down
- Reply
- Favorite
-
본사소식 (기자 원전새): 11월 14일, 다다그룹 (나스닥코드: DADA) 은 2024년 3분기 실적보고를 발표했다. 수치가 보여준데 따르면 고품질발전전략에 지속적으로 전념하고 사용자체험을 끊임없이 최적화하며 공급을 ...
- 家养宠物繁殖
- 그저께 15:21
- Up
- Down
- Reply
- Favorite
-
11월 12일 소식에 따르면 소식통에 따르면 아마존은 무료스트리밍서비스 Freevee를 페쇄하고 일부 종업원과 프로를 구독서비스 Prime Video로 이전할 계획이다. 올해 초 아마존이 내놓은 몇 편의 대형 드라마의 효 ...
- 度素告
- 3 일전
- Up
- Down
- Reply
- Favorite