마이크로소프트는 AI 대형 모델을 자체 연구하고 있는 것으로 드러났다: 5000억 개의 매개변수가 구글과 OpenAI와 경쟁하고 있다

度素告

거대 기술 기업인 마이크로소프트나 5천억 파라미터에 달하는 새로운 AI (인공지능) 대형 모델을 개발하고 있는 것은 구글과 오픈AI를 정면으로 부를 것이다.
5월 6일 (현지 시간) 외신 보도에 따르면 마이크로소프트는 MAI-1이라는 최신 AI 대형 모델을 개발하고 있다. 마이크로소프트가 이전에 출시한 일부 오픈 소스 모델을 훨씬 뛰어넘는 규모다. 성능상 구글의 Gemini 1.5, Anthropic의 Claude 3, OpenAI의 GPT-4 등 유명 대형 모델에 필적할 수 있다.마이크로소프트는 5월 21일부터 열리는 빌드 개발자 대회에서 이 새로운 모델을 시연할 수도 있다.
보도에 따르면 MAI-1 개발은 전 구글 AI 리더이자 AI 스타트업 인플렉션의 최고경영자를 지낸 무스타파 술레이만(Mustafa Suleyman)이 이끌었다.올해 3월, Microsoft는 Infection의 최신 자금 조달을 마치자마자 Infection에서 Suleman을 포함한 두 명의 공동 창업자와 일부 직원을 스카우트했습니다.소식통에 따르면 Microsoft는 이를 위해 Infection에 6 억 5 천만 달러 이상을 지불했습니다.
MAI-1은 Inflection 산하 모델의 일부 기술을 참고했을 수도 있지만, 어떤 마이크로소프트 직원은 MAI-1은 마이크로소프트가 이전에 훈련한 어떤 오픈 소스 모델보다 훨씬 많은 약 5000억 개의 매개변수를 가진 새로운 큰 언어 모델이라고 말했다.한 달도 안 돼 마이크로소프트는 Phi-3라는 소형 AI 모델을 선보였다. 이 중 Phi-3 mini는 휴대전화에 배치할 수 있도록 최적화돼 38억 파라미터를 보유하고 있으며 3조3000억 token의 훈련을 거쳐 GPT-3.5 등 모델과 성능이 비슷하다고 한다.
이에 비해 MAI-1의 규모는 훨씬 크고 계산력 투입과 훈련 데이터도 더 필요하다.이 모델을 훈련시키기 위해 Microsoft는 이미 엔비디아 GPU가 포함된 서버 클러스터를 많이 구성하고 OpenAI의 GPT-4에서 생성된 텍스트와 공공 인터넷 데이터를 포함한 다양한 소스에서 훈련 데이터를 수집했습니다.이는 MAI-1을 OpenAI의 GPT-4와 비슷한 수준으로 만들 수도 있으며, 후자는 1조 개 이상의 매개변수를 가지고 있다고 한다.
Phi 시리즈 모델과 MAI-1의 개발은 Microsoft가 모바일 장치를위한 작은 로컬 모델을 개발하면서 클라우드가 지원하는 더 큰 규모의 모델을 개발하는 AI 분야에서 이중 전략을 채택했음을 보여줍니다.그러나 마이크로소프트 내부에서도 MAI-1의 정확한 용도는 확인되지 않았다.
더 중요한 것은 MAI-1이 마이크로소프트가 AI 분야에서 파트너인 OpenAI에 완전히 종속되는 기술을 원하지 않는다는 것을 보여준다.OpenAI의 기술은 Windows에 통합된 챗봇을 포함한 Microsoft의 다양한 생성 AI 기능을 구동하고 있습니다.이에 앞서 마이크로소프트 AI 플랫폼팀 직원들은 회사의 AI 전략이 OpenAI와의 협력관계에 지나치게 관심을 기울여 마이크로소프트의 AI 오리지널 연구에 대한 예산이 줄었다고 불평했다.
6일 당일, 마이크로소프트 최고기술책임자 케빈 스콧 (Kevin Scott) 은 령영에 글을 올려 MAI-1에 관한 보도에 간접적으로 대답했다.그는 OpenAI는 Microsoft가 구축한 슈퍼컴퓨터를 사용하여 AI 모델을 훈련하고 있으며 Microsoft의 연구 부서와 제품 팀도 AI 모델을 구축하고 있다고 밝혔다."AI 모델은 거의 모든 제품, 서비스 및 운영 프로세스에 나타나며, 이를 제작하고 운영하는 팀은 처음부터 한 모델을 훈련하든 다른 사람이 구축한 모델을 미세 조정하든 때로는 사용자 정의 작업을 해야 한다.앞으로 일부 모델의 이름과 튜링 (MARing) 을 포함한 더 많은 상황이 있을 것"이라고 말했다.
마이크로소프트도 AI 방면의 돌파를 실현하기 위해 계산력 자원을 대대적으로 비축하고 있다.4월 초 마이크로소프트가 올해 말까지 180만 개의 AI 칩을 사재기할 계획이라는 보도는 회사가 2024년 안에 보유한 GPU 수를 두 배로 늘리기를 원한다는 것을 의미한다.소식통에 따르면 마이크로소프트는 2024 회계연도부터 2027 회계연도(2027년 6월 30일까지) GPU와 데이터센터에 약 1000억 달러를 쓸 것으로 예상된다.