Meta는 7 월 23 일 (현지 시간) 언어 모델 Llama3.1의 최신 버전을 공식 발표했습니다.이번 발표는 AI 커뮤니티에서'오픈 소스 낙후론'에 대한 강력한 반격으로 받아들여졌고, 메타 창업자인 저커버그 CEO도 발표 당시"개원 AI는 미래로 가는 길"이라고 말했다.
그동안 OpenAI는 ChatGPT의 폐쇄성 때문에"Open"이라는 이름이지만 실제로"Close"의 일을 하고 있다고 외부의 비난을 받아왔으며, ChatGPT-4o로 대표되는 폐원대모델의 실력은 종종 업계를 뒷걸음질치게 했다."폐원대모델의 성능이 반드시 개원대모델보다 강하다"는 관념은 이미 묵인된 것 같다.
그러나 이번 Llama3.1의 발표는 이 구도를 다시 쓸 것으로 보인다.이번 메타는 Llama3.1의 세 가지 버전을 발표했는데, 각각 8B, 70B, 405B이며, 그 중 405B는"상단"버전이며, 메타는 최고의 폐원 모델에 필적할 수 있는 성능을 자랑한다.
"최강 오픈 소스 대형 모델"
Llama3.1 405B는 무엇으로 최고의 폐원 모델과 우열을 가릴 수 있습니까?Llama3.1을 발표하면서 Meta는 Llama3 모델의 개발 세부 사항을 상세히 설명한'The Llama 3 Herd of Models'라는 논문을 발표했다.
첫째, Llama3.1은 8 개 언어를 지원하며 세 가지 버전의 컨텍스트 창이 GPT-4 Turbo와 동일한 128K로 확장되었습니다.동시에 Llama3.1 405B는 4050억 개의 모델 매개변수를 가지고 있으며, 훈련 규모는 Llama2의 50배이며, 더 안정적인 성능을 유지하기 위해 밀집된 Transformer 아키텍처를 사용한다.이렇게 되면 Llama가 한 번에 처리할 수 있는 텍스트의 수는 9만 6천 자에 달하며, 동시에 긴 텍스트든 짧은 텍스트든'뜻대로'처리할 수 있다.
논문에서 Meta는 또한 Llama3.1 405B와 ChatGPT-4o 및 Claude3.5 Sonnet 같은 헤드 폐쇄 소스 대형 모델의 성능 비교 데이터를 발표했습니다.테스트 결과에 따르면 Llama3.1 405B는 범용 성능, 긴 텍스트 처리 및 다국어 처리의 여러 방면에서 모두 선두를 달리고 있다.예를 들어 ZeroSCROLLS 프로젝트 테스트에서 Llama3.1 405B의 점수는 95.2이고 그 후 둘 다 90.5이다.
우수한 성능과 방대한 훈련 기수로 인해 Llama3.1은"최강 오픈 소스 대형 모델"이라는 칭호를 가지고 있지만, 현재의 Llama3.1은 여전히 언어 처리 위주의 대형 모델이며, 이미지, 비디오 또는 음성 처리를 지원하지 않는다. 이는 다중 모드 작업 처리에서 ChatGPT가 여전히 뛰어난 능력을 가지고 있다는 것을 의미한다.
"개원 AI는 미래의 길"
Llama의 실제 사용 경험은 아직 완벽하지 않을 수도 있지만, 이번 Llama 3.1 405B의 발표가 전 세계 AI 종사자들에게 가장 큰 의미는 역시 큰 모델의 오픈 소스와 오프 소스 싸움이 또 새로운 페이지를 열었다는 데 있다.
메타 홈페이지에서 저커버그는 공개서한을 통해"개원 AI는 미래로 가는 길"이라고 확고히 대외적으로 선언했다.편지에서 그는 여러 회사가 선도적인 폐원 모델을 개발하고 있지만 개원은 빠르게 격차를 좁히고 있다고 밝혔다.Llama의 경우, 작년에 Llama2는 범용 대형 모델의 오래된 버전에 필적할 수밖에 없었는데, 올해 Llama3는 최첨단 대형 모델과 경쟁하고 일부 분야에서 앞서고 있다.
따라서 저커버그는 Llama를 대형 모델 시대의 Linux로 만들어 오픈 소스 AI의 업계 표준이 되기를 희망한다."고성능 컴퓨팅 초기에 주요 기술 회사들은 자체 폐쇄 소스 Unix 버전을 개발하기 위해 거액을 투자했습니다...오늘날 오픈 소스 Linux는 클라우드 컴퓨팅과 대부분의 모바일 장치를 실행하는 운영 체제의 산업 표준 기반이되었으며 인공 지능이 비슷한 방식으로 발전 할 것이라고 믿습니다."