4월 18일 (현지 시각) 메타는 8B와 70B의 사전 훈련 및 명령 미세 조정 버전을 제공하는 최신 오픈 소스 모델인 Llama 3를 발표했다.이는 지금까지 가장 선진적인 오픈 소스 모델로 OpenAI를 포함한 대형 모델 회사에 강력한 경쟁을 형성할 것이며, 오픈 소스 모델에 의존하는 많은 인공지능 회사에도 혜택을 줄 수 있다.
큰 시세가 소폭 하락한 가운데 메타 주가는 1.54% 상승했다.
메타의 공식 소개에 따르면 Llama 3는 두 개의 맞춤형 24K GPU 클러스터에서 15T 이상의 데이터를 기반으로 훈련했다. 이는 Llama 2가 사용하는 데이터 세트보다 7배, 4배 많은 코드이며 Llama 3는 8K 컨텍스트 길이를 지원하며 Llama 2 용량의 두 배이다.
메타 공식
또한 메타는 엘라마 3 두 버전과 구글 젬마, 구글 제미니, 미스트랄, 앤트로픽의 클라우드 3 등 경쟁사의 매개변수를 비교했다.
사용자들에게도 메타 자체 출시한 메타 AI를 통해 엘라마3를 느낄 수 있다.저커버그 메타 CEO는 메타 AI가 메타 산하 주요 제품인 왓츠앱, 인스타그램, 페이스북, 메신저 상단의 검색창에 통합되고 웹사이트 메타.ai를 만들어 쉽게 사용할 수 있도록 했다고 설명했다.
메타의 수석 과학자 Yann LeCun에 따르면 앞으로 몇 달 동안 Llama는 더 많은 버전을 계속 출시 할 것이며 Llama 3의 연구 논문도 곧 출시 될 것입니다.엔비디아의 수석 과학자 짐 팬은 나중에 발표 될 수있는 Llama 3-400B 이상의 버전이 GPT-4 수준의 모델을 사용할 수있는 일종의"분수령"이 될 것이라고 생각합니다.
주목할 만한 것은 Llama 3의 출시가 이전 버전처럼 오픈 소스 커뮤니티의 센세이션을 불러일으켰지만, 이번 주 초 바이두의 창업자 리옌훙은 오픈 소스 모델이 점점 더 뒤처질 것이라고 공개적으로 밝혔다.
리옌훙에 따르면 개발자가 바이두의 문심 4.0 다운그레이드를 통해 재단한 더 작은 사이즈 모델은 소스 모델을 직접 꺼내 조정한 모델보다 동등한 사이즈에서 효과가 훨씬 좋다;동등한 효과에서 원가가 현저히 낮다."모두들 이전에 오픈 소스로 오픈 소스가 싸다고 생각했는데, 사실 큰 모델 장면에서 오픈 소스가 가장 비싸다.그래서 오픈 소스 모델은 점점 더 뒤처질 것"이라고 말했다.