Meta、最新オープンソース大モデルLlama 3を発表

愿为素心人

Metaは現地時間4月18日、8 Bと70 Bの事前訓練と命令微調整バージョンを提供する最新オープンソース大モデルLlama 3を発表した。
Metaの公式紹介によると、Llama 3は2つのカスタマイズされた24 K GPUクラスタ上で15 Tを超えるデータに基づいて訓練を行い、これはLlama 2が使用しているデータの7倍、コードの4倍多く、そしてLlama 3は8 Kコンテキスト長をサポートし、Llama 2の容量の2倍である。また、MetaはLlama 3の2つのバージョンとGoogle Gemma、Google Gemini、Mistral、AnthropicのClaude 3などの競合他社のパラメータを比較したものも放出している。
MetaのザッカーバーグCEOによると、Meta AIはMeta傘下の各大手製品WhatsApp、Instagram、Facebook、Messengerの上部にある検索ボックスに統合され、より使いやすいサイトmeta.aiを構築する。
Metaの首席科学者Yann LeCun氏によると、今後数カ月、Llamaはより多くのバージョンをリリースし続け、Llama 3の研究論文もすぐにリリースされるという。英偉達の高級科学者ジム・ファン氏は、今後発表される可能性のあるLlama 3-400 B以上のバージョンが何らかの「分水嶺」となり、オープンソースコミュニティがGPT-4レベルモデルを使用できるようになるとみている。