엔비디아 오픈 소스 3400억 매개변수 모델 Nemotron-4 340B

宠着祖宗

6월 14일 (현지 시간) 엔비디아 오픈 소스 Nemotron-4 340B (3400억 매개변수) 시리즈 모델.엔비디아에 따르면 개발자는 의료, 금융, 제조, 소매 및 기타 산업의 상업 응용을 위해 대형 언어 모델 (LLM) 을 훈련하기 위해 이 시리즈 모델을 사용하여 합성 데이터를 생성 할 수 있습니다.
Nemotron-4 340B에는 기본 모델 Base, 명령 모델 Instruct 및 보상 모델 Reward가 포함됩니다.엔비디아는 9조 개의 토큰(텍스트 단위)을 사용해 훈련했다.Nemotron-4 340B-Base는 ARC-c, MMLU 및 BBH 벤치마크 테스트와 같은 상식적 추론 작업에서 Llama-3 70B, Mixtral 8x22B 및 Qwen-2 72B 모델에 필적할 수 있습니다.