통의천문개원 320억 매개 변수모델 이미 7개 대언어모델 전부 개원 실현
强绝商爸摇
发表于 2024-4-7 17:04:53
243
0
0
알리 클라우드 통의 천문 오픈 소스 320억 매개변수 모델 Qwen1.5-32B는 성능, 효율, 메모리 점용의 균형을 최대한 고려하여 기업과 개발자에게 더 높은 가격 비율의 모델 선택을 제공할 수 있다.현재 통의천문은 모두 7개의 큰 언어 모델을 오픈소스로 국내외 오픈 소스 커뮤니티에서 누적 다운로드 300만 명을 돌파했다.
통의천문은 이전에 이미 5억, 18억, 40억, 70억, 140억, 720억 파라미터의 6개 대언어 모델을 오픈하여 모두 1.5 버전으로 업그레이드하였는데, 그 중 몇 가지 작은 사이즈 모델은 편리하게 엔드 사이드에 배치할 수 있고, 720억 파라미터 모델은 업계 최고의 성능을 가지고 있으며, 여러 차례 HuggingFace 등 모델 차트에 올랐다.이번에 오픈소스된 320억 매개변수 모델은 성능, 효율, 메모리 점용 사이에서 더 이상적인 균형을 이룰 것이다. 예를 들어 14B 모델보다 32B가 지능체 장면에서 더 강하다.72B에 비해 32B의 추리 비용은 더 낮다.통의천문팀은 32B 오픈소스 모델이 다운스트림 애플리케이션에 더 나은 솔루션을 제공할 수 있기를 희망한다.
기초능력면에서 통의천문 320억매개변수모델은 MMLU, GSM8K, HumanEval, BBH 등 여러 평가에서 우수한 성적을 거두었으며 성능은 통의천문 720억매개변수모델에 접근하여 기타 300억급 매개변수모델을 훨씬 초과하였다.
챗 모델의 경우 Qwen1.5-32B-챗 모델은 MT-Bench 평가에서 8점 이상을 받아 Qwen1.5-72B-챗과의 격차가 상대적으로 적었다.
다언어능력면에서 통의천문팀은 아랍어, 에스빠냐어, 프랑스어, 일본어, 한국어 등을 포함한 12개 언어를 선택하여 시험, 리해, 수학 및 번역 등 여러 분야에서 평가를 내렸다.Qwen1.5-32B의 다언어 능력은 통의 천문 720억 매개변수 모델에 약간 못 미친다.
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
You may like
- 월마트는 샘의"전치 창고"모델을 복제하여 작은 가게를 열 수도 있다
- DeepMind 오픈 소스 생체 분자 예측 모델 노상 성과는 AI 제약 물결을 일으킬 것인가?
- 바이두 리언굉: 지난 24개월간 AI 업종의 가장 큰 변화는 큰 모형이 기본적으로 환각을 제거한것이다
- "AI 신세대"대모형제조업체 일제히"권"지능체, 리언굉은"생각으로 돈을 벌수 있는 시대"를 맞이하게 된다고 말했다.
- 극크립톤, 전계차종과 함께 광주모터쇼 첫 광대한 지운전 2.0 종단간 Plus 구조 선보여
- 문심일언 사용자 수 4억 돌파, 바이두 오단: 큰 모형이 산업 스마트 엔진을 재창조하고 있다
- 올해 10월 테슬라 모델 Y가 일선, 신일선 도시 모델 판매 1위를 차지했다
- 알리바바 CEO 오영명: AI 발전은 부동한 규모, 부동한 령역의 개원대모형이 필요하다
- 바이두 Q3 핵심 순이익 17% 증가 예상 초과 문심대 모델 하루 조정량 15억
-
상해증권보 중국증권넷소식 (기자 손소정): 11월 20일, 문원지행 WeRide는 산하의 자동운전환경위생차 S6 (이하"문원환경위생차 S6"라 략칭함.) 와 무인도로청소기 S1이 이미 각각 싱가포르 빈해만해안대로 (Marina ...
- 蜜桃成熟时
- 그저께 20:18
- Up
- Down
- Reply
- Favorite
-
11월 19일, 애플 중국공식사이트는 보기 드물게 App상점과 국내 App개발자의 수익상황을 발표했는데 한 국내 대학교수의 연구보고를 인용하여 풍랑에 떠오른"애플세"논란에 측면적으로 대답했다. 얼마 전 # 애플 위 ...
- 世雨8
- 그저께 19:05
- Up
- Down
- Reply
- Favorite
-
AI 서버 제조사 초미세 컴퓨터,'숨통'기회 얻다! 미국 주식의 야간 거래에서 초마이크로컴퓨터의 주가는 한때 50% 가까이 급등했다.증권사 중국 기자가 원고를 발송할 때까지 이 회사의 주가 상승폭은 여전히 40% ...
- 蜜桃成熟时
- 3 일전
- Up
- Down
- Reply
- Favorite
-
11월 19일, 한 존슨앤드존슨 내부인사는 21세기 경제보도에 존슨앤드존슨 중국은 이미 새로운 감원조정을 시작했는데 주로 외과부문이라고 알려주었다. "현재 외과 업무가 받는 시장 충격은 비교적 크다. 사실 기업 ...
- 明绍宗朱聿键鼻
- 3 일전
- Up
- Down
- Reply
- Favorite