|
|
21세기 경제 보도 기자 백양 베이징 보도
AI 대형 모델의 치열한 경쟁 속에서 계산력 자원과 알고리즘 최적화는 줄곧 각 대기업이 추구하는 초점이다.그러나 기술이 점차 성숙됨에 따라 업계의 초점은 단순한 모델 훈련과 계산력 투입에서 대용량, 고품질의 데이터를 어떻게 처리하고 활용하는지로 미묘하게 바뀌고 있다.
사실 데이터는 이미 큰 모델이 성공적으로 착지할수 있는가 없는가의 결정적인 요소로 되였다.11월 27일, 치타 모바일 회장 겸 CEO 푸성은 21세기 경제보도 기자와의 인터뷰에서"알고리즘과 계산력은 큰 모델의 핵심 경쟁력이 아니다. 진정한 장벽은 데이터이다."
푸성은 대부분의 대형 모델 회사들이 알고리즘에서 뚜렷한 차별화를 보이지 않는다고 언급했다.칩과 알고리즘은 여전히 중요하지만 데이터만큼 심각한 차이는 아닙니다."데이터가 충분한 품질과 양이 없다면 어떤 알고리즘과 계산력의 장점도 작용할 수 없다."
큰 모델의 훈련은 모델의 실제 효과를 직접적으로 결정하는 대량의 표시된 데이터에 의존합니다.부성은 모형은 한창 성장하고있는 아이와 같으며 정확한 정보를 얻어야만 정확하게 학습할수 있다고 비유했다.
데이터의 품질 및 양적 문제
그러나 데이터의 획득과 이용에 있어서 큰 모델의 발전은 많은 도전에 직면하고 있다.
우선 대형 모델 훈련에 사용할 수 있는 실제 데이터가 고갈되고 있다.DeepMind는 논문에서 Scaling 문제를 깊이 연구하고 모델을 충분히 훈련시키기 위해 그 token 수가 모델 매개변수의 20배에 달해야 한다는 결론을 내렸다.
현재 알려진 폐원 모델 중 가장 많은 token 수를 훈련하는 것은 GPT4로 약 20T입니다.오픈 소스 모델 중 토큰 훈련 수가 가장 많은 모델은 약 15T인 LLAMA3이다.이 계산에 따르면 5000억 매개변수의 Dense 모델이 같은 훈련 효과를 얻으려면 약 token 수가 107T로 훈련해야 하는데 이는 현재 업계가 보유한 데이터량을 훨씬 초과했다.
따라서 합성 데이터를 사용하는 것은 이미 큰 모델의 공감대가 되었다.2026년까지 자연 데이터가 큰 모델에 의해 모두 소진되고 2030년에는 인공지능이 사용하는 합성 데이터가 실제 데이터를 능가할 것이라는 예측이 있다.
그러나 푸성은 합성 데이터를 직접 사용하여 큰 모델을 훈련하는 것은 큰 위험이 있다고 생각한다.합성 데이터 자체는 불가피하게 체계적인 편차가 있기 때문에 직접 훈련에 사용하면 모델이 이러한 편차를 일반으로 잘못 간주할 수 있으며 장기적으로 모델의 인식에 치명적인 결함이 발생할 수 있습니다.
그래서 합성 데이터도 일부 처리를 진행해야 하는데, 예를 들면 인공적으로 조정하거나 기타 데이터로 증강하여 합성 데이터의 질을 향상시켜야 한다.
실제 데이터에 대한 가장 큰 문제는 활용도가 낮다는 것입니다.많은 기업들이 충분한 데이터를 가지고 있지만, 훈련된 큰 모델의 효과는 항상 좋지 않다. 그 이유도 그들의 데이터 품질이 높지 않기 때문이다.
데이터 서비스 영업 기회 발굴
이에 따라 치타 모바일도 지주회사인 오리온스타가 새로운 데이터 서비스 제품인 AI 데이터 보물 AirDS (AI-Ready Data Service) 를 출시한 비즈니스 기회를 보고 있다.
AI 데이터바오 AirDS가 제공하는 서비스는 데이터 수집, 세척, 표기, 제시어 공정 및 평가 등 단계를 포함한다.푸성은 치타 모바일 자신도 큰 모델을 훈련하고 있기 때문에 전통적인 데이터 표시 회사에 비해 치타 모바일은 큰 모델에 대해 더 깊은 이해를 가지고 있으며 데이터에 대한 기업의 수요도 더 만족시킬 수 있다고 말했다.
현재의 데이터 서비스는 여전히 인력과 떨어질 수 없다는 점을 지적해야 한다.대모형시대에 데터선별, 정리 등 고리는 일부 도구를 리용하여 효률을 높일수 있지만 고품질의 데터를 얻으려면 인공적이고 세밀한 표기가 여전히 없어서는 안되거나 없어서는 안된다.
푸성은 대형 모델 시대에 치타 모바일의 핵심 비즈니스 모델은 모델 인터페이스를 통해 돈을 버는 것이 아니라 고객이 AI 응용의 착지를 실현할 수 있도록 도와줌으로써 가치를 창출한다고 말했다.
이 업무 모델의 핵심은 큰 모델의 응용 장면을 중심으로 심도 있는 발굴을 하는 것이다.AI 데이터바오 (AirDS) 의 경우, 치타 모바일은 데이터 서비스 제품을 통해 기업 고객이 데이터 세척에서 마크업, 애플리케이션 최적화에 이르는 전 과정 서비스를 실현할 수 있도록 돕는데, 이는 기업의 AI 응용 효과를 대폭 향상시켰을 뿐만 아니라 치타 모바일에 거대한 상업화 공간을 만들어 주었다.
현재 AI 데이터바오의 성공 사례는 이동통신, 인터넷 엔터테인먼트, 신에너지자동차 등 여러 업종을 포괄하고 있다.
큰 모델의 미래 발전에 대해 푸성은 비록 기술 병목 현상으로 인해 모델의 반복 속도가 느려졌지만, 응용 장면의 깊이와 폭은 끊임없이 확장되고 있다고 생각한다.특히 검색, 기업서비스 등 수직업종에서 데이터의 질과 응용능력이 제고됨에 따라 AI는 업종에 혁명적인 변혁을 가져다줄수 있다.
"내년은 대번영을 응용하는 한해가 될것이다."부성은 다음과 같이 예측했다."큰 모형의 능력은 이미 상대적으로 안정되였고 다음단계의 경쟁은 어떻게 특정장면에 큰 모형을 응용할것인가에 더욱 많이 의존하게 될것이다.장면이 충분히 뚜렷하기만 하면 그 순발력은 매우 강할것이다.» |
|
发表于