미국 동부 시간으로 12월 6일, 구글 CEO 순다르 피차이는 지금까지 규모가 가장 크고 능력이 가장 강한 구글 대형 모델 Gemini 1.0 버전이 정식으로 출시되었다고 발표했다.Gemini는 기본 다중 모드 대형 모델이며 Google 대형 모델의 새로운 시대의 첫 번째 단계입니다. 가장 강력한 성능의 Gemini Ultra, 멀티태스킹을 위한 Gemini Pro, 특정 임무와 엔드 사이드에 적용되는 Gemini Nano 등 세 가지 체급을 포함합니다.
피차이의 공식 트윗 이후 머스크도 아래에"(Gemini가) 인상적"이라고 논평했다.이날 구글은 Gemini의 다중모드 기능 (예: 말하기 대화 힌트와 이미지 인식 결합) 을 보여주는 약 6분 지연 시연 동영상도 공개했다.이 동영상은 송고까지 유튜브에서 141만 건의 시청을 기록했다.
그러나 Gemini가 출시 된 지 하루 만에 Gemini에 대한 구글의 성능이"조작"되었다는 목소리가 나오기 시작했습니다.
이 중 블룸버그통신의 한 칼럼은 구글이 시연 동영상에서 제미니의 AI 성능을 왜곡했다고 밝혔다.칼럼니스트 파미 올슨 (Parmy Olson) 은 구글이 발표 한 이 동영상에서 Gemini가 매우 강한 것 같지만 너무 강한 것 같다고 주장했다.이에 대해 구글은 Gemini의 성능 시연에 관한 이 동영상이 실시간이 아니라 원본 렌즈의 정지 이미지 프레임을 사용한 뒤 텍스트 힌트를 작성해 Gemini가 응답할 수 있도록 했다고 인정했다.
6분 프레젠테이션 비디오 문제 제기
올슨은 Gemini의 프레젠테이션 비디오가 확실히 매우 인상적이라고 생각합니다.Gemini는 불규칙한 점만으로 제작 내용이 게라는 것을 추정할 수 있으며, Google DeepMind 인공 지능 실험실이 수년간 훈련 한 큰 모델 추리 능력을 보여줍니다.그러나 올슨은 구글의 이 동영상에 전시된 Gemini가 갖춘 일부 기능은 독특한 것이 아니며 ChatGPTPlus도 비슷한 추리력을 가지고 있다고 지적했다.
매일경제신문 기자는 이 6분짜리 동영상에서 Gemini가 이미지를 빠르게 식별하고 몇 초 안에 반응할 수 있는 것 같다는 점에 주목했다.그러나 사용자가 유튜브에 게시된 이 동영상의 설명을 클릭하면 구글은"Gemini의 프레젠테이션 목적을 달성하기 위해 지연이 인위적으로 줄었고 Gemini의 출력 시간도 간결하기 위해 단축됐다"는 중요한'면책 성명'을 썼다. Gemini가 실제로 각 질문에 답하는 데 걸리는 시간이 동영상 프레젠테이션보다 더 길다는 뜻이다.
머신러닝 강사 산티아고 발다라마는 X 플랫폼에 글을 올려 구글의 이 같은 영상의'면책 성명'이 "정성껏 고른 좋은 결과를 보여주는 것 같다. 실시간 녹화가 아니라 편집된 것"이라고 암시했다. 그는 "이것이 오도다. 거기에 참여한 사람은 누구나 난감해야 한다"고 직언했다.
또한 구글이 발표한 MMLU 멀티태스킹 언어 이해 데이터 세트 테스트에 따르면 Gemini Ultra는 GPT-4뿐만 아니라 인간 전문가까지 추월했다.그러나 많은 업계 전문가들은 MMLU 테스트에서 Gemini Ultra의 결과 아래에 회색 작은 글자 표시가 있다는 것을 발견했습니다.cot@32는 마인드 체인 힌트 기술을 사용하고 32 번 시도한 후 가장 좋은 결과를 선택하는 것을 나타냅니다.반면 대비되는 GPT-4는 제시어 기교가 없고 5번만 시도했다.
조작 부인, Gemini 책임자는 단지 간결하게 반응 시간을 줄였을 뿐이라고 말했다
미국 과학기술매체 더버지는 공정하게"대형 과학기술회사가 자사의 제품 시연 동영상을 편집해 처리한 것은 이번이 처음은 아니다"라며"구글을 제외한 다른 대형 과학기술회사들이 현장 시연으로 인한 어떤 기술적 문제를 피하기 위해 주파수를 약간 조정하는 것도 매우 보편적"이라고 보도했다.
그러나 구글은 동영상'조작'설에 대해서는 완강히 부인했다.Google DeepMind와 딥 러닝 부사장, Gemini 공동 책임자 인 Oriol Vinyals는 블로그 글에서 Gemini 프레젠테이션 비디오의 제작 과정을 설명했습니다. 성능 프레젠테이션 비디오는 실시간이 아니라 원래 렌즈의 정지 이미지 프레임을 사용한 다음 텍스트 힌트를 작성하고 예측을 통해 응답하도록 요청했습니다.
"비디오의 모든 사용자 힌트와 출력은 진실이다. 단지 간결함을 위해 (Gemini의 반응 시간을) 줄였을 뿐이다. 이 동영상은 개발자를 격려하기 위해 Gemini를 사용하여 구축한 다중 모드 사용자 경험을 보여준다"고 비아레스는 강조했다.
올슨은 이에 대해 결코 수긍하지 않았다.그는 칼럼에서"구글이 묘사한 것과는 완전히 다르다. 구글은 누구나 Gemini와 유창한 음성 대화를 할 수 있다고 말한다. 왜냐하면 Gemini는 주변 세계를 실시간으로 관찰하고 반응할 수 있기 때문이다."
그는 동시에 구글이 공식 발표한 Gemini의 각 모드 성능에 따르면 Gemini Ultra (아래 그림의 파란색 부분) 는 9가지 표준 벤치마크 테스트 중 7가지 모두 GPT-4보다 우월하다고 지적했다.이러한 벤치마킹은 종종 고등학교 물리학, 전문 법률 및 윤리 시나리오 등에서 인공 지능 모델의 능력을 테스트하는 데 사용됩니다.
그러나 대부분의 벤치마크 테스트에서 Gemini Ultra는 OpenAI의 GPT-4보다 몇 포인트 높을 뿐 일부는 1% 포인트도 안 된다.올슨은 다시 말해서, 구글이라는 이른바 최고의 인공지능 모델은 OpenAI가 1년 전에 완성한 작업을 제한적으로 개선했을 뿐이라고 생각한다.
구글의 6분 Gemini 프레젠테이션 동영상은 프레젠테이션의 모델이 Gemini Ultra라는 것을 설명하지 않았다는 점을 지적할 필요가 있다.
올슨은 1년 전 구글이라는'서투른 검색 거물'이 OpenAI의 ChatGPT에 당황한 뒤 생성식 인공지능이라는 물결을 따라잡으려 했다고 주장했다.구글은 강력한 마케팅을 통해 세계에서 가장 강력한 인공지능 연구팀 중 하나를 보유하고 있으며 다른 누구보다도 더 많은 데이터를 얻을 수 있다는 것을 기억하기를 원한다.그러나 기술적 관점에서 볼 때 생성형 인공지능에서 구글은 여전히 OpenAI에 뒤처져 있다.
그러나 과학기술업종에서 누구도 줄곧 순풍에 돛단듯이 우뚝 솟아있다는것을 보장할수 없다.초기 휴대전화 최강자 노키아와 블랙베리가 그 예다.애플이 더 강력하고 인기 있는 제품인 아이폰을 출시하자 노키아와 블랙베리의 시장 점유율은 빠르게 빼앗겼다.소프트웨어 분야에서 시장의 성공은 가장 강력한 성능을 가진 시스템에서 비롯된다.