英伟达携全新AI模型“颠覆”音频界:可创作音乐、修改人声
xingtao1983
发表于 4 일전
2310
0
0
这个模型被命名为Fugatto,即Foundational Generative Audio Transformer Opus 1,是一个研究项目。英伟达表示,它不会宣布任何发布这项技术的计划,但它可能会对从音乐、娱乐到翻译服务等行业产生广泛的影响。
英伟达应用深度学习研究副总裁Bryan Catanzaro在接受采访时表示:“Fugatto最令人兴奋的地方在于,它拥有一个模型,你可以要求它以某种方式发出声音,这真的打开了你对它应用范围的想象。”
他进一步解释说,市场上的其他模型,有些可以合成语音,有些可以为音乐添加音效,但Fugatto全部都可以做到。Catanzaro说,可以将其视为视频和图像生成模型(如Stability AI的Stable Video Diffusion或OpenAI的Sora)的一种补充。
“这里最基本的改进是……我们能够使用语言合成音频,我认为,这为人们可以用来创造惊人音频的工具开辟了新的前景。”他补充说。
根据英伟达的说法,Fugatto是第一个具有新兴特性的基础模型,这意味着它能够混合经过训练的元素,并遵循“自由形式的指令”。
具体而言,该模型可以通过标准的文字提示生成音频,也可以处理您上传的音频文件。所以,如果你有一个人说话的文件,你可以把那个人的话翻译成另一种语言,同时让它听起来像他的声音。你也可以选择一个简单的曲调,让它听起来像管弦乐表演,或者在音乐中添加不同的节拍。
此外,你也可以上传一个文档,让模型用你喜欢的任何声音朗读。更重要的是,你可以告诉模型发出带有情感分量的声音。
不过,Catanzaro也补充说,这种模型并不总是完美的。而且,就像生成图像和视频的模型一样,Fugatto也会催生艺术家、音响工程师和相关领域人员的担忧。但Catanzaro指出,他的本意是希望这项技术能帮助音乐家。
“我希望这是艺术家探索的新工具。”“我认为音频一直是一个富有成效的探索领域。你知道,当我们获得新的音频工具时,有时我们会获得新的音乐形式。”他说。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
-
"대적전 창시자 장충모: 인텔이 AI 물결을 따라잡지 못한 삼성의 문제는 경영전략에 있지 않다"12월 9일, 대적전 창시자 장충모의 자서전 전집의 신간 발표회가 중국 대만에서 개최되였다.행사장에서 경쟁사인 인텔 ...
- 西西里柠檬2017
- 그저께 14:46
- Up
- Down
- Reply
- Favorite
-
12월 11일 CNN에 따르면 엘론 머스크의 순자산은 4000억 달러에 달해 사상 처음으로 이 관문을 돌파했다. 머스크의 재산은 그의 우주 탐사 기술 회사와 관련이 있는 200억 달러 가까이 다시 늘어난 것으로 알려졌다 ...
- 真不是我干的的
- 7 시간전
- Up
- Down
- Reply
- Favorite
-
미국 동부 시간으로 월요일, 미국 주식 3대 지수는 집단적으로 하락하여 마감 마감되었는데, 나지는 0.62%, S & P500 지수는 0.61%, 지수는 0.54% 하락했다. 나스닥 중국 진룽지수는 8.54% 상승해 인기 있는 중국계 ...
- 强绝商爸摇
- 그저께 13:58
- Up
- Down
- Reply
- Favorite
-
샤오펑자동차 웨이보 12월 11일 소식에 따르면 샤오펑 P7 + 는 출시 4주 만에 10000대의 샤오펑 P7 + 를 정식 인도했다.
- 崔炫俊献
- 어제 12:18
- Up
- Down
- Reply
- Favorite