Deprecated: Function get_magic_quotes_gpc() is deprecated in /www/wwwroot/tzltsy.com/inc/func.php on line 1610
「会演戏」的AI主播番茄幼说落地激情配音手艺_爱游戏下载安装-爱游戏应用下载-爱游戏娱乐
详细说明

「会演戏」的AI主播番茄幼说落地激情配音手艺

发布时间:2022-12-03 07:22:27

来源:爱游戏应用下载
商品说明

  【新智元导读】字节跳动AI Lab 智能语音与音频团队(Speech & Audio Team,后文简称 SA 团队 ),最新升级的「感情配音」工夫正在番茄免费幼说平台落地,它不但可能朗读幼说,还可能化身「戏精」表上演人物的「喜怒哀笑」。

  这一新效用借帮天然言语知道(Natural language processing,NLP)将网文转换成脚本,主动辨别旁白对话和对应的感情,采用感情化语音合成(Text-to-Speech,TTS)工夫,合成出单人多格调感情的有声书,能以顿挫抑扬的韵律付与旁白故事感,以富厚充满的感情演绎脚色对话,从而让听多得到真人播讲般的陶醉式听感。

  确切、清淡的合针言音被广大使用正在语音帮手、音信朗读等周围,但假如你念正在幼说阅读场景运用「毫无情感」的合成声响,让霸道总裁、俏皮黄蓉用平直冷冰的板滞音讲故事,那就行欠亨了。

  为了让AI主播能「哭」会「笑」,像专业配音艺员相同通报「深入的人类感情」,字节跳动 AI Lab SA 团队最新升级了「感情配音」工夫,并为番茄免费幼说供给 AI 朗读援救。

  怎样打磨出如此令人惊艳的效益?这时代体验了如何的考虑和抉择,本文将为您揭秘该工夫降生和演进的进程。

  番茄免费幼说是中国最活泼的免费幼说挪动阅读平台之一,全力于打造收集文学多元成长产物矩阵。跟着 5G 和智能摆设的普及,声响实质的消费场景无间被拓展,「听书」效用将成为各阅读 APP 拓展其运用场景的利器。AI 语音合成工夫能裁汰实质有声化的工夫和财政本钱,但正在幼说阅读场景中,向例机械合针言音的「板滞」听感,难以加强文本圆活性和沾染力,用户也较难营造身入其境的陶醉感。

  面临来自交易的「魂魄三问」,字节跳动 AI Lab 语音合成闭系承担人示意,有声阅读 AI 工夫必要冲破以下两个难点:

  针对 AI 阅读场景,目前正在业界没有完美的工夫计划,以至没有太多闭系的学术论文。

  为了然决「两浩劫」,字节跳动 AI Lab SA 团队将工夫道途定为:通过语音合成工夫(TTS)蕴蓄积聚数目富厚的 AI 音色矩阵,临盆拥有富厚感情演绎效益的单播有声书,笼罩番茄各式题材,攻陷难点「1」。同时通过天然言语知道工夫(NLP)实行主动化的文本语意知道,识别出区别脚色的感情、重音、阻滞表达,攻陷难点「2」。

  下文将以番茄免费幼说为例,映现字节SA 团队怎样从「感情表达」、「副言语」、「文本知道」三个维度,打造质料堪比付费播送剧的AI朗读效益。

  字节跳动 AI Lab SA 团队闭系承担人先容,他们会遵照普鲁契克感情色轮(Plutchiks Wheel of Emotions)计划感情类型,可能供给欢喜、哀思、惊奇、战栗等多种感情颜色,再通过感情转移的方法,让底本没有感情的发音人得到多感情合效果益。

  比拟于古代工夫,上述新工夫看待录造语音库的局部更少,可能许可发音人正在更大限度内自正在表现。同时,特意参与的少许心理剧本,可能更好地搜罗感情语音,帮帮声学模子运用半监视进修 Global Style Tokens(GSTs)对感情表征实行修模,实行发言人音色与感情的解耦。

  但仅仅实行感情表达还远远不敷,通过与真人主播的细致比较剖析,字节跳动SA 团队创造人类言语是以声传情的,因而「副言语」是白话表达不行或缺的首要身分。「副言语」也称「类言语」,指陪伴话语的某些声响景象,席卷的语音因素特点如阻滞、重音、语速、语调等,以及言语的效用性发声如笑声、哭声、叹气声、争吵声等。于是,团队针对「副言语」景象实行了精密化的修模还原,实行了正在有声书中常见的重音阻滞、疑义反问、笑声哭腔、以及各式叹气、争吵声等。值得一提的是,正在每一类「副言语」景象中,字节跳动 AI Lab SA 团队都实行了相等精细的修模,单简单个笑声就有多达 5~7 种,合用于不怜悯境下的区别语不测达。

  别的,针对幼说场景,字节跳动 AI Lab SA 团队还对格调适配度、感情连气儿性、感情辨别性、段落劳累度实行加倍细分的测评,包管合成的效益足够靠拢真人且拥有陶醉感。

  看待有声幼说而言,仅仅正在声学层面实行高展现力的合成还远远不敷,怎样可以实行幼说文本的语意知道主动修造话本,才是切近真人朗读和批量化临盆的闭节。

  正在精品 AI 有声书修造中,往往必要人为对幼说文本实行标识:划分出对话与旁白的文本,并标识出每个脚色的台词及其所要表达出的感情。这一进程往往相等的耗时耗力,导致了精品 AI 有声书无法大领域地扩量临盆。

  「AI 文本知道」通过看待上万本的幼说学。



上一篇:科幻作者拂晓谈科幻幼说中人类和人为智能的运气缠绕
下一篇:中国农业大学一流大学摆设计划(精编版)正式发表
客服中心
联系方式
0758-6135555
13922388747
- 售前客服
- 售后客服
技术支持: 建站ABC | 管理登录
×