陈根：精确复制任何声音，以假乱真只要3秒_风闻

文/观察未来科技

近日，微软研究人员发布了一种新的语音合成AI模型 VALL-E，给出3秒样音就可以精确地模拟一个人的声音。一旦它学会了一个特定的声音，VALL-E可以复制说话者的情绪和语气，即使说话者本人从未说过的单词也可以模仿。

微软称VALL-E为“神经编解码器语言模型”，它建立在Meta于2022年10月宣布的一项名为EnCodec的技术之上。

与其他通常通过操作波形合成语音的文本转语音方法不同，VALL-E从文本和声学提示生成离散音频编解码器代码。它基本上分析一个人的声音，通过EnCodec将这些信息分解成离散的组件，并使用训练数据来匹配它“知道”的声音。

为了合成个性化语音，VALL-E生成相应的声学令牌，条件是3秒注册录音和音素提示的声学令牌，分别约束扬声器和内容信息。最后，使用生成的声学标记与相应的神经编解码器解码器合成最终波形。

**简单来说，**相比传统模型采用梅尔频谱提取特征，VALL·E直接将语音合成当成了语言模型的任务，前者是连续的，后者是离散化的。传统语音合成流程往往是“音素→梅尔频谱→波形”这样的方式。但VALL·E将这一流程变成了“音素→离散音频编码→波形”。

微软在Meta组装的名为LibriLight的音频库上训练了VALL-E的语音合成能力。它包含来自7000多名演讲者的60000小时的英语演讲，其中大部分来自LibriVox公共领域的有声读物。为了使VALL-E生成良好的结果，三秒样本中的语音必须与训练数据中的语音紧密匹配。

**一方面，包括微软语音合成AI模型VALL-E在内的AI语音合成技术的进步，也带来了更多高质量的文本转语音应用程序、语音编辑****的应用。**合成人声的用途相当广泛，我们熟知的便是手机中的语音助手，用户可通过简单的人机对话，获知天气、路况等实时信息，也可命令手机完成拨号、查询等任务。而如果将VALL·E和ChatGPT结合起来，我们或许很快就能拥有一个更具人性的聊天机器人。

另一方面，由于VALL-E可以合成符合说话人身份的语音，因此滥用模型可能会带来潜在风险，比如，欺骗语音识别或冒充特定说话人。

可以预见，伴随着相关技术的发展，智能语音在个人及商业领域中的应用场景将更加丰富，不断细分的合成语音服务也会给我们带来更多的体验和惊喜。但与此同时，技术在进步的同时也需要预防可能出现的风险，包括从技术角度给技术使用留有余地和退路。