E3-System:用检索到的风格语音让任意音色说出指定情感
E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题,用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成,在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。
E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题,用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成,在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。
论文用 305 首棚录独唱和 68000 余段音频对齐的装饰音标注解决韩语传统声乐缺乏可计算语料的问题,基线显示音高曲线在分类上超过冻结通用音乐模型,而频谱在线索定位上互补,代价是固定调与速度限制了自然表达。
JSIR 用 44 首标准曲的 267 个商用录音和统一拍点网格上的拍点、和弦、段落三层标注,解决流行乐数据训练的模型在爵士上拍点小节线、七和弦与段落边界失效的问题,基线显示外部爵士集下拍 F 值从 87.7% 到 89.2% 而七和弦准确率明显提升,但结论只在按曲目分组、可靠片段评估和阈值调参与否等条件下成立。
TASTE 把文字拆成标签、段落计划和意象三路条件,用三层弱监督数据和两类模型实现可控钢琴生成,在情感与结构对齐上提升明显,但伴奏与演奏风格仍受标签可靠性限制。
论文针对说话人验证攻击者的训练与评测数据属性不平衡会扭曲匿名化隐私估计的问题,构建了在性别年龄口音音高上平衡的 VoxAnon 数据集,用四种攻击者与三种匿名器的对照证明不平衡会改变子群难易排序,而平衡后仍残留与口音音高相关的差异。
该论文用 30 人 128 通道、超 25 小时的三场景“声音气泡” 听觉注意脑电数据集,把传统单干扰人范式扩展到多人群组竞争,并用行为、信号质量、Alpha 节律与 mTRF 包络重建验证了数据可用性,最强证据是注意语音重建优势 Δr 为 0.0196、单试次准确率 0.717,但绝对相关仅约 0.026 且会议场景样本更少。
针对 7 个通用声音类别,用自动化数据引擎清洗训练数据并用两阶段方法优化类级别 CLAP 控制信号,在 AudioSep 基线上提升 SDRi 与 SI-SDRi 并在 17 人主观偏好中占优,但增益依赖于数据筛选与控制信号两步配合且商业模型对比不具备客观指标可比性。
该论文针对以产品为中心的广告视频生成,构建了 30 万条参考图-提示-视频三元组与六维评测体系,并用微调实验证明数据能改善多镜头连贯性与卖点呈现,但细粒度保真仍有代价与局限。
论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题,构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型,发现第二语言儿童最难而分年龄与联合微调各有适用条件,代价是朗读体与分布不完全均衡且原始音频不公开。
论文用四层任务分类同时做评测集 BEANS-Next 和训练集 ROOTS,证明按层补充整理元数据、语言模型合成文本和合成音频能提升已有基座在声学感知、类别识别、场景理解和示例学习上的表现,但计数和开放描述仍弱且结论只在给定划分和指标下成立。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数,用单材质加混合材质合成数据训练集合聚合模型,在合成测试上误差和单查询耗时低于可比基线,并能把真实录音转成新网格的重渲染声音。
InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟,并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。
MOV-AAD 用 50 人、64 通道脑电加眼动和外周生理同步记录移动双人对话下的注意选择,验证了包络重建和注意分类的可行性,但轨迹解码只在 Alpha 频段有限成立。
该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。
论文用同一批 96 千次每秒录音比较全频带、低通和只留超声三种输入,发现 22.05 千赫兹以上的超声带能把孤立乐器识别和复音检测提高约 4 到 6 个百分点,但代价是需要 2.18 倍存储和宽带采集链路,且结论只在录音室隔离分轨和留出完整录音的划分下成立。
UniData 把用户的一句简单需求先扩展成多样事件,再用文本为中心的多模态指令生成器逐轮生成九种模态的对话,并用轮间相似度校正重复与偏题,在 GPT 评测的四维质量上高于对照方法,但多轮增益与跨模型迁移都依赖评测集与微调条件。
XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题,用带时间戳的双人转写大规模自监督预训练再加合成多轮微调,在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。
AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题,用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段,并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入,代价是实例级区分力弱与仍存在幻觉风险。