训练没见过的攻击怎么验:把声纹验证搬到深度伪造溯源
该文把攻击溯源做成验证问题,用自监督前端加角度间隔与混合正则训练与训练集完全隔离的嵌入器,在分布内用少样本后端取胜而在分布外用零样本余弦取胜,但两类等错率仍在 13% 至 30% 量级。
该文把攻击溯源做成验证问题,用自监督前端加角度间隔与混合正则训练与训练集完全隔离的嵌入器,在分布内用少样本后端取胜而在分布外用零样本余弦取胜,但两类等错率仍在 13% 至 30% 量级。
Affectron 针对开放场景下非言语发声数据少且无对齐监督的问题,用解耦小语料上的情感驱动匹配与情感感知路由构造增广样本并微调 VoiceCraft 主干,报告显示非言语真实感与多样性提升而口语自然度基本保持,代价是重叠语音未建模且依赖伪标签与小规模干净语料。
该工作以音频为唯一证据检验蕴含、一致、合理、口音漂移与口音克制五类推理,报告显示生成式模型优于对比式模型但普遍过度蕴含,而转写加推理的级联系统在医疗蕴含上取得更高宏平均 F1 并伴随明显的模型偏向代价。
针对方言阿拉伯语数据分散与标注不一致问题,Arab Voices 用统一转写与元数据对齐 31 个数据集并以方言度与音频质量代理做可比刻画,在 14 个方言零样本评测中显示现代模型仍困难而多模态大模型相对更稳,代价是音频质量代理与人感并不完全一致且部分低资源方言仍缺乏数据。
该研究以英语参考音频为输入对比四种零样本跨语种克隆系统,报告了以 VoxCPM2 在阿拉伯语上同时取得 0.25 词错误率和 0.72 说话人相似度为代表的权衡证据,而代价是多数系统仍在可懂度与身份保留之间此消彼长且仅两套系统支持阿拉伯语。
针对可控语音合成中指令理解与语音生成耦合导致标注昂贵的问题,该文把外部大语言模型定为指挥家生成逐段音高能量音色数值计划、把 BatonTTS 定为乐团按计划合成,最强证据是 1.7B 模型在英文情感准确率 57.6% 并零样本迁移到中文 56.2%,代价是依赖外部大模型生成计划并引入约 20 秒级计划延迟与两阶段推理链条。
CMTD 针对纯文本与浅层推理在对话情绪识别中误判复杂思维模式的问题,用多智能体分别提取大五人格特质、四步认知扭曲、表情与语音描述再融合预测,在 MELD 与 IEMOCAP 零样本条件下报告优于同条件基线的准确率,同时以多轮大模型调用带来明显更高的时间与费用开销。
针对延续式语言模型把提示音色和韵律一起复制而无法独立控制的问题,DisCo-Speech 用三因子解耦编码器加内容韵律融合重建实现韵律延续与音色注入,消融显示软约束兼顾自然度与音色一致,代价是单阶段自回归的克隆相似度仍弱于多阶段流匹配系统。
FC-TTS 要解决用两段不同参考语音分别控制音色与风格的问题,它用音色先定模糊谱、风格再细化的方法组织生成,并在 RAVDESS 音色控制上报告保持可用质量,而代价是放弃部分内容与细节信息并引入中间瓶颈。
共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读
针对多文种语音识别中同一语言输出文字不确定的问题,论文用解码器激活均值差提取文字向量并在推理时相加,在塞尔维亚语和中文混淆缓解与跨语言罗马化、西里尔化上验证效果,但西里尔化弱语言与编码器干预仍有限。
针对并行三元组稀缺与合成目标封顶质量的问题,MimicLM 把 TTS 合成语音做源、真录音做目标并配合交错文本建模与偏好对齐,在保持音色口音情感相似度可比的同时提升自然度,代价是仍需大规模合成过滤与两阶段训练且真实输入词错率高于纯音色转换。
共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读
针对 10 分钟到 540 分钟音频中说话内容、说话人、情感与声音事件交织推理难的问题,PlanRAG-Audio 先把音频离线转成时间对齐的结构化库,再按问题规划检索并只取相关片段生成答案,以检索把推理代价与原始长度解耦,代价是受上游感知精度约束并需承担离线预处理开销。
针对同一句内分段情绪与时长难以用自然语言独立控制的问题,该文用分阶段监督微调加分组相对策略优化改造 CosyVoice2 的语音语言模型,最强证据是联合优化后在标准集上 MER 语句准确率 54.12% 与时长 A15 54.64%,代价是严格联合满足率仅 5.29% 且换说法时仍需蒸馏修复。
针对呼吸音频编码与临床文本编码语义不兼容的问题,RespiraMFM 采用先对比训练投影器再冻结做指令微调的两阶段结构,在九个呼吸疾病任务上报告了监督平均 AUROC 0.823 与零样本平均 AUROC 0.738,代价是依赖症状元数据质量且小病种评测样本较少。
针对零样本合成过度继承参考风格的问题,ReStyle-TTS 用解耦引导降低参考依赖、用正交融合的风格 LoRA 做连续相对调节,并用音色一致性优化补回音色,代价是新风格仍需收集数据再训 LoRA。
SLAP 针对语音中人口学、嗓音质量与健康属性难以零样本推断的问题,选择用大语言模型把异构元数据转写为自然语言描述再与语音做对比学习,最强证据是 38 个二分类任务上零样本平均 F1 达到 62.9%,代价是预训练数据仍不均衡且小测试集任务波动大。
针对端到端转写丢失时间信息的问题,该研究用谱重力初始化加截止时间限制的期望最大化估计每帧共振峰并做语音切分,在爱尔兰语、特威语和沃提克语上以零样本方式取得高同质性和可比的归一化互信息,但对鼻音和滑音等过渡音仍存在过切分代价。
针对前向加噪加反向去噪带来的旋律失真问题,论文用增量去噪分数直接在数据空间优化音频,并用个性化增量分数加分布偏移正则与时序对比损失引入用户自定义风格,报告显示在内容保持与偏好率上占优,但强风格迁移与原曲保持之间仍需权衡。