多语匿名语音还能被认出来吗:声学与内容两类攻击的对比
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
针对无预先切分的多语双人对话说话人归属转写问题,比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线,开发集上级联平均误差更低但统一路线在部分语言上占优,代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。
论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据,最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对,人力单题中位耗时 54.6 分钟说明检索代价很高。
论文要解决英文 CLAP 无法理解印度语言描述的问题,只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间,最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。
论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标,提出只在训练时使用的局部原型重建约束,用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关,低资源翻译上提升最明显。
该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。
该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译,在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升,代价是常驻约 3.6 GB 和数十秒级延迟。
论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要,提出去掉它们的简化结构,在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数,代价和结论都只在联合微调与冻结编码器等明确条件下成立。
针对只有静音视频和候选文本的配音唇同步评审问题,论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理,在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。
论文以 150 语言共享中训底座解决通用翻译,再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力,并为语音、音节控制、长文档单设训练路径,最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等,代价是质量与约束控制之间存在可测 trade-off。
该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上,用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API,发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先,而巴斯克语低覆盖与男性优势的性别差异构成主要代价。
τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后,用 4500 次全双工通话检验五种语音配置,显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队,且任务、交互、生成三类排名互相不一致。
该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释,在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务,但解释监督来自模型生成且临床标签为量表阈值定义,解释只能作辅助核查。
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
针对长时多方全双工对话缺数据缺评测的问题,论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi,在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。
论文把声道建成可微声学管道,用频域传输线求解与可微湍流门控合成元音辅音,再用神经场参数化做梯度反演,并在自监督声码与无配对语音到 MRI 视频上验证,但逆解不唯一且鼻腔未建模。
针对窄带语音缺失高频且稀疏瞬态难以恢复的问题,UDSS-BWE 用双流 Swin-1D 格型生成器建模幅度和相位,并用五个决策科学与不确定性判别器做尾部敏感监督,在 VCTK 与 MLS 法语上以 18.5M 对 72M 的参数量取得更优感知质量,代价是训练期判别分支带来的额外开销。
论文以语种识别为可控分类任务,研究仅由声学损坏引起的域偏移,构建 CWWS 小库并用 DomainBed 比较 ERM、MMD、DANN,发现域内性能不能预测跨域鲁棒性且显式域不变约束未稳定超越 ERM,并在 MMS-LID-126 大系统上验证了多样声学暴露主导鲁棒性但转移不对称、未知严重失真仍困难。
论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读