多语言

针对中英双语带标签转写任务，论文用词汇重映射让 Whisper-medium 统一生成词与 16 类非言语声标签，并用公开语料增强过滤加影视挖掘把最终分从 33.32 提到 53.61，代价是英文纯文本词错率上升且细粒度类别仍偏弱。

针对菲律宾语重音需靠句子上下文消歧但句子级音素标注稀缺的问题，该研究用 Wiktionary 词典加 LLM 辅助管线合成句子级弱监督数据微调 CharsiuG2P 初始化的 ByT5，在 1173 句人工校对集上把音素错误率从约 19.74% 降到约 0.54%、字符错误率降到约 2.50%，代价是 malumi 类与非标准词仍易错且大合成集增益主要体现在 …

该研究用男声女声交叉朗读男性刻板、中性、女性刻板长文本检验五款英西汉语音到语音模型，报告输出声音无可靠漂移但说出的性别判断全部跟随内容，错配时集中误判而固定音色审计看不见该偏差。

论文以 7 语种 668.8 小时配对语料构造说话人、生成方法和真实源三重隔离的跨域评测，报告同域准确率常达 100% 而跨域大幅跌落甚至近随机，最强的 wav2vec 2.0 与 Whisper+MLP 也只在部分语言保持可用，代价是生成方法随语言不同且需持续更新。

针对方言、动态实体、口语不流利和长上下文的生产转写问题，该报告用混合专家大语言模型解码器统一控制语言、热词、历史与润色，并在中英文与多语基准及工业集上给出可核对的误差率与延迟对照，其代价是依赖大规模数据管线与指令组合训练。

该研究把 Whisper 用于含英语、粤语、台山话与毛利语的口述史转写，以人工转写的 9 分 33 秒片段为参照比较不同尺寸与语言指定条件，最好的语言未指定 LARGE-V3 词错误率为 12.10，但代价是对非英语片段的转写与区分能力不足，而全库 12 小时 42 分钟机转仅用 5 小时，约为估计人工时间的 1%。

GhostWord 用约 400 毫秒触发音与目标词的码本做词级时间定位投毒，在 Common Voice 英、立陶宛语和多种骨干上报告约 89.3% 攻击成功率，而 ABL、ANP、SAU、I-BAU 等优化防御把成功率压到约 29.1% 时干净 WER 从约 21.5% 升到约 45.0%。

针对正常到伦巴德语音转换中风格与说话人、内容纠缠的问题，ProLombard 用对齐说话人编码、音素级去风格与再注入、VQ 中值下采样三层结构建模，在中英文数据上提升了可懂度和伦巴德相似度，代价是推理仍需目标噪声等级且与真实伦巴德仍有差距。

论文用冻结视觉语言模型加 Whisper 转写路由构造免训练语音中心全模态理解，在 56 个基准和 21 种语言的配对比较中语音任务可比原生全模态训练而保留视觉推理能力，代价是增加串行语音识别延迟且无法处理音乐与环境声等非语音线索。

针对播客式多轮对话中声称分散与 ASR 噪声的核查难题，TRILOGUE 以源文章可追溯的英俄哈三语对话与配对音频构建受控基准，显示仅看声称的验证最难、加入源证据后大幅回升，而哈萨克语的识别与合成瓶颈仍是主要代价。

针对跨语言配音与双人全双工对话，Text-AB 用 DAC-VAE 潜变量上的流匹配 DiT 加 mT5 交叉注意力学对齐，经 480k 小时预训练与三路微调，在配音可分享性上领先内部系统约 0.38-0.40 分，短对话接近真值，但长音频依赖多扩散拼接与多候选重排带来额外推理代价。

该工作用 15 秒参考驱动 OmniVoice 教师批量合成泰语语料并训练 82M 固定音色 Kokoro 学生，以 68.2% 挑战集关键词准确率与 91.4% 停顿精确率保留音色并减少词内停顿，代价是难词实现仍落后于教师与更大系统。

该文只训练窄而深的学生编码器逐帧回归教师预量化潜变量，在 2.8 倍参数压缩下六组配对中五组相对词错误率退化不超过 1.9%，同容量独立训练对照优 3.9% 相对，而联合训练的 J3 退化 7.7% 揭示教师与阶段边界。

该规则验证基准收集 3456 个跨 109 语言的难译输入；在 911 个纯文本难例的盲测与 Gemma 4 验证下，人类参考译文通过率为 99.1%，Gemini 3.1 Pro 为 43.8%。人译高通过部分由收录条件保证；提供人工规则后的高分属于特权信息诊断，不代表模型自生成规则的能力。

语音识别 | 5.8/10

语音合成 | 8.2/10

多模态模型 | 5.1/10

共分析 23 篇语音/AI 论文

语音识别 | 8.4/10

语音识别 | 8.1/10