论文解读

以文本为桥、语音分块交错生成:CSLM 的小数据跨语言语音建模

针对语音数据稀缺与跨语言扩展难的问题,CSLM 用持续预训练做模态内与跨语言对齐、再用语音文本分块交错微调做细粒度生成,在约 77 千小时语音数据下取得可比大数据的对齐与对话能力,但大语种覆盖与更大规模验证仍待补足。

 · 更新于 2026-11-18 · 约 20 分钟 · 9881 字 阅读 →
论文解读

长参考切短再选优:跨语言音色克隆如何兼顾内容与音色

针对中法跨语言音色克隆,该工作用 Qwen3-TTS-12 Hz-1.7B-Base 做零样本批量合成,配合 10 秒窗 5 秒步长的滑动切分与 ECAPA-TDNN 余弦选优,在中文 CER 低至 1.39% 至 2.25%、法语 WER 多为 4.40% 至 8.52% 的条件下得到中文最高 0.7052 与法语最高 0.7173 的余弦相似度,代价是保 …

 · 更新于 2026-11-18 · 约 18 分钟 · 8929 字 阅读 →
会议总览

iwslt-2026 论文深度解读

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 80 分钟 · 39666 字 阅读 →
论文解读

英语音色说法语汉语为何走调:语言标签与词项检索如何稳住跨语种克隆

该工作以 FishAudio-S2-Pro 为基座研究英语参考到法语阿拉伯语汉语的跨语种克隆,用母语文字语言标签减少口音泄漏并以 GRPO 强化微调改善可懂度,再用推理时参考检索做词项匹配以稳住领域词发音,代价是汉语基线一度波动且说话人相似度与自然度总体保持稳定而非大幅提升。

 · 更新于 2026-11-18 · 约 16 分钟 · 7699 字 阅读 →
论文解读

现学没见过的语言:多模态示范如何帮语音大模型做低资源识别

论文研究语音大模型能否用音频加文本示范现学未见濒危语言,报告多模态示范降低困惑度且跨语言微调接近目标语言微调,并提出用声学模型产生候选再由语音大模型重排来改善词错误率,但直接生成转写仍很弱且重排带来显存与耗时开销。

 · 更新于 2026-11-18 · 约 18 分钟 · 8692 字 阅读 →
会议总览

odyssey-2026 论文深度解读

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 108 分钟 · 53865 字 阅读 →
论文解读

科学口音难克隆:用三教师蒸馏加单语 LoRA 补学术域数据

针对 IWSLT 2026 跨语言克隆学术演讲到阿拉伯语、法语和汉语的任务,该工作用 OmniVoice、VoxCPM 和 Chatterbox 三教师做 Best-of-N 合成蒸馏再对 OmniVoice 按语言做 LoRA 微调,在完整盲测上阿拉伯语 WER 由 0.244 降到 0.228、法语和汉语说话人相似度分别升到 0.760 和 0.732, …

 · 更新于 2026-11-18 · 约 17 分钟 · 8174 字 阅读 →
论文解读

只看说话前一秒会误判:用整段对话和视频教会模型的附和时机

针对附和预测中缺视频、模态时间不对齐和只盯触发点的问题,论文用多层跨模态对齐加两阶段课程学习,在韩语 KC-Dialog 上宏 F1 达到 58.53,代价是视频推理耗时从 18.868 毫秒增至 20.083 毫秒。

 · 更新于 2026-11-18 · 约 20 分钟 · 9604 字 阅读 →
论文解读

压哪里比压多少更关键:只压 MLP 投影的编解码压缩

该研究固定 Qwen2-Audio-7B-Instruct 做受限英译中语音翻译,只对 gate_proj、up_proj 和 down_proj 做有损量化加无损 Zstandard 压缩,本地 416 条对比中 q3 加 Zstd 以 0.7767 的 COMET 最接近 0.7792 的基线而体积降到 10.312 GB,q2 加 Zstd 以 …

 · 更新于 2026-11-18 · 约 17 分钟 · 8375 字 阅读 →
论文解读

只给一小时新语言音频:把快速适应做成内外环分工的语音表示学习

论文把新语言低资源表示学习定义为跨语言元学习,用多任务自适应预训练构造适应 эпизод并以一阶双层优化实现可扩展更新,在三语平均上用 1 小时无标注适应追平 6000 小时域内上限,但零样本起点变弱且外环仍依赖源语言音素标注。

 · 更新于 2026-11-18 · 约 21 分钟 · 10261 字 阅读 →
论文解读

减去语言噪声、加回说话人线索:双路径解耦如何同时做说话人与语种识别

针对跨语言说话人确认退化与语种识别走说话人捷径的纠缠问题,论文用冻结 W2V-BERT 2.0 加小波前缀调谐与减加双路径融合,在 TidyVoice 上报告 3.16% 和 4.35% 等错误率,代价是依赖后处理校准与多阶段调参。

 · 更新于 2026-11-18 · 约 21 分钟 · 10425 字 阅读 →
论文解读

说话人确认为何换个语言就变差:四种架构跨语言迁移的对照

论文用跨语言迁移矩阵比较四种说话人确认架构在 44 种语言上的迁移结构,发现 ECAPA-TDNN 最接近语言无关而 HuBERT-SID 语言依赖最重,代价是结论只在受控小数据区间和 AUC 度量下成立。

 · 更新于 2026-11-18 · 约 20 分钟 · 9889 字 阅读 →
论文解读

同一事实换语言换模态就变答案:CCFQA 如何卡住多语言语音问答的一致性

论文针对多语言语音事实问答中跨语言与跨模态答案不一致问题,构建 8 语言平行语音文本基准 CCFQA 并用英语为桥的 5 样本迁移训练 LLM-SQA,最强证据是以极少目标语言样本达到与 GPT-4o-mini-Audio 可比的跨语言语音问答表现,代价是仍以英语为中心且仅覆盖语音与文本两种模态。

 · 更新于 2026-11-18 · 约 19 分钟 · 9136 字 阅读 →
会议总览

eacl-2026 论文深度解读

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 75 分钟 · 37568 字 阅读 →
论文解读

低资源 TTS 要换声不要换口音:多语言训练跨语言迁移为何更稳

该文在 nêhiyawêwin 与 SENĆOTEN 上比较推理时改风格嵌入、现成 SeedVC 与英数据多语言训练三路线,报告带语言嵌入的多语言训练匿名化最稳,而无语言嵌入与 SeedVC 分别付出英语口音与质量下降代价。

 · 更新于 2026-11-18 · 约 16 分钟 · 7665 字 阅读 →
论文解读

去掉语言可预测成分后跨语言帕金森检测为何能找回灵敏度

针对目标语言只有健康人语音时分类器把目标语言当成健康信号的问题,论文用健康人拟合的岭回归残差去除语言可预测成分,在 5 个骨干、3 个任务、3 个目标语言上把平均 F1 从 0.52 提升到 0.87,但语言信息并未完全消除且评估仍限于印欧语系。

 · 更新于 2026-11-18 · 约 20 分钟 · 9640 字 阅读 →
论文解读

只用英文文本把多语言接入冻结多模态空间的轻量映射

M2M 只用英文文本训练 2 个线性层完成多语言到多模态的映射,在 XTD 上英文达到 94.9% 的 Recall@10 而 11 个语言平均为 89.5%,代价是生成保真度和超大检索库上的差距仍然存在。

 · 更新于 2026-11-18 · 约 17 分钟 · 8267 字 阅读 →
论文解读

MambaVoiceCloning: Efficient and Expressive Text-to-Speech via State-Space Modeling and Diffusion Control

语音合成 | 6.5/10

 · 更新于 2026-11-18 · 约 9 分钟 · 4034 字 阅读 →
论文解读

Accent Conversion: A Problem-Driven Survey of Sociolinguistic and Technical Constraints

语音转换 | 7.5/10

 · 更新于 2026-11-18 · 约 8 分钟 · 3936 字 阅读 →
论文解读

Dual-LoRA: Parameter-Efficient Adversarial Disentanglement for Cross-Lingual Speaker Verification

说话人验证 | 7.0/10

 · 更新于 2026-11-18 · 约 11 分钟 · 5273 字 阅读 →