SFT

论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换，对比伪目标训练与级联两条路线，报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84，代价是需要 240 对平行数据构造伪监督与额外的微调步骤。

论文把每次停顿后的说与不说做成二分类预测，用三域 12 万标注点证明八个大模型零样本都不行，再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点，代价是仍需文本上下文与标注监督且未验证实时多模态部署。

针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题，论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范，再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200，在 T-PID 及正式集上同时降低词错误率并提升 BLEU，代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …

共分析 75 篇语音/AI 论文

针对儿童语音声学变异大而 Whisper 固定对数梅尔前端丢失连续包络结构的问题，该文用时域子带希尔伯特包络加可学习逐通道能量归一化替换前端，在相同 Whisper-small 微调下把 MyST 清洗测试集词错误率从 13.16% 降到 11.08%，代价是删除错误小幅上升且低频保留原因仍待验证。

针对单句语音情绪识别忽略对话连续性的问题，论文提出只用前文音频做均值池化增强的 ACERT 模块，在 IEMOCAP 上以 25 秒前文将无上下文基线从 68.38% 提高到 79.08%，代价是情绪快速翻转的多人对话如 MELD 几乎无增益。

共分析 62 篇语音/AI 论文

针对用户语音输入后用英语俳句语音回应的任务，HaikuS2S 采用自动语音识别加大型语言模型加语音合成的级联路线，配合通用诗歌与自录俳句两段微调，最强证据是俳句微调后音高对齐与可懂度改善，而代价是会话自然度评分下降与小规模录音带来的泛化限制。

针对 16 类非言语发声联合转写任务，该工作用跨数据集标签归一加平方根采样后接均匀微调，在官方评测得到 63.86 分排名第四，代价是第二阶段在本地验证集上从 66.25 分回落到 58.91 分且多数类别 F1 下降。

针对解耦不彻底导致内容与韵律流残留说话人可链接性的问题，该文在冻结说话人编码器下用针孔损失微调内容编码器、韵律编码器与波形生成器，探测显示学习型韵律泄漏明显下降而词错误率与情感召回仅小幅波动。

针对级联对话中上游大模型流式输出与下游语音合成之间的非标准词歧义，StreamTN 用基于 Qwen3-0.6B 的双轨延迟架构做增量规范化，在 4 帧延迟下报告 Micro-F1 为 0.8937 并以 213 ms 的首包延迟换取流式可用性，代价是复杂数理化表达式仍明显更差且更大延迟才能继续提升精度。

共分析 42 篇语音/AI 论文

论文把连续音频监护形式化为四态打断或静默决策，用两个特殊词嵌入解码，在 ESC-50 上报告 99.6% 中断 F1 与 100.0% 去重召回，在未训练的 Epic-Sounds 上保持 96.7% 起始召回，代价是嘈杂域静默召回仅 10.1% 与平均 3.5 秒流式延迟。

共分析 26 篇语音/AI 论文

针对推理时拿不到参考音频文本的跨语言克隆问题，该文用预训练 F5-TTS 合成同说话人提示做监督微调并配合静音鲁棒语速预测器，在 LibriSpeech-PC 上 WER 为 2.014% 且相似度提升，代价是自然度小幅下降。

论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法，报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持，但压到接近零泄露时非隐私准确率必然明显下滑。

共分析 59 篇语音/AI 论文

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该文把 17 个 Wav2vec 2.0、HuBERT 和 Whisper 模型统一微调为法语 35 音素识别器，先在 Common Voice 健康语音上建立基线，再冻结模型到 111 例 C2SI 病理语音上测跨域衰减与临床相关，最强证据是 Wav2vec 2.0 以 6,2% 错误率领先且错误率与人工评分高达 0,88 和 0,91 相关，但最低错误率 …