偏好优化

📄 Direct Preference Optimization For Speech Autoregressive Diffusion Models #语音合成 #扩散模型 #偏好优化 #零样本 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #偏好优化 #零样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Zhijun Liu（香港中文大学（深圳）SDS, SRIBD, SAI；字节跳动Seed） 通讯作者：Shuai Wang（南京大学智能科学与技术学院） 作者列表： Zhijun Liu（香港中文大学（深圳）SDS, SRIBD, SAI；字节跳动Seed） Dongya Jia（字节跳动Seed） Xiaoqiang Wang（字节跳动Seed） Chenpeng Du（字节跳动Seed） Shuai Wang（南京大学智能科学与技术学院；深圳湾区研究院） Zhuo Chen（字节跳动Seed） Haizhou Li（香港中文大学（深圳）SDS, SRIBD, SAI；深圳湾区研究院） 💡 毒舌点评 亮点在于首次成功将DPO“移植”到语音自回归扩散模型上，用实验证明了其能显著提升表达力（F0方差翻倍）和鲁棒性（CER降25%），开辟了ARDM后训练的新路径。短板则在于对训练过程中“winning/losing样本扩散损失双升”这一反常现象缺乏理论解释，且开源信息仅限音频示例，核心代码与模型未公开，影响了工作的可复现性和影响力。 📌 核心摘要 问题：当前基于自回归扩散模型（ARDM）的零样本TTS虽性能领先，但生成的语音常与人类偏好不对齐，例如在给定情感提示时仍可能产出单调的语音，缺乏表达力且在处理长难句时鲁棒性不足。 方法核心：提出ARDM-DPO，一种专为语音ARDM设计的直接偏好优化方法。它将DPO从离散LLM或通用扩散模型扩展到连续Token的自回归扩散框架中，推导了适用于v-prediction（如DiTAR模型）的训练目标函数。 新意：这是首个针对TTS领域ARDM的偏好对齐方法。它无需训练独立的奖励模型，而是直接利用偏好数据微调模型，使模型输出分布向人类偏好的样本偏移。 实验结果：在DiTAR基座模型上进行实验。任务A（提升表达力）：ARDM-DPO将F0方差从14.2 Hz提升至29.2 Hz（近翻倍），同时说话人相似度（SIM）仅从0.770微降至0.765，WER从5.17%降至3.73%。任务B（提升鲁棒性）：在复杂文本测试集上，CER从8.37%降至6.32%（降幅25%）。主观评估显示，任务A中表达力获显著提升，任务B中自然度和说话人相似度得以保持。主要结果见表1和表2。 表1：任务A（提升F0方差）部分结果 ...

📄 PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs #语音翻译 #偏好优化 #大语言模型 #多任务学习 #多语言 ✅ 7.5/10 | 前25% | #语音翻译 | #偏好优化 | #大语言模型 #多任务学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Jing Xu† (†The Chinese University of Hong Kong) 通讯作者：未说明（论文作者列表为Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen，未标注通讯作者） 作者列表：Jing Xu（香港中文大学）、Jiaqi Wang（香港中文大学）、Daxin Tan（华为人工智能实验室）、Xiao Chen（华为人工智能实验室） 💡 毒舌点评 亮点：巧妙地将机器翻译中的“回译”思��移植到语音翻译，用于自动、无需人工标注地构建偏好优化数据对，这一设计在降低S2ST研究门槛上非常聪明。短板：整个系统的“地基”——偏好数据质量——完全依赖Whisper等上游ASR的转录准确性，论文对此潜在的误差传递与放大问题缺乏深入分析，这使得方法的鲁棒性存疑。 📌 核心摘要 要解决什么问题：大语言模型在语音到语音翻译（S2ST）任务上应用不足，主要受限于高质量的配对S2ST数据稀缺。 方法核心是什么：提出PROST-LLM框架，分三步渐进式提升LLM的S2ST能力。首先，在CVSS数据集上进行有监督微调（SFT），并采用“三任务学习”（ASR，S2T，S2ST联合训练）和“模态链”（先生成目标文本，再生成目标语音）策略增强初始性能。其次，利用微调后的模型对源语音生成多个候选翻译，再将其回译为源语言语音，通过与源语音的多指标比较（WER, MCD, BLEU, METEOR）自动构建偏好数据对（首选与拒斥）。最后，使用这些偏好数据对进行偏好优化（PO），进一步精炼模型的S2ST性能。 与已有方法相比新在哪里：首次将“模态链”和“三任务学习”引入LLM的S2ST训练；首次利用回译机制自动构建偏好数据，并结合偏好优化来提升LLM的S2ST能力，避免了昂贵的人工标注；证明了可以利用单语语音语料库构建偏好数据，减少对配对S2ST数据的依赖。 主要实验结果如何：在CVSS语料库（英法双向翻译）上进行实验。与强级联系统（S2T+TTS）相比，PROST-LLM（采用模态链+DPO）将BLEU差距从初始的14.38（en2fra）和8.83（fra2en）显著缩小至3.15和1.04。消融实验证明，三任务学习和模态链策略均优于基础SFT；偏好优化能持续带来提升；使用单语数据构建偏好对甚至能取得比使用配对S2ST数据更好的效果。所有实验配置下的语音自然度（UTMOS）均高于级联系统。 实际意义是什么：为在数据有限条件下增强LLM的跨模态语音生成与翻译能力提供了一个有效框架，其自动偏好数据构建方法具有普适性，可推广到其他多模态生成任务。 主要局限性是什么：（1）偏好数据质量强依赖Whisper转录质量，其误差会直接影响偏好信号的准确性，论文未分析此影响；（2）实验仅在英法翻译上验证，多语言泛化能力未知；（3）硬件训练信息缺失，大规模复现的计算成本未知；（4）虽然模型使用了LLaMA 3.2-3B，但论文未提供模型权重，且框架的扩展性（如更大LLM、更多模态）有待验证。 🏗️ 模型架构 PROST-LLM的整体训练流程与模型架构如图1所示。 ...