低资源希腊语合成靠确定性提示词稳住说话人:多语先验加两阶段适配
针对希腊语干净单说话人数据稀缺导致音色漂移的问题,论文用 WhisperX 清洗与切分搭建希腊语适配数据,再对 880M 参数 Parler-TTS 做多说话人全量微调加 3.5 小时单说话人 LoRA,并以确定性提示词替代大模型生成提示词,最优配置报告 WER 10.7%、MOS-I 4.00、MOS-C 4.24,但频谱保真与目标说话人相似度仍有限。
针对希腊语干净单说话人数据稀缺导致音色漂移的问题,论文用 WhisperX 清洗与切分搭建希腊语适配数据,再对 880M 参数 Parler-TTS 做多说话人全量微调加 3.5 小时单说话人 LoRA,并以确定性提示词替代大模型生成提示词,最优配置报告 WER 10.7%、MOS-I 4.00、MOS-C 4.24,但频谱保真与目标说话人相似度仍有限。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
针对码切换话语中带矩阵语言口音的英语检出接近零的问题,论文用 80 条口音匹配英语做 LoRA 微调 MMS-LID 并引入 LangRank 排序评估,在印地-英语等四对语言上提升英语检出同时保持单语性能,代价是仍与 Oracle 有差距且依赖已知矩阵语言选口音。
针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题,MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合,在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA,代价是路由与负载均衡等额外机制和调参成本。
该提案要把语音感知大语言模型从只做转写扩展到原生联合完成自动语音识别与说话人切分,做法是冻结大语言模型主干、分两阶段训练音频编码器与适配器并加入上下文提示,证据是所列开源切分数据的时长与语言分布以及词错率与切分错率的明确定义,代价是切分标注数据少且尚未给出可运行系统的定量主结果。
SafeLens 针对短视频中仇恨内容只在少数时刻出现而整片标签会引入时间噪声的问题,用先切分语义片段再融合语音转写、屏幕文字和画面描述并由微调策略大模型输出标签加置信度加一句话理由加伤害类别的结构化判断,演示证据显示其能在同一视频内区分出 93% 与 73% 等不同置信度的多个片段,但原文未报告可复算的检出率与对照基线所以只能作为工作流演示而非性能结论。
该工作以 Wan2.1 为基座,先用 LoRA 适配长视频,再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情,最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动,最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先,代价是三阶段大算力训练与推理时多路条件前向的额外开销。
共分析 38 篇语音/AI 论文
针对海豚发声时长伸缩与连续频谱难以直接比较的问题,论文将 ClustalW 的离散替换得分改为高斯核平均相似度并配合微调 Whisper 的 128 维嵌入做渐进式多序列比对,在成体攻击与幼体游戏攻击两类精细策展数据上以间隙结构与列方差等指标验证了对齐能恢复同步化爆脉冲等时序母题,但代价是领域适配与早停阈值仍需人工校准且过度拉伸会稀释时间分辨率。
针对双人对话中后通道、打断与重叠难以可控生成的问题,KABURI-TTS 以每说话人的音素光栅与由此导出的语音活动为条件在双通道上渲染对话语音,人在真实对话数据上的主观评测与语音活动统计显示其交互自然度与重叠频次优于强基线,但仍未达到真人对话上限且依赖外部光栅构造的质量。
针对全曲音乐视频需要把歌曲语义与音乐结构转成连贯视觉发展的难题,MVWeaver 用层次化规划把总概念逐级展开为可渲染镜头,并用从真实歌曲-MV 对中学习到的歌曲到视觉桥接来条件化规划,证据显示其在歌曲贴合与长程连贯上优于同条件基线,但增益依赖桥接监督与层次资产复用。
针对多用户 OFDM 下多模态 Token 经 Modified Rapp 功放非线性失真导致任务精度与能效下降的问题,MAPS 用两阶段训练在嵌入空间联合优化跨模态对齐与均衡 PAPR 抑制,在 IBO=3 dB 时相对同条件基线获得约 64.5% AVQA 精度提升与约 64.4% 任务导向能效提升,代价是引入方差均衡与锚定重构等额外约束以稳定训练。
共分析 44 篇语音/AI 论文
论文把回合结束判断搬进识别器,用语义完整加已观测静音的因果标注训练小 LoRA,在部署一致回放上以 0.97 边界召回、0.39 s 中位延迟、每语音分钟 0.3 次误触发超越全部静音超时,代价是统一多任务后精度回落与离线词错率小幅上升。
在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度,其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献,而可学习的 LoRA 更新在模型特定的层带上起决定作用。
共分析 38 篇语音/AI 论文
共分析 29 篇语音/AI 论文
共分析 21 篇语音/AI 论文
语音识别 | 8.6/10
音视频理解 | 7.4/10