从 YouTube 字幕到说话人分段语料:Lipi-Ghor 如何为孟加拉语建 885 小时语音库
论文针对孟加拉语缺少长音频和说话人标注的问题,用频道筛选加字幕过滤加自动说话人切分做出 885 小时弱监督语料,并以四系统零样本与微调对比证明情感化方言内容最难而微调能明显降低词错误率。
论文针对孟加拉语缺少长音频和说话人标注的问题,用频道筛选加字幕过滤加自动说话人切分做出 885 小时弱监督语料,并以四系统零样本与微调对比证明情感化方言内容最难而微调能明显降低词错误率。
Live-OPSD 让流式策略先自己生成回应,再用训练时特权提示给出分布目标并做决策感知筛选,在 LiveProBench 30B 上达到 59.64 分,但结论只在同协议同数据受控对比下成立。
本文把只改动录音局部内容或属性的部分编辑音频界定为共存性与局部性问题,从生成侧梳理编辑目标做法与评价、从防御侧梳理检测定位与归因,并指出防御目前只覆盖语音内容篡改且跨域泛化仍未解决。
本文用三角区分测试和带无偏好选项的成对偏好测试评价四个语音增强系统在不同语音上的可区分性和日常收听偏好,并检验常用客观指标差值能否预测这两个维度,发现可区分性与系统性偏好并不等同且多数客观指标相关性不稳定。
该文用同一批听音人的实验室脑电与消费级可穿戴脑电、功能性近红外、眼动数据,检验二分类质量与五级质量回归以及听者自评费力程度的可解码性,最强证据是可穿戴通道在未见听者上恢复群体质量标签,代价是相关系数 modest 且费力程度尚不能跨听者泛化。
S3-S2ST 把整句语音对翻译成按语义切分的增量训练轨迹,用 640 ms 固定分块和可调 READ/WRITE 门限实现流式语音到语音翻译,在 FLEURS 和内部 9 对数据上验证了翻译质量,并在 RealSI 上展示了质量与延迟的权衡。
论文针对音乐编辑缺少配对目标而无法区分保持原貌与执行改动的问题,用 MIDI 符号层干预加同一 SoundFont 渲染构造源与目标配对音频,并证明常用指标下文本相符与目标相符会给出不同系统排序。
StreamSE 针对因果流式与手机端算力约束,用冻结因果神经音频编解码器的连续隐变量回归代替离散 token 分类与迭代采样,在 DNS Challenge 2020 上以零前视达到可比离线生成模型的 DNSMOS,并以单核 p95 每帧 61.04 毫秒满足 80 毫秒预算,代价是截断精细量化层级会损失部分说话人相似度。
TAC2 先用弱教师在时间轴上拼出带说话人的结构化描述,再用小样本专家引出韵律属性并蒸馏为统一模型,让冻结文本模型接力推理、让扩散模型按时间重建,在口语感知与可控合成上得到可验证的提升。
Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开,用分量损失训练,在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复,代价是 16 ms 算法延迟和单次重投影计算。
针对条件可逆网络匿名化中三元组损失靠破坏频谱也能满足的捷径,论文用直接约束匿名频谱的锚损失与范围损失加蒸馏得到的梅尔域验证器做训练,在 38 个未见说话人上把攻击者等错误率从 2.83% 提高到 26.31%,代价是词错误率升到 11.75%,而正确密钥恢复仍达到声码器往返上限 94.9%。
论文用只存低维声学特征的可穿戴徽章加离线前景说话人切分得到说话负荷与活跃度,在 16 人四个月的追踪中发现办公室说话更多,而办公室说话多与更高压力和更低自评效率相关,代价是低维特征的切分误差与小样本相关性结论的外推限制。
VibeVideoBench 要求智能体在一小时内只用代码渲染画面并合成声音来交付 239 个中英文成品视频,用程序检查加约 1.3 万条任务细则加五维质量分三层打分,最强的 GPT-6 Astra 与 Claude Opus 5.5 也只在约四分之三任务上通过全部核心要求,而交不出片会显著改变排名且多因收尾渲染太晚。
共分析 25 篇语音/AI 论文
论文要解决跨数十到上百小时视频的细粒度时空推理问题,用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦,在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。
论文用配对音视频证据检验检索头的稀疏、跨模态共用与骨干保留,并用因果消融和排序训练证明这组小注意力头既能解释证据定位又能直接优化文档检索,但结论只在所测 18 个检查点与 MMDocIR 等评测条件下成立。
论文用先分 5 个粗类别再在类内细分 25 类的方法降低混淆,以 0.2004M 参数的 FTANet 在自建集粗分类达 95.45%、25 类任务从 71.32% 提升到 81.49%,代价是两阶段推理时间从 0.2170 s 增加到 1.2390 s。
针对人工标注少而编码失真多的问题,该工作用 PEAQ 感知前置特征接 ConvNeXt 做对比学习与微调,并用梯度回传解释失真类型和位置,代价是对非波形保持信号的评价能力受限。
论文比较同一批学习者英语回答上的声音分类器与文本零样本分类,完整文本下音频总体更准但优势随水平和输入量变化,而两者融合明显更好,但结论只在六种母语、A1 到 C1 的平衡评测条件下成立。
论文把语音阿尔茨海默检测从二分类改写为先讲声学-语言线索推理再给标签的生成任务,用合成数据加 ADCoT-7K 与两阶段感知训练打底,再用四奖励 GRPO 优化推理质量,在 Pitt 上达到 80.72% F1 和 81.10% 准确率,代价是需要大规模合成与多阶段训练。