语音

论文用疼痛这一词汇中性但声音有变化的任务，比较七个音频大模型在只听声音与听明示评分时的表现，并用探测、感知和文本化线索回填定位信息在编码器早期存在但到语言层不可用的瓶颈， pairwise 加文本线索最多提升 32 个点。

针对字符输入与 12.5 赫兹离散声码器对齐时会丢掉短辅音的问题，论文用 50 赫兹先展开再下采样到 12.5 赫兹的办法做合成，在单说话人 Idayu 数据上把字符错误率从 27.11% 降到 21.86%，平均意见分从 4.12 提高到 4.30，但结论只在该数据和评测条件下成立。

该文针对训练与人机交互测试之间的混响加性噪声失配，在 Wav2vec 2.0 卷积层与 Transformer 层之间加入 40 维自编码器潜空间与单状态高斯混合模型估计的仿射补偿，在 MSP-Podcast 模拟训练与 PR2 机器人实录测试下用少量数据取得平均一致性相关系数提升，但全量数据时优势消失且须重训后端才能生效。

论文把训练语音分为多人多轮会话与单轮人机指令两类，在同一标注与同一流式模型下证明会话训练能大幅减少中途停顿处的误触发，但该优势在话语级判断中只出现在会话测试上，且以更长的等待延迟为代价。

论文用冻结的 Whisper 编码器加一个小的逻辑回归头做话轮结束检测，在 CALLHOME 五种语言上测零样本跨语言迁移、少量目标语言适配和阈值复用，发现跨语言差距很小且因果流式处理是主要代价。

论文把同一录音中选哪段做提示当作选择问题，用四个零样本模型的几十万条合成输出衡量可懂度、自然度和说话人相似度，并训练只听候选音频的小网络按词错率排序选提示，在不合成时接近逐个试合成的效果。

本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支，在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量，同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。

该论文把多语言识别误差按语音、形态、句法拆开，让大语言模型智能体据此逐轮选择语言配比、语句和词元监督，在 12 种 Common Voice 语言上用相同 1200 小时训练预算取得更低平均错误率，但结论只在 Whisper-medium 加固定微调配置下成立。

ConformalMOS 针对合成语音平均意见分只给点估计不可靠的问题，用冻结声学编码加顺序感知分布头做点预测，再用切分共形校准输出有覆盖保证的区间，在 BVCC 上系统级 MSE 做到 0.08 但结论只在同域划分和强骨干下成立。

本文用三角区分测试和带无偏好选项的成对偏好测试评价四个语音增强系统在不同语音上的可区分性和日常收听偏好，并检验常用客观指标差值能否预测这两个维度，发现可区分性与系统性偏好并不等同且多数客观指标相关性不稳定。

该文用同一批听音人的实验室脑电与消费级可穿戴脑电、功能性近红外、眼动数据，检验二分类质量与五级质量回归以及听者自评费力程度的可解码性，最强证据是可穿戴通道在未见听者上恢复群体质量标签，代价是相关系数 modest 且费力程度尚不能跨听者泛化。

S3-S2ST 把整句语音对翻译成按语义切分的增量训练轨迹，用 640 ms 固定分块和可调 READ/WRITE 门限实现流式语音到语音翻译，在 FLEURS 和内部 9 对数据上验证了翻译质量，并在 RealSI 上展示了质量与延迟的权衡。

针对条件可逆网络匿名化中三元组损失靠破坏频谱也能满足的捷径，论文用直接约束匿名频谱的锚损失与范围损失加蒸馏得到的梅尔域验证器做训练，在 38 个未见说话人上把攻击者等错误率从 2.83% 提高到 26.31%，代价是词错误率升到 11.75%，而正确密钥恢复仍达到声码器往返上限 94.9%。

论文用只存低维声学特征的可穿戴徽章加离线前景说话人切分得到说话负荷与活跃度，在 16 人四个月的追踪中发现办公室说话更多，而办公室说话多与更高压力和更低自评效率相关，代价是低维特征的切分误差与小样本相关性结论的外推限制。

论文用同一模型同一训练流程对比随机划分与说话人无关划分，21 组配对显示准确率下降 6.9 到 63.1 个百分点，说明已发表高准确率中说话人记忆占主导，而冻结自监督表示保留相对更多。

论文用类别对比神经元选择加匹配随机对照的消融，证明三个模型中 0.5% 解码器神经元能大幅平移认知障碍二选一决策的偏置并可跨语音文本与语料迁移，而监督线性读出显示诊断信息广泛分布在更大神经元集合中。

针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题，CoupleFlow 只用脑电与语音随时间共变做判决，并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律，代价是短窗绝对准确率仍不高且依赖记录信噪比。

针对多流同时语音到语音翻译在推理时难调延迟的问题，DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说，在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。

针对大 Transformer 做语音情感太重的问题，EmoNet 用四块深度可分离卷积加双向 LSTM 与多头注意力池化，在 TESS 加 RAVDESS 加 SAVEE 合并集上达到 96.75% 测试准确率，仅用 4.11M 参数，但结论只在表演式录音与固定划分下成立。

ImageTTS 把对数梅尔谱图变成伪 RGB 图后冻住图像 VAE、只微调 FLUX.2 的 DiT 做条件流匹配，在受控对比中验证了表征与先验迁移，再用约 100K 小时数据在零样本和指令控制合成上达到可比基线的语言准确率，但说话人相似度仍受冻住 VAE 限制。