近似注意力失焦时:用双向状态空间替换快速注意力的生成式增强
针对 Genhancer 中 FAVOR+ 近似导致聚焦不足与特征多样性下降,论文以保持线性复杂度的 Hydra 替换全局注意力并保留扩张卷积负责局部建模,在 DAPS 真实重录上以 106M 参数在多项指标超越 FAVOR+ 并接近 Softmax 上界,代价是长输入外推与生成幻觉仍需单独验证。
针对 Genhancer 中 FAVOR+ 近似导致聚焦不足与特征多样性下降,论文以保持线性复杂度的 Hydra 替换全局注意力并保留扩张卷积负责局部建模,在 DAPS 真实重录上以 106M 参数在多项指标超越 FAVOR+ 并接近 Softmax 上界,代价是长输入外推与生成幻觉仍需单独验证。
针对编解码语音合成后训练中多指标加权融合导致候选区分度弱的问题,论文用识别机器味输出的 ChatScorer 加间隔偏好构造来保留差距明显的样本,实验显示排序偏好优化在稳定性和坏样本率上优于基线,而代价是丢弃较多提示且在线强化在小数据下仍落后。
针对多事件缺失与时序颠倒问题,该工作用音频大模型分别核验事件存在与事件顺序来构造偏好对并做直接偏好优化,在 AudioCaps 与多事件叙事基准上提升联合指令跟随准确率,同时保持可比的音频质量与分布指标。
论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。
论文构造约 108 小时三类声学条件的多人对话基准并统一评测说话人日志与识别,报告显示印度专用管线在时长加权平均上取得最低的 16.0% 日志错误率与 38.8% 级联词错率,但高重叠与低资源语言仍使三类误差同步上升。
针对波兰语儿童卷舌擦音与塞擦音的齿化、龈腭化和齿间化问题,该研究用 28 个 500 Hz 噪声能量与摩擦共振峰比值结合线性混合效应模型检验发音位置效应,最强证据是齿化在 FNER 比值上解释近 30% 方差且高频差异延伸至 14-16 kHz,代价是类别不平衡使稀少齿间类的估计精度下降。
该文用与任务无关的逐层熵、曲率、不变性加跨层生成兼容矩阵来刻画 Wav2Vec2、HuBERT、WavLM 等模型的层级分工,最强证据是中层音素核稳定而深层出现熵塌缩与身份剪枝,代价是需要为每层另训生成解码器与线性探针才能把拓扑与任务接起来。
该研究用 2×2×2 被试内设计比较自然与 SVC 合成语音在说话人相似性判断和语调识别中的表现,发现语调与语音类型、熟悉度与语音类型分别在准确率上交互,但合成语音在复杂韵律与社会线索上仍有局限。
该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示,显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%,而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。
针对可懂度仅 20.9% 的重度构音障碍单人长时数据,论文用 BLSTM-HMM 从零训练与 Whisper 英文模型微调做说话人相关识别,并把微调后的 medium 模型泛化到 TORGO,最强证据是 medium 测试词错误率 10.5% 与重度组平均 6.4 个百分点改善,代价是需要十小时级单人数据与大模型微调成本且极重度个案未获益。
论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型,显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分,并对平均基频呈现人类没有的强偏置,代价是标量平均意见分丢失了韵律维度。
论文用四系统配对消融与 768 个人评证明神经 MOS 在离散野外 TTS 上相关性塌到零且错罚噪声而漏判语义错误,代价是不能再单独用它做系统排序。
该研究用同一批句子在朗读、助手、演员、动画角色和自发对话五种设定下同时测人类相似度和合适度,发现合适度随场景独立变化,最强的证据是人类相似度与合适度的句级相关从演员域正相关转为助手域负相关,而常用客观指标在表情丰富的域失效。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
针对强零样本语音合成系统常规客观指标饱和、与人评排序脱节的问题,论文提出把本轮合成音频作为下一轮参考音频反复合成并聚合多轮指标的 I2D 框架,用十轮迭代把 UTMOSv2 系统级相关从 0.118 提升到 0.464,代价是合成与计算量成倍增加且更偏向稳定性而非多样性。
针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。
针对端到端语音对话状态跟踪缺目标域语音的问题,论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线,在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距,但文本权重与大模型规模决定保留源域与提升目标域的折中。
K-DIALECT 针对参考音频稀缺的韩语方言合成问题,用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律,并以 FiLM 融合生成语音,在六种方言上以主观方言流利度和自然度领先语音基线,代价是说话人相似度仍低于有参考音频的 XTTS-v2。
论文用相同句子配对立上下文来检验词级重音,报告显示纯文本模型能从上下文推断重音而所有受测语音合成系统都难以在语音中稳定实现,显式标注也只是不完美的上界。
该研究在 29 种语言 33 个数据集上冻结 11 个自监督语音主干只训练分类头,发现跨语言迁移更多受语言结构类型制约而非预训练量或参数规模,最强平均 F1 来自 Whisper 而达罗毗荼语系系统性失效且增大参数不能解决。