低频跑太快、高频跟不上:用小波子带重加权协调流匹配语音合成的频谱演化
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答,报告语音条件偏见是随模型而异、可被个性化指令放大的特性,而开放任务中个性化更多降低回答有用性。
该文把每帧无序波达方向估计和说话人嵌入在输入端融合,用时间与声源两维自注意力输出按说话人排序的轨迹,在合成与 LOCATA 上以关联精度提升为主、检测与定位误差同步下降为证据,但只验证至多两说话人同时至多两活跃的短序列条件。
论文研究英语语音识别在推理时用语音文本示范做领域自适应,对比拼接与交错两种示范组织,发现六个模型无需额外训练都能获益,词与说话人信息是主要来源,而拼接方式适用面更广但受上下文长度限制。
针对指令式语音合成缺字级对应与可检视性的问题,InstCharVoice 用接地标注加逐字五维声学规划实现指令到字符声学的显式落地,在关键词级声学误差和指令跟随主观分上报告更好结果,代价是说话人相似度和可听写性略有回落且抽象情感未建模。
InterBias-SV 把噪声、信道与说话方式的联合误差问题组织为联合项、两个边际项与公共参考的四项加性对照,用 4068 条记录重算出说话人编码器组平均偏离仅 +0.0026 至 +0.0088 等错误率小量、但设置间标准差更大且试次配对与检查点来源尚未验证的描述性结果。
论文以 FlexiCodec 为公共接口比较七种边界分配方法,发现音节、BPE 与词对齐更强的方法池化失真更低、重建词错误率更低,而音素级固定切分不如均匀切分,但自适应分配仍优于固定音节切分,代价是动态规划类方法边界选择耗时明显更高。
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题,用五轴设计分类比较文献,并指出对应关系与单流质量需同时保持,而空缺的离散联合建模与音频到视频方向是主要代价与缺口。
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
论文针对语音指令识别中脉冲神经网络被认为比比特串行量化网络更慢的问题,提出带延迟控制的发放内核与流水延迟搜索,在匹配映射下用建模核延迟证明跨时间步重叠可更快,并在 GSC 上以 96.31% 精度达到 119.64 μs 建模延迟,代价是等待位置选错会同时变慢变差。
论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题,提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法,在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点,而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。
该研究用从全遮挡到原声的归因轴分解部分掩膜输出,发现 41% 到 77% 的位移是标量方法看不见的正交偏离,且其方向稳定性和维度随模型与填充组合而变化,代价是仍需依赖填充选择的忠实度评估才能谈修正。
论文在笔记本与手机上实测四种神经音频解码器与 AAC-LC 和 Opus 的解码能耗与 ViSQOL 质量,报告神经端以更低码率达到相近质量但解码能耗更高,并用传输能量系数门限量化何时省下的传输能耗才能抵消多出的解码能耗,其中 EnCodec 门限最低而手机端 DAC 与 SNAC 多组超过 200 mJ/kbit 且全频段解码慢于实时。
针对纯音听阈无法反映的耳蜗神经退变,研究用内毛细胞到听神经的互信息损失在低语境 VCV 音节上比较时间与噪声探针,发现 40% 压缩加调幅噪声的建模损失最大,且该组合是行为实验中唯一显著区分自报噪声聆听困难组的条件,但安静下接近天花板与个体阈值校准限制了因果归因。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
针对长时多方全双工对话缺数据缺评测的问题,论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi,在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。
MyoCodec 针对肌电信号的流式与多任务需求,用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示,在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照,但数据偏向打字与手势且下游结构未为离散 token 重设计。
在机载旋翼自噪声下识别十个飞行指令词时,跟踪窗前两秒每频带噪声地板并做条件化输入,能在保持对数梅尔基线误报率的同时把低信噪比检出率转成实际增益,而直接相减的归一化虽能提逐段准确率却会放大连续噪声上的误报。