用一个量子混沌判别器做语音带宽扩展:Q-BWE 解读
Q-BWE 要从窄带语音恢复缺失高频,用五量子比特的量子混沌判别器一次建模多特征联合分布,并以 FiLM 条件与升余弦掩膜约束生成器,在 VCTK 与 MLS 上以约一半参数达到可比的过平滑与感知质量,但结论只在原文的单种子与多指标折中条件下成立。
Q-BWE 要从窄带语音恢复缺失高频,用五量子比特的量子混沌判别器一次建模多特征联合分布,并以 FiLM 条件与升余弦掩膜约束生成器,在 VCTK 与 MLS 上以约一半参数达到可比的过平滑与感知质量,但结论只在原文的单种子与多指标折中条件下成立。
ReFrame 针对全双工语音模型每帧都做稠密推理的问题,用双方静音时的推测执行和用户说话时的折叠并行来省 GPU 时间,并把省出的帧预算用于可恢复的检索与语言模型查询,在 1225 段对话上省 18.80-31.01% 执行时间并保持文本基本一致。
Rel2Traj 针对多声源相对运动约束问题,把描述解析为关系图与锚点后联合生成轨迹再渲染双耳音频,在未见过的运动与关系组合上关系满足率达到 0.983,代价是轨迹抖动较大且依赖受控语言与合成数据。
针对合成语音经扬声器播放再被麦克风录制后伪造痕迹被掩盖的问题,ReplayFactor 用自监督表示加声学先验融合与双属性多任务对比学习来分离来源与回放线索,在 EchoFake 开放集上把宏观 F1 从 60.99% 提高到 76.44%、等错误率从 11.86% 降到 3.05%,代价是需要四类标注和更大的联合训练开销。
针对梅尔频谱图同时需要局部时频纹理和长时跨段结构的问题,ResMamba 在 ResNet 式四阶段主干中并行使用卷积分支抓局部与选择性状态空间分支抓全局并做多尺度融合,在 GTZAN 五折平均 88.99% 且全程从零训练,代价是依赖全分辨率输入与分窗折中。
本文用 DiariZen 的自监督表示做说话人条件解码和先验约束重排,在八个领域上把说话人混淆相对降低约 15%,宏平均 DER 降到 11.90%,代价是实时率增加约 15%。
SPATEX 针对多麦克风下既要提目标语音又要保留各通道空间关系、且麦克风数量与几何可变的问题,用几何感知的通道交换与共享时间注意力逐通道重建混响目标像,并以相位差与相干性约束通道间关系,在可变阵列与固定阵列上都报告了提取与空间保真度的提升。
针对新场地不知音箱位置、又想在现场听着真实音箱做空间创作的问题,Spatial DJ 用 AR 对准采集布局、以后端距离增益实时渲染,并以 18 只音箱房的校准误差、控制延迟和 18 人听感实验说明效果与边界。
论文把理解一阶 Ambisonics 场景的语言模型用流匹配扩展到生成与结构化编辑,用按模态路由的 LoRA 在保留理解的同时获得可控合成,并在受控仿真评测中优于全量微调。
本文用说话人之间的左右和远近相对关系作为离散指令来引导多通道提取网络,在静态与运动、仿真与实测混响下验证了其在不同麦克风数和说话人数下的提取效果与适用边界。
SPHERE 针对双耳语音同时做九个感知的无参考预测,用众包听音得到真值,再以单分支与孪生卷积循环基线验证可行性,最好的片段级平均 PCC 为 0.706 而系统级孪生结构占优,但结论只在同类耳机采集与严格防泄漏划分下成立。
针对两个终端各看局部、合起来才决定标签的分布式语义通信,本文用训练期均衡后协同奖励去修正逐终端计费的门控选择,在奇偶校验上复现理论门限并在 AV-MNIST 与 PAMAP2 上节省约三成负载符号,代价是集中训练与按预算重训门控。
该文把自由文本换成固定字段的结构化字幕来微调流式扩散变换器,并用两步补全和问答式对齐评价来验证,在报告的两个生成集上对齐和质量都有提升,但结论依赖内部训练库与所选评价器组合。
论文用 1782 个配对试次比较听后 8 个感受词算出的愉悦度-事件度与听时连续直接打分的平均,发现两者二维结构相近但振奋与单调方向偏离较大,全段平均最接近回顾分,而经验映射只把联合误差降低 4.9%。
针对小提琴起音柔和导致先切音符再分类不可靠的问题,VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测,在跨数据集上提升了拨弦与跳弓等瞬态技法的检测,但换弓点检测下降且泛黄音仍困难。
论文用同一批音频同时检验表达、感知和利用三个环节,发现 8 个语音原生模型在中性措辞下几乎不报告轻度不耐烦语气,但两个开源模型的编码器仍能解码该语气,而对文字中不耐烦的稳定作答才是真正的稳健。
论文用 OmniVoice 零样本克隆训练集儿童声音合成儿童语音,再微调 Whisper-small,在 ENNI 上合成数据单独把词错误率从 19.8% 降到 16.4%,与真实数据合用则与纯真实数据相当,而跨语料泛化主要靠同一文本的多说话人声学多样性而非文本覆盖量。
共分析 48 篇语音/AI 论文
本文把音乐中的重复与变奏统一为二维点集在变换类下的匹配、出现与等价问题,用基对求变换、用出现集做紧凑编码,并证明只有去掉零缩放的子类才成群从而保证出现集内两两等价。
论文针对能量型声学指数跟踪物种丰富度不可靠的问题,用 BirdNET 物种检测加地点过滤和努力量标准化构建 ABIE 指数,在稀树草原与动物园对比中以 0.93 的小时丰富度相关超越六种常用指数,但稳定性项与跨季节比较仍有限制。