记住说了什么还不够:VoxMem 考住语音模型的谁说、怎么说与背景声
VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准,在 15 个大音频语言模型上显示 32K 时无人超过 40%,且词汇语义远好于说话人、韵律与环境声,并随历史变长持续下降。
VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准,在 15 个大音频语言模型上显示 32K 时无人超过 40%,且词汇语义远好于说话人、韵律与环境声,并随历史变长持续下降。
针对带噪耳语转正常语音内容丢失问题,论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块,在 MUSAN 六档信噪比和三套识别系统下均降低字错率,0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%,代价是推理需要同步唇部视频和同说话人正常语音注册。
共分析 43 篇语音/AI 论文
论文用同一无说话人条件的生成器把每种内容表示重新合成为语音,再测内容、说话人和韵律保留了多少,发现有监督表示只有在容量被显式约束时才解耦说话人,而码本大小只在同一机制内微调。
针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题,该研究在听音空隙内增设转写旁路并驱逐旧声学状态,在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理,但反通道接管率有所上升。
AcoustiClaim 把自由文本中的数值声称抽出并与定义该量的仪器读数对比,用混合语料控制参考是否在输入中,最强证据是外部面板仅 8 个可排序单元超过 0.3 排序相关且误差多在常数基线之上,而带校准拒答的参考系统在混合上降低十个量的选择风险但排序优势仍在均值预测器。
针对在线视听目标说话人提取中选错人且会议泛化差的问题,该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调,在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%,并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升,代价是仅在双人混合上微调且未报告设备端真实耗时。
该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标,用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟,但语音端质量仍依赖更大合成与翻译模型补强。
针对混合语音中重叠与噪声变化导致目标转写恶化的问题,该研究让同一 Whisper 分别学习目标转写与双说话人串行转写并在解码时以单一引导尺度调节声纹偏好,在冻结主干下用目标域开发集选全局尺度并以轻量预测器做逐句微调,取得可部署的全局加逐句增益而代价是需要标注开发集且预测器仍远低于逐句事后上限。
针对边听边翻需要在等够信息与尽快输出之间抉择的问题,该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP,使离线训练的语音到文本模型无需再训练即可流式运行,在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量,但高延迟段优势收窄且 DCAP 随延迟增大而退化。
论文研究无非典型听者标注时如何从少量样本泛化声音情感,选择冻结大模型加 LoRA 并用 36 个文本情感锚点打分效价唤醒,在 AAD 上训练、在 EmoSoundscapes 上跨域验证,最强证据是音频微调把 AAD 效价排序从负相关拉到 0.71 左右,代价是仍只验证神经典型数据且未真正建模 hypersensitivity 个体差异。
针对自然听播客时颅内脑电解码问题,BAT-CLIP 把 DIVER-1 脑编码器同时向冻结 AudioCLIP 音频锚和文本锚做双向对比对齐,在六个线性探针任务上多数超过单模态变体,但句子起始检测出现明显下降且嵌入聚类分析只覆盖单个被试。
针对呼吸音频中呼吸常被语音活动检测判为静音的问题,BreathGRU 用双向循环时序建模加时长约束解码做语音与呼吸两类分割,在手动标注哮喘语音上取得呼吸事件召回 0.83 与平均匹配交并比 0.81,代价是整体时长误差与部分语音指标仍弱于 Silero。
论文针对固定隐私变换在不同语句和说话人上泄漏差异大的问题,提出只用变换后音频计算异构 ASR 文本分歧的 CLEAR 方法,在 100 条语音乘 13 个 Kirigami 工作点上与留出强攻击者的音素错误率达到 Spearman 0.8 的跟踪能力,而三模型集成以约 0.30 s 延迟实现可部署的运行时反馈。
针对头动导致主次路径时变下固定次级路径估计使元自适应滤波特征失配的问题,论文提出同时学习控制滤波器更新与主次路径跟踪的耦合框架,在 60 个实测头枕路径与未见噪声上显示 90 个突变场景不稳定率为 0 且切换后 3 秒平均降噪 7.9 dB,代价是三组复数循环优化器约 324.7 百万复数乘加每秒的帧率推理开销。
针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。
论文用只交换两种乐器之间一个属性的最小扰动检验文本嵌入是否保留绑定关系,发现四个对比模型在原句与交换句之间接近随机选择,大模型的较高分数主要来自无音频语言先验,对称音频集上全部回到随机水平。
该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成,指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证,而多人场景正在瓦解双人对话假设,并据此提出时机—恢复—落地的最低联合报告标准。
论文把 Parakeet-CTC 的相对位置注意力、Swish 和异常激活全部改写为整数运算,在 LibriSpeech test-other 上以 4.97% 词错误率和 0.048 实时率跑通手机 NPU,代价是相对浮点基线仍高约 1.21 个百分点且依赖静态图与填充。
论文提出目标说话人遗忘转写任务与可插拔的注册条件门控模块,只训练轻量门控而冻结双流语音大模型,在 AMI 与 AliMeeting 上把退出者内容泄露率从 72.3% 降到 48.2% 和从 73.6% 降到 27.3%,保留者误差基本持平但混合重叠段仍有可测代价。