从医患对话音频直接生成 SOAP 病历:按小节分工的查询压缩方法
针对医患对话音频生成 SOAP 病历时信息冗长易幻觉的问题,该工作用 96 个按小节分工的可学习查询先压缩语音再结合原始语音通路生成病历,在官方测试集上 Concept F1 达到 0.5005 并表现出更稳定的幻觉指标,但人类口语子集上仍有明显下滑且样本很少。
针对医患对话音频生成 SOAP 病历时信息冗长易幻觉的问题,该工作用 96 个按小节分工的可学习查询先压缩语音再结合原始语音通路生成病历,在官方测试集上 Concept F1 达到 0.5005 并表现出更稳定的幻觉指标,但人类口语子集上仍有明显下滑且样本很少。
论文量化了预训练 AST 在窗口和跳长偏离预训练设置时分类性能大幅下降的问题,并用冻结主干加轻量 FiLM 条件调制在少数据下恢复未见配置上的性能且基本保持原配置性能。
针对多步多模态手机操作中相关信息随步骤漂移且错误会累积的问题,FocusGUI 用冻结主干加轻量残差适配器做每步证据重排,在四个主干上把平均动作类型准确率从 31.0% 提升到 64.2%,代价是增加约 1.15M-1.45M 可训练参数且只在 OmniGUI 手机数据上验证。
针对长对话中重叠导致局部声纹不可靠的问题,论文在预训练 WavLM-MHFA 中插入说话人活动条件变换以直接从完整窗口提取目标声纹,并在有限真实会议数据上微调使估计分割下宏平均说话人混淆误差相对降低。
论文针对冻结 WavLM 做说话人确认时适配不足的问题,用分组混合残差和逐帧层加权两处小改动,在 VoxCeleb1-O 上把冻结基线相对降低约两成,而 WavLM 侧只增加约两三千个可训练参数。
针对视频中发声线索细小且分散的问题,SCR-V2A 先定位与声音事件判别相关的图像区域再做双路视觉条件去控制音频扩散模型,在 VGGSound 上分布匹配最好、在 CountixAV 上保持泛化,但跨模态对齐并非全面最优且依赖定位质量。
论文诊断投影类与 CKA 类特征蒸馏在强 logit 蒸馏下对英语与非英语的不同作用,用只走非英语适配器并截断共享编码器梯度的 CAFE 把平均词错误率从 8.55% 降到 8.02%,代价是需要已知或估计语种且增加约 0.5M 参数。
FOAdapter 冻结单声道编码只传 W 声道内容,再用一条 275 bit/s 的空间码流恢复四声道 FOA,在 Spatial LibriSpeech 上把方向误差稳定到约 7 度,代价是语音客观质量低于同骨干的四通道独立编码。
针对 16 kHz 音频语言模型看不见 8 kHz 以上信号的问题,论文用搬移频带加同时刻双视图融合复用冻结编码器,在高频决定答案的对照测试上取得明显提升,但结论依赖特定的构造评测与微调预算。
SSEmb 只用标准语音转写对训练轻量适配器,把冻结语音编码器接到冻结文本检索向量空间,实现直接语音查文本,在英文与多语言及口语文档检索上接近级联系统且时延更低。
针对全双工语音智能体每轮要做的多个封闭式小决策,DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布,一次前向批量回答 80 个决策约 0.1 秒,内容理解接近读文本,而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%,代价是情感数据会拉低部分内容问答。
论文研究如何让符号音乐生成模型弹出可辨认的爵士钢琴家风格,用门控交叉注意力注入演奏家身份,并用分类器一致率与合成数据迁移准确率证明风格被保留,代价是增加约 12% 参数与分类器评估依赖。
该文把无参考修音做成逐音符序列编辑,用冻结 MusicBERT 加歌唱适配器理解上下文、两个修正头分开判断修不修和修多少、再用输入自身估计的调性先验重排候选,在真实业余对专业配对上把音高准确率从 73.25% 提到 83.43%,代价是 3.19% 的原本正确音符被误改。
共分析 245 篇语音/AI 论文
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题,选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器,在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向,在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力,代价是在部分文本到音频指标与分布内主观评分上 …
共分析 48 篇语音/AI 论文
针对领域实体与罕见专有名词难识别的问题,BaLEEN 用冻结语言模型加 Perceiver 瓶颈生成可预计算的层偏置注入冻结 CTC 编码器,在合成维基测试集上关键词漏识相对下降 8.7% 且词错误率相对下降 21%,代价是依赖合成语音与固定上下文预计算条件。
共分析 55 篇语音/AI 论文
论文用冻结 HuBERT 加 12 个事后融合模块做对照,问 64 维韵律监督表示是否在参数量相同的零输入融合之外再降词错误率,最强证据是三语料上 Learned 与 Null 差值仅 +0.07、-0.09、+0.00 个百分点且不显著,代价是干预实验显示模型仍依赖该表示。