RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification

📄 RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification #对比学习 #多模态模型 #参数高效微调 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1.0/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.5/10 | 前50% | #对比学习 | #对比学习 | #多模态模型 #参数高效微调 | arxiv 👥 作者与机构 Shakhrul Iman Siam¹, Tiantian Feng², Jiankun Zhang³, Shrikanth Narayanan², Mi Zhang¹ ¹The Ohio State University, ²University of Southern California, ³University of Chicago 通讯作者:{siam.5, mizhang.1}@osu.edu ...

2026-06-10 · 更新于 2026-07-27 · 3 min · 464 words

Speech Encoder Fusion for LLM-based Automatic Speech Recognition

📄 Speech Encoder Fusion for LLM-based Automatic Speech Recognition #语音识别 #多模态模型 #低资源 #参数高效微调 7.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 后50% | #语音识别 | #参数高效微调 | #多模态模型 #低资源 | arxiv 👥 作者与机构 Jakob Poncelet, Hugo Van hamme KU Leuven, Department Electrical Engineering ESAT-PSI, Leuven, Belgium 💡 毒舌点评 本文的核心想法——融合多个语音编码器以提升LLM-ASR性能——直觉上合理,但技术执行和实验论证深度不足。所谓“创新”的融合架构(如Sigmoid门控)本质上是简单的加权平均或注意力机制的标准应用,缺乏针对语音-LLM交互的专门设计。实验结论在多语言和说话人分离任务上显得有些仓促,部分关键结论(如“Temporal Transformer捕捉互补信息最佳”)仅凭有限的表格数据支撑,缺乏更细致的分析。论文自述的“计算开销有限”优势在文中未提供任何实际运行时对比数据,显得空洞。整体而言,这是一项增量式的工作,将现有融合技术打包应用到语音LLM中,其技术贡献和系统性分析未达到顶会论文的典型水准。 📌 核心摘要 本文探讨了在基于大语言模型(LLM)的自动语音识别(ASR)系统中,融合多个预训练语音编码器的可能性。作者旨在利用不同编码器(如多语言的Whisper与单语言的专用模型NeLF、Wav2Vec2)的互补性来提升性能。研究提出了五种融合策略:特征拼接、Sigmoid门控、多头门控、位置Transformer和时间Transformer。实验在荷兰语、英语的单语和多语ASR任务,以及结合说话人编码器(ECAPA2)的说话人分离ASR任务中进行。结果表明,在大多数设置下,精心设计的融合方法(特别是Transformer类)优于简单的特征拼接,且计算开销增加有限。此外,将预训练ASR解码器的初步预测作为LLM的额外输入,可进一步显著提升性能,甚至在某些情况下使语音LLM接近或超越专用ASR模型。 ...

2026-06-10 · 更新于 2026-07-27 · 3 min · 521 words

Towards Deep Contextual Reasoning from Broad Descriptions for ASR with Speech-LLM via Metadata-Driven Reasoning Chains

📄 Towards Deep Contextual Reasoning from Broad Descriptions for ASR with Speech-LLM via Metadata-Driven Reasoning Chains #语音识别 #参数高效微调 #多任务学习 #数据增强 6.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #参数高效微调 | #多任务学习 #数据增强 | arxiv 👥 作者与机构 Jakob Poncelet, Hugo Van hamme,来自比利时鲁汶大学电气工程系ESAT-PSI。 💡 毒舌点评 这篇论文的核心想法——让语音大模型通过“推理”来利用宽泛的元数据进行纠错——听起来很美好,但更像是把传统的“关键词偏置”包装成了“深度推理”。其“推理”链的生成完全依赖于一个离线的文本LLM,训练时模型只是在模仿这个固定链条的输出,这与模型自身进行多步逻辑推断的“深度”相去甚远。实验上,评估集(M³AV)与训练数据来源高度重合(同为YouTube学术视频),这让人怀疑其改进是否仅仅是过拟合到了特定领域和说话风格。更关键的是,论文声称解决“音频与上下文冲突”,但并未提供任何实验或分析来展示模型在这种情况下会如何决策,这使得其核心论证之一成了空中楼阁。总的来说,工作扎实但缺乏真正的突破性,将“链式思维监督”等同于“学会推理”是一个需要更严格论证的强假设。 📌 核心摘要 本文针对自动语音识别(ASR)在罕见词和领域特定术语上表现不佳的问题,提出了一种利用广泛上下文描述(如视频标题、描述)进行“深度上下文推理”的方法。核心思路是构建一个两阶段流程:首先,通过流水线将音频、其错误转录文本、上下文元数据以及文本LLM生成的“推理链”配对,构建一个“推理增强”的语音数据集(约400小时)。其次,训练语音LLM(如Qwen2-Audio-7B)以链式思维(CoT)格式输出:先生成初始转录,然后基于上下文进行推理,最后输出修正后的转录。实验在M³AV、SlideSpeech和SlideAVSR等测试集上进行,表明该方法在稀有词和命名实体识别上相比多种基线(如无微调、仅ASR微调、带上下文直接微调)均有提升。然而,论文的“推理”主要依赖预生成的监督信号,模型是否真正进行了多步推理存疑。评估数据集与训练数据同源,泛化能力有待验证。论文开源了构建的数据集,但未提供代码或模型权重。 ...

2026-06-10 · 更新于 2026-07-27 · 2 min · 252 words

语音/音乐/音频论文速递 2026-06-10

语音/音乐/音频论文速递 2026-06-10 共分析 45 篇论文 ⚡ 今日概览 📥 抓取 45 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 13篇 █████████████ #数据增强 3篇 ███ #自监督学习 2篇 ██ #语音合成 2篇 ██ #多模态模型 1篇 █ #语音对话系统 1篇 █ #语音生成 1篇 █ #参数高效微调 1篇 █ 📊 论文评分排行榜(45 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 ViP-VL: Vietnamese Self-supervised Speech Pretraining M 9.7分 前25% #语音识别 🥈 Spatial-Omni: Spatial Audio Understanding Integration i 9.4分 前25% #多模态模型 🥉 Multi-Faceted Interactivity Alignment in Full-Duplex Sp 9.3分 前25% #语音对话系统 4. OmniCap-IF: Benchmarking and Improving Instruction Foll 9.1分 前25% #语音生成 5. RAT: Reference-Augmented Training for ASV Anti-Spoofing 8.8分 前25% #数据增强 6. Recovering the Zipfian Distribution in Unsupervised Ter 8.7分 前50% #自监督学习 7. LLM can Read Spectrogram: Encoder-free Speech-Language 8.6分 前25% #语音识别 8. ParaBridge: Bridging Paralinguistic Perception and Dial 8.6分 前25% #参数高效微调 9. Time-frequency localization of bird calls in dense soun 8.5分 前25% #信号处理基础 10. Ethical and Technical Limits of Deepfake Speech Dataset 8.4分 前25% - 11. Speech Meets ELF: Audio Conditional Continuous-Target D 8.3分 前25% #语音识别 12. DeRA-MOS: Optimizing Text-to-Music Evaluation via Decou 8.2分 前25% #音乐评估 13. Anchoring the Unknown: Open-Set Model Attribution via P 8.0分 前25% #多语言 14. ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refi 8.0分 前25% #语音质量评估 15. ContextCodec: Content-Focused Context Guidance for Ultr 7.9分 前25% #语音编码 16. GlobeAudio: A Multilingual Multicultural Benchmark for 7.9分 前25% #语音识别 17. Dual-Branch Gated Fusion for Open-Set Audio Deepfake So 7.8分 前25% #音频深度伪造检测 18. Data Journalist Agent: Transforming Data into Verifiabl 7.7分 前25% - 19. GC-LoRA: Gated Convolutional LoRA for Parameter-Efficie 7.6分 前25% #语音识别 20. What Do Deepfake Speech Detectors Actually Hear? 7.6分 前25% - 21. KFC-KWS: Keyframe Fusion with CTC for User-Defined Keyw 7.6分 前25% #关键词检测 22. Entropy-Aware Domain-Routed Mixture-of-Experts Speech-L 7.5分 前25% #语音识别 23. Linguistically Augmented Audio Speech Data (LinguAS) 7.5分 后50% #语音伪造检测 24. AudioProcessBench: Benchmark for Identifying Process Er 7.5分 前50% - 25. Cross-Modal Knowledge Distillation without Paired Data: 7.5分 前50% #语音识别 26. AuRA: Internalizing Audio Understanding into LLMs as Lo 7.5分 前25% #语音问答 27. TRADE: Transducer-Augmented Decoder for Speech LLM 7.4分 前25% #语音识别 28. Inside the Latent Flow: Causal Deciphering of Attention 7.3分 前50% #语音分离 29. Optimality of FSQ Tokens for Continuous Diffusion for C 7.3分 前50% #语音合成 30. Speech Encoder Fusion for LLM-based Automatic Speech Re 7.2分 后50% #语音识别 31. Enhancing Multilingual LLM-based ASR with Mixture of Ex 7.0分 前50% - 32. Phoneme-First Prediction for LLM-Based Speech Recogniti 6.9分 前50% #语音识别 33. Profy: Interpretable Visualization of Expertise-Depende 6.9分 前50% #音乐信息检索 34. Optimizing 2D Input Representations and Sub-phase Fusio 6.8分 前50% #数据增强 35. SSL-GMMVC: Interpretable Voice Conversion via Locally L 6.8分 前50% #语音转换 36. Deploying Speech-Driven 3D Facial Animation in Unreal E 6.6分 前50% #语音合成 37. RespiraMFM: A Multimodal Foundation Model with Contrast 6.5分 前50% #对比学习 38. From Senses to Decisions: The Information Flow of Audit 6.5分 前50% #语音识别 39. Speaker Group Encoding in Self-supervised Speech Recogn 6.5分 前50% #语音识别 40. Towards Robust Arabic Speech Emotion Recognition with D 6.4分 前50% #语音情感识别 41. Multilingual Word-Level Forced Alignment with Self-Supe 6.3分 前50% #自监督学习 42. Overview of ESDD2: Environment-Aware Speech and Sound D 6.3分 前50% #数据增强 43. Towards Deep Contextual Reasoning from Broad Descriptio 6.2分 前50% #语音识别 44. A Lightweight Dual-Factor Acoustic Authentication Syste 6.0分 前50% #说话人验证 45. Automated Pronunciation Evaluation for Korean Toddler S 6.0分 前50% #说话人日志 📋 论文列表 🥇 ViP-VL: Vietnamese Self-supervised Speech Pretraining Model with Vector-Quantization Learning 9.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

2026-06-10 · 更新于 2026-07-27 · 26 min · 5465 words

Rethinking Depth: A study of the Recursive-Transformer for Speech Recognition

📄 Rethinking Depth: A study of the Recursive-Transformer for Speech Recognition #参数高效微调 7.5/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #参数高效微调 | arxiv 👥 作者与机构 Thomas Rolland, Carlos Carvalho, Alberto Abad INESC-ID, Portugal Instituto Superior Técnico, Portugal 💡 毒舌点评 这篇论文做了一件扎实但不算惊艳的事情:把在NLP里已经不算新鲜的“层共享递归”思路,系统地在ASR编码器上过了一遍。它的价值在于“系统性”——像个勤勉的工程师,把递归深度、层分配这些旋钮拧了个遍,告诉你哪个位置效果最好(L=5,加上首尾不共享的层)。实验设计控制变量做得不错,结果也显示参数减66%性能不掉,甚至参数相同的情况下还能打过基线,这对追求模型轻量化的实际应用算是个好消息。但最大的槽点在于对“效率”的讨论极不完整:只谈参数量,完全回避了“推理速度”这个递归模型的命门。循环次数L增加,计算量线性增长,延迟必然增加,论文却对此讳莫如深。这就像只告诉你汽车省油,却不提它跑得有多慢。此外,数据集全是朗读体,离真实的嘈杂、对话场景差距尚远。总结:一份参数效率的详细调参报告,实用但缺乏深度洞察,对递归模型的效率讨论是“瘸腿”的。 📌 核心摘要 本文对应用于ASR编码器的递归Transformer(Recursive-Transformer)及其变体Latent-Recursive-Transformer进行了系统性实验研究。研究动机源于对预训练ASR编码器(Whisper-medium)中间层冗余性的分析(图1)。核心方法是将编码器划分为Prelude(前导,非共享)、Recurrent(循环,共享)和Coda(结尾,非共享)三个功能块,通过控制循环次数L和各块层数来研究性能与参数效率的平衡。实验表明,Latent-Recursive架构在参数减少66%时(L1配置,25.2M参数)仍能保持与75.6M参数基线可比的性能(LibriSpeech WER 2.16% vs 2.12%),而在参数匹配设置下(L3配置,75.6M参数),性能甚至超越基线(WER 2.03%)。研究还发现存在最优循环深度(L=5),并验证了该方法在中文数据集(AISHELL-1)和另一种架构(Branchformer)上的泛化能力。 ...

2026-06-09 · 更新于 2026-07-27 · 2 min · 415 words

Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)

📄 Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER) #语音识别 #参数高效微调 8.2/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.2/10 | 前25% | #语音识别 | #参数高效微调 | arxiv 👥 作者与机构 作者:Felix Akeret 机构:独立研究者(Zurich, Switzerland)。前ETH Zurich文凭工程师,前伯尔尼大学、FHNW、CeTIM莱顿/慕尼黑客座讲师。 💡 毒舌点评 这篇论文像一位愤怒但严谨的揭发者,把瑞士德语ASR领域的“皇帝新衣”扒了个精光。作者用一系列无可辩驳的自训练实验(包括让一个零基础模型在测试集上刷到13.88%)证明,那些漂亮的17% WER数字很大程度上是“约定匹配”的结果,而非真正的方言理解。最讽刺的是,作者自己费尽心思训出来的“诚实基线”(25.6% WER)在数字上反而最丑,但cWER(13.8%)却比被批评的SOTA们“诚实”指标更低。这是一种���风险的学术赌博:要么被视为拨乱反正的英雄,要么被视为在砸所有人的锅。其对LoRA缩放因子的发现(\(\alpha/r=0.2\) 而非流行的2.0)非常实用,可能拯救了许多被幻觉折磨的Whisper微调者。然而,论文的语气偶尔显得过于强势,仿佛在指控同行学术不端(尽管他更多是批评方法论),且新提出的cWER指标虽然合理,但规则分类器的细节不够透明,可能引发新的争议。总的来说,这是一篇技术扎实、观点犀利、对社区有重要警示意义的论文,但其冲击性结论需要更稳健的方法论支撑才能完全服众。 ...

2026-06-09 · 更新于 2026-07-27 · 3 min · 592 words

TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech

📄 TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech #语音合成 #自回归模型 #参数高效微调 #模型压缩 8.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.2/10 | 前25% | #语音合成 | #参数高效微调 | #自回归模型 #模型压缩 | arxiv 👥 作者与机构 Yejin Lee, Junwon Moon, Hyoeun Kim, Hyunjin Choi:成均馆大学(Sungkyunkwan University) Heeseung Kim:首尔市立大学(University of Seoul) Kyuhong Shim:成均馆大学(Sungkyunkwan University) 💡 毒舌点评 这篇论文的立意很好,直击了当前AR-TTS模型“又慢又占内存”的痛点。方法设计上,“换汤不换药”(用patch替代token)的思路虽然不算石破天惊,但胜在实用,能直接嫁接到现有模型上,工程价值明显。然而,几个“但是”不得不提:1) 实验上有点“温室里的花朵”,只在CosyVoice3这一个“温室”里做实验,数据也是相对纯净的LibriTTS,面对更多样、更嘈杂的现实数据时,性能如何是个问号;2) “固定patch大小”像是给模型戴上了镣铐,语音的疏密变化明显,自适应patch才是更优雅的解法;3) 主观评测就找了25个英语母语者,这个样本量在顶会论文里略显寒酸,说服力打了折扣。总的来说,这是一篇扎实的工程优化论文,但离“令人眼前一亮”的理论突破或全面系统的实验验证还有距离。 ...

2026-06-09 · 更新于 2026-07-27 · 2 min · 319 words

语音/音乐/音频论文速递 2026-06-09

语音/音乐/音频论文速递 2026-06-09 共分析 48 篇论文 ⚡ 今日概览 📥 抓取 48 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 10篇 ██████████ #语音识别 9篇 █████████ #自监督学习 3篇 ███ #多模态模型 3篇 ███ #语音增强 2篇 ██ #音频生成 2篇 ██ #说话人验证 2篇 ██ #大语言模型 1篇 █ 📊 论文评分排行榜(48 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 A Finetuned SpeechLLM for Joint Multi-Granular L2 Asses 10.0分 前25% #大语言模型 🥈 G-MaP-SE: Guided Speech Enhancement via GMM-Based Prior 9.3分 前50% #语音增强 🥉 HoliDubber: Holistic Video Dubbing for Complex Acoustic 9.0分 前10% #语音合成 4. Probing Token Spaces under Generator Shift in AI-Genera 9.0分 前10% #音频编码 5. A Comparative Study of Pre-trained Speech Encoders and 8.9分 前50% #自监督学习 6. AVI-Bench: Toward Human-like Audio-Visual Intelligence 8.8分 前25% #语音识别 7. Liberating LLM Capabilities in Full-Duplex Speech Model 8.7分 前25% #多模态模型 8. MeCo: One-Step MeanFlow-based Corrector for Multi-Chann 8.4分 前25% #语音分离 9. Your U-Net Dereverberation Model is Secretly an RIR Enc 8.3分 前50% #对比学习 10. Predictive Fixed-Filter Active Noise Control (PFANC) Us 8.3分 前25% - 11. TLDR: Compressing Audio Tokens for Efficient Autoregres 8.2分 前25% #语音合成 12. Subtitle-Aligned Fine-Tuning of Whisper for Swiss Germa 8.2分 前25% #语音识别 13. Discovering Functionally Selective Brain Regions with a 8.2分 前25% #多模态模型 14. Parameter-Efficient Continual Learning for Automatic Sp 8.1分 前25% #语音识别 15. OmniMem: Perturbation-aware Memory Compression for Stre 8.0分 前25% #高效推理 16. OpenBibleTTS: Large-Scale Speech Resources and TTS Mode 8.0分 前25% #语音合成 17. FlashTTS: Fast Streaming TTS with MTP Acceleration and 7.9分 前25% #语音合成 18. Multi-View Speech Representation Learning for Parkinson 7.9分 前50% #自监督学习 19. Is Text All You Need? Text as a Universal Information B 7.6分 前50% #语音识别 20. End-to-End Training for Discrete Token LLM based TTS Sy 7.6分 前50% #语音合成 21. Conan-embedding-v3: Fusing Modality-Specific Models for 7.6分 前25% #音频检索 22. Cross-Modal Masking for Robust Silent Speech Synthesis 7.5分 前50% #语音合成 23. Rethinking Depth: A study of the Recursive-Transformer 7.5分 前25% #语音识别 24. What Makes Synthetic Speech Sound Sarcastic? A Prosody- 7.5分 前25% #语音合成 25. FXplorer: A Map-Based Interface for Exploratory Audio E 7.5分 前25% #音频生成 26. Assessing the Energy and Carbon Emissions of Neural Spe 7.4分 前50% #说话人验证 27. Exploring the Scale and Diversity of Speech Anti-spoofi 7.4分 前50% #数据增强 28. From A to B to A: Palindromic Zero-Shot Voice Conversio 7.3分 前50% - 29. A study on the impact of region specific data on the pe 7.2分 前50% #语音识别 30. Speaker-Invariant Representation Learning for Spoofing 7.1分 前25% #对抗训练 31. BareWave: Waveform-Native Flow-Matching Text-to-Speech 7.0分 前50% #语音合成 32. SMC-ITA: Sequential Monte Carlo Inference-Time Alignmen 7.0分 前50% #音频生成 33. Quality-Diversity Search in Sound Generation: Investiga 7.0分 前50% - 34. Can LLMs understand LilyPond? A benchmark for symbolic 7.0分 前50% #音乐生成 35. NüshuVoice: Reviving the Voice of Endangered Nüshu with 7.0分 前50% #语音合成 36. Factors affecting ASR performance: A study using state 6.9分 前50% #语音识别 37. MeanVC 2: Robust Low-Latency Streaming Zero-Shot Voice 6.9分 前50% #语音转换 38. Few-shot Class-variable Incremental Audio Classificatio 6.9分 前50% #音频分类 39. A Hierarchical Feature Engineering Framework for Automa 6.8分 前50% - 40. Fast and Robust On-Device Speaker Diarization: Relative 6.6分 前50% #说话人分离 41. On Low-Bit Quantization Errors in Speaker Verification: 6.6分 前50% #说话人验证 42. Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Ne 6.5分 后50% #语音合成 43. TinyGiantALM: A Compact Audio-Language Model for Intent 6.4分 前50% #多模态模型 44. Overcoming Decoder Inconsistencies in Whisper for Dravi 6.2分 后50% #语音识别 45. Bridging Traditional Explainability Methods and Multimo 5.4分 后50% #语音识别 46. Sound Field Interpolation Using Physics-Informed Extrem 5.3分 后50% #语音增强 47. A Comparison of SSL-Based Feature Extractors and Back-E 5.0分 后50% #自监督学习 48. AeroSpectra Sentinel: An Auditable LLM Prompt-Chaining 4.5分 后50% #音频事件检测 📋 论文列表 🥇 A Finetuned SpeechLLM for Joint Multi-Granular L2 Assessment and Natural-Language Rationales 10.0/10 | 创新 2.0/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

2026-06-09 · 更新于 2026-07-27 · 29 min · 6000 words

Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

📄 Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition #语音情感识别 #提示学习 #多模态模型 #参数高效微调 #迁移学习 7.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前50% | #语音情感识别 | #提示学习 | #多模态模型 #参数高效微调 | arxiv 👥 作者与机构 Iosif Tsangko (1, 2), Andreas Triantafyllopoulos (1, 2), Björn W. Schuller (1, 2, 3, 4) (注:机构详情未在论文正文中明确列出,脚注显示了项目资助信息) ...

2026-06-08 · 更新于 2026-07-27 · 2 min · 359 words

Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

📄 Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models #语音合成 #强化学习 #参数高效微调 #多模态模型 9.2/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9.2/10 | 前10% | #语音合成 | #强化学习 | #参数高效微调 #多模态模型 | arxiv 👥 作者与机构 作者:Zhixian Zhao, Shuiyuan Wang, Wenjie Tian, Jingbin Hu, Ziyu Zhang, Lei Xie 机构:Audio, Speech and Language Processing Group (ASLP@NPU), Northwestern Polytechnical University, Xi’an, China ...

2026-06-08 · 更新于 2026-07-27 · 4 min · 691 words