V2TATC: A Joint Voice-Trajectory Embedding Framework and Dataset for Air Traffic Controller Situational Awareness

📄 当一句“右转航向 150”必须找到那架飞机:语音与轨迹如何在同一个地图上相遇 英文题目:V2TATC: A Joint Voice-Trajectory Embedding Framework and Dataset for Air Traffic Controller Situational Awareness 一句话:V2TATC 把管制语音指令与 ADS-B 轨迹视作同一架飞机在不同传感器下的投影,用冻结 Whisper 与 MAE 轨迹编码器经对比学习对齐到 1024 维联合空间并以 RealNVP 实现双向可逆翻译,在 5229 候选上实现 23.5% R@1 的跨模态检索,但语音条件轨迹预测仍比纯轨迹路径差一个数量级。 标签:#对比学习 #自监督学习 #Transformer 评分:7.5/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5 👥 作者与机构 Louis Brusset:University of California, Berkeley, Berkeley, CA, 94720, USA Mathurin Petit:University of California, Berkeley, Berkeley, CA, 94720, USA Jordan Kam:University of California, Berkeley, Berkeley, CA, 94720, USA Alexandre Bayen:University of California, Berkeley, Berkeley, CA, 94720, USA 💬 毒舌点评 把冻结的 Whisper large-v3 时域均值池化与 4 层 Transformer 的 MAE 轨迹编码做 CLIP 式对称 InfoNCE 对齐、再用两条 8 层 RealNVP 双向流拟合到 1024 维联合空间的链路很完整,配上旧金山湾区 8 频率 4 天 52,285 对语音-ADS-B 配对数据的全流程采集与 5 仓开源,工程诚意在 ATC 领域算顶配。硬伤也写在脸上:可学习温度数个 epoch 内直接塌到截断下界 0.04 且训练/验证损失差 1.14,R@1 仅 23.5% 且语音条件 4 步轨迹预测全局 MSE 0.710 比纯轨迹 MAE 路径 0.071 差一个数量级,所谓可逆更多是靠零填充到 1792 维再用重构损失把多余维压向零的拟合技巧,均值池化本身已造成不可逆瓶颈,波形回放只能靠训练集查表。 ...

2026-09-01 · 更新于 2026-09-04 · 10 min · 1990 words

语音/音乐/音频论文速递 2026-09-01

语音/音乐/音频论文速递 2026-09-01 共分析 49 篇论文 ⚡ 今日概览 ✅ 筛选入选 49 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8 篇 ████████ #语音情感识别 5 篇 █████ #音乐生成 5 篇 █████ #语音合成 4 篇 ████ #语音增强 4 篇 ████ #音乐理解 4 篇 ████ #说话人日志 2 篇 ██ #音乐转录 2 篇 ██ 📊 论文评分排行榜(49 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Anchoring Speech with Semantics: A Multimodal Adapter… 8.4 前25% 方法研究 #语音识别 🥈 Playability-Aware Audio-to-Tablature Guitar… 8.2 前25% 方法研究 #音乐转录 🥉 When Vocal Tone and Literal Meaning Diverge: An… 8.1 前25% 数据集与基准 #语音情感识别 4. Self-Supervised Pretext Tasks for Infant Cry Analysis… 8.1 前25% 方法研究 #音频分类 5. ImageEval 2026: Culturally Grounded Arabic Multimodal… 8.1 前25% 数据集与基准 #语音识别 6. Perceptually Better, Semantically Worse: Measuring… 8.0 前25% 数据集与基准 #语音增强 7. Vocal Music under Phoneme-Conditional Analysis 8.0 前25% 方法研究 #音乐理解 8. Likelihood-Constrained Acoustic Reranking for Training… 7.8 前25% 方法研究 #语音识别 9. Using Prosody to Predict Syntactic Structure 7.6 前25% 方法研究 #Transformer 10. When Does Predictor-Based RL Align with Human… 7.6 前25% 方法研究 #语音合成 11. V2TATC: A Joint Voice-Trajectory Embedding Framework… 7.5 前25% 方法研究 #对比学习 12. Sequential Trajectories and Simultaneous Blending… 7.5 前25% 方法研究 #语音合成 13. No Detectable Change in Side-Level WER from Prompt… 7.4 前50% 应用研究 #语音识别 14. VocalAffectBench: Evaluating Vocal Emotion Recognition… 7.4 前50% 数据集与基准 #语音情感识别 15. When Models Hear What They Expect: Diagnosing Prosodic… 7.4 前50% 方法研究 #语音情感识别 16. Context-Aware Interleaved Batching for WhisperX 7.4 前50% 方法研究 #语音识别 17. Enabling Proactive Spoken Turns via a Generalized… 7.3 前50% 方法研究 #语音交互 18. MusGU+: Toward a Musician-Centered Evaluation… 7.3 前50% 数据集与基准 #音乐生成 19. Stride-k Subsampling: Train-Free Audio Token Reduction… 7.2 前50% 方法研究 #语音识别 20. TEMPO: Temporally-grounded Multi-task Post-training… 7.1 前50% 方法研究 #音频事件检测 21. VIBE: Video Instruction-aligned Background music… 7.1 前50% 方法研究 #音乐生成 22. Diagnose, Then Refine: A Closed-Loop TTS System with… 7.0 前50% 方法研究 #语音合成 23. HEAR Who Said What: Unlocking Speaker-Attributed… 7.0 前50% 数据集与基准 #说话人日志 24. Evidence-Bounded Mental Health Reasoning from… 7.0 前50% 数据集与基准 #语音情感识别 25. SPHERE: Automatic Music Upmixing via Audio Language… 6.9 前50% 方法研究 #音乐生成 26. Linguistic Distance Segregates Latent Representations… 6.9 前50% 应用研究 #语音识别 27. Closing the Verification Loop: Self-Check Captioning… 6.8 前50% 方法研究 #音频字幕生成 28. Conjoint Audio-to-Spikes Encoding and Processing for… 6.8 前50% 方法研究 #语音识别 29. Neural Multichannel Distant Speaker Diarization and… 6.6 前50% 方法研究 #说话人日志 30. PhysWave: Physics-Guided Latent Diffusion Models for… 6.6 前50% 方法研究 #音频生成 31. What Are You Listening to? Temporal Music Grounding… 6.5 前50% 数据集与基准 #音乐理解 32. CoJEPA: Combining Contrastive Learning and JEPA for… 6.5 前50% 方法研究 #音乐理解 33. Ouroboros: Self-Referential Backdoor Attacks on Speech… 6.4 前50% 方法研究 #语音增强 34. Textual Acoustic Grounding for Generalizable LLM-Based… 6.4 前50% 方法研究 #语音伪造检测 35. Towards Balanced Spectral Reconstruction: Spectrally… 6.4 前50% 方法研究 #语音增强 36. Accurate Plate Reverb Parameter Estimation Using Two… 6.3 前50% 方法研究 #音乐理解 37. Beyond Speech: Dual-Domain SSL Fusion for Unified All… 6.3 前50% 系统技术报告 #音频伪造检测 38. Weakly Supervised Tabla Stroke Transcription via an… 6.3 前50% 方法研究 #音乐转录 39. Language-Statistical Analysis of Neural Audio Codec… 6.3 前50% 方法研究 #语音编码 40. Parallel Time-Band Mixing with Learned Observation… 6.2 前50% 方法研究 #语音增强 41. How Well Do Generative Music Models Follow Emotion… 6.0 前50% 数据集与基准 #音乐生成 42. Multimodal Adaptive Expert Selection with Text Routing… 6.0 前50% 方法研究 #音视频理解 43. Evoking Harmony via Convolution 5.9 前50% 方法研究 #音乐生成 44. DreamX-Creator: Democratizing Native Audio-Video… 5.9 前50% 模型报告 #扩散模型 45. Leveraging Bayesian Optimization for Array Shape Self… 5.7 前50% 方法研究 #声源定位 46. Opinionated, Hesitant and Stressed: Three Studies of… 5.6 前50% 应用研究 #语音情感识别 47. Disentangling Representation using Attributes-based… 5.5 前50% 方法研究 #音频分类 48. Decoupled Latent Flow Matching for Few-Step Joint… 5.3 后 50% 方法研究 #音乐源分离 49. Audio-Driven Adversarial Defense for 3D Talking Face… 4.3 后 50% 方法研究 #语音合成 📋 论文列表 🥇 当解码器缺的不是声音,而是下一词的语义证据 英文题目:Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages ...

2026-09-01 · 更新于 2026-09-04 · 55 min · 11646 words

Exploring the Design Space of Representation Learning for Audio Transformations

📄 效果是效果,声音是声音:当表征必须同时记住与忘记内容 英文题目:Exploring the Design Space of Representation Learning for Audio Transformations 一句话:论文把分散的音频效果表征路线收敛为处理一致性、描述对齐与等变预测三个可组合的对比目标,并在同一冻结前端与受控批次下证明变换嵌入与处理后音频嵌入的分工互补——前者靠几何组织赢得跨音源检索与风格迁移,后者靠信息丰度赢得探针估计,代价是对结构化描述与 Fx 归一化的依赖。 标签:#音频检索 #对比学习 #音频理解 #自监督学习 #Transformer 评分:8.0/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5 👥 作者与机构 Sungho Lee:机构信息未在 arXiv HTML 中可靠披露 Marco Martínez-Ramírez:机构信息未在 arXiv HTML 中可靠披露 Junghyun Koo:机构信息未在 arXiv HTML 中可靠披露 Wei-Hsiang Liao:机构信息未在 arXiv HTML 中可靠披露 Kyogu Lee:机构信息未在 arXiv HTML 中可靠披露 Yuki Mitsufuji:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 把音频效果表征长期各说各话的对比式、标签式与等变式路线收敛为三个可组合目标,并在同一冻结 SAO 前端与受控批次下做全组合消融,控制变量堪称典范,变换嵌入与处理后音频嵌入的互补分工也解释了检索与探针结果的背离。代价是所有结论仍被锁在自建 PyTorch 处理器库与 Fx 归一化后的 MUSDB 分轨上,对真实插件预设分布、无归一化原始录音以及并行/侧链等复杂路由的外推力未被证伪,描述对齐对结构化参数的依赖也让无描述场景只能回退到次优组合。 ...

2026-08-31 · 更新于 2026-09-04 · 5 min · 1031 words

语音/音乐/音频论文速递 2026-08-31

语音/音乐/音频论文速递 2026-08-31 共分析 22 篇论文 ⚡ 今日概览 ✅ 筛选入选 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐理解 3 篇 ███ #语音交互 2 篇 ██ #语音增强 2 篇 ██ #语音识别 2 篇 ██ #音视频理解 2 篇 ██ #音频分类 2 篇 ██ #音频生成 2 篇 ██ #语音情感识别 1 篇 █ 📊 论文评分排行榜(22 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Phoneme- and Word-Level Metrics Using Self-Supervised… 9.1 前10% 方法研究 #语音识别 🥈 Not all generalisation failures can be bought back… 8.5 前25% 方法研究 #音频理解 🥉 SURE-Challenge: Evaluating Speech Evidence Before… 8.3 前25% 数据集与基准 #语音识别 4. Exploring the Design Space of Representation Learning… 8.0 前25% 方法研究 #音频检索 5. Alias-Free Oscillator Synchronization via Additive… 7.9 前25% 系统技术报告 #音乐生成 6. PolyMap: A 64-Channel Polyphonic Guitar Pickup System 7.7 前25% 系统技术报告 #音乐源分离 7. Multirate State Space Models for End-to-End Processing… 7.5 前25% 方法研究 #语音增强 8. A Mixed-Behavior Vote Model for Multimedia Subjective… 7.4 前50% 方法研究 #语音质量评估 9. A Frequency-Domain Artificial Reverberator Plug-In 7.2 前50% 系统技术报告 #音频生成 10. Low-Power End-to-End Cochlear Implant Speech Denoising… 6.7 前50% 方法研究 #语音增强 11. Compositional Failure in Audio-Visual LLMs: Late-Layer… 6.5 前50% 方法研究 #音视频理解 12. Evaluating Loss Functions in Differentiable Out-of… 6.4 前50% 方法研究 #音频生成 13. A Shaky Voice Is Not Always a Dodge: Benchmarking… 6.2 前50% 数据集与基准 #语音情感识别 14. MuSP-Bench: Advanced Multimodal Benchmarking of Music… 6.2 前50% 数据集与基准 #音乐理解 15. Effects of HRTF Augmentation on Predicted Spatial… 6.1 前50% 方法研究 #音乐理解 16. Auditing Generative Audio Calls for Known-Task Audio… 6.0 前50% 方法研究 #音频分类 17. Is Prosody Lost in Translation? Fine-Grained Cross… 6.0 前50% 数据集与基准 #语音翻译 18. Predicting Turn-Taking Outcomes in Multi-Party… 6.0 前50% 方法研究 #语音交互 19. SETU: An Agentic Ecosystem for Multilingual, Persona… 5.5 前50% 系统技术报告 #音视频理解 20. Klangfarbenakkord and Klangfarbenharmonien Metric… 5.5 前50% 理论研究 #音乐理解 21. Effectiveness of IoT and Deep Learning for Detection… 5.1 后 50% 应用研究 #音频分类 22. When Robots Mishear Us: Mapping the Safety Risks of… 5.1 后 50% 应用研究 #语音交互 📋 论文列表 🥇 没有金标准时,怎么判断对齐切得准不准 英文题目:Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation ...

2026-08-31 · 更新于 2026-09-04 · 24 min · 4916 words

A Safety-Gated Multimodal AI Backend for Mental-Health Support: Hierarchical State Representation, Conservative Risk Fusion, and Controlled Generation in Anian

📄 先分清状态,再决定能不能说话:Anian 如何把生成关进安全笼子 英文题目:A Safety-Gated Multimodal AI Backend for Mental-Health Support: Hierarchical State Representation, Conservative Risk Fusion, and Controlled Generation in Anian 一句话:面向围产期心理支持的高风险对话,Anian 用 L1-L4 分层表征与最高风险优先的保守融合把生成模型置于门控下游,在约 85 万条弱标签原型上学会了路由、在 233 例受控压力测试上拦住了高风险,但代价是依赖内部标签闭环且尚未经过真实临床与语音鲁棒性检验。 标签:#语音交互 #Transformer #内容审核 #鲁棒性 评分:5.0/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.5/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.9/1.5 👥 作者与机构 Lei Wang:机构信息未在 arXiv HTML 中可靠披露 Xiao Wang:机构信息未在 arXiv HTML 中可靠披露 Lei Li:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 亮点在于把安全门控(Safety-Gated)与保守风险融合(Conservative Risk Fusion)做成显式架构约束,生成模型被强制置于下游,设计理念比单纯调提示词更符合高风险场景的工程直觉。短板是全部性能都建立在约85万条弱标签与规则衍生标签的内部闭环以及233例预设压力测试上,缺乏独立人工金标、外部分布验证和消融支撑,却包装成完整系统报告,临床与现实安全性外推几乎为零。 ...

2026-08-29 · 更新于 2026-09-04 · 3 min · 621 words

Decay-Region Group Delay as a Forensic Cue for AI-Generated Impulsive Sounds

📄 别只听响度:为什么 AI 炸点声会在“尾巴”里露馅 英文题目:Decay-Region Group Delay as a Forensic Cue for AI-Generated Impulsive Sounds 一句话:论文把脉冲声真伪的判别从幅度谱移到衰减区的群延迟,用后 50% 帧的跨频带变异性等 9 维特征在同分布下拿到 AUC 0.884、单通道群延迟图让 CNN 达到 90% 以上准确率,却在生成器留一平均准确率仅 66.7% 且 AudioLDM2 上近乎失效,证明这是一条可解释的互补线索而非通用检测器。 标签:#音频伪造检测 #Transformer #音频分类 #可解释性 评分:5.8/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5 👥 作者与机构 JaeHyeong Chang:机构信息未在 arXiv HTML 中可靠披露 Chengzhe Sun:机构信息未在 arXiv HTML 中可靠披露 Siwei Lyu:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 亮点在于把物理可解释的群延迟衰减区不一致性做成了可验证的取证线索,并用生成器留一与参数敏感性分析诚实地暴露了泛化脆弱性;短板是数据集高度依赖增强与源域错配,且最具区分度的特征在最难的生成器上仍近乎失效,离可用检测器还有距离。 ...

2026-08-29 · 更新于 2026-09-04 · 5 min · 963 words

语音/音乐/音频论文速递 2026-08-29

语音/音乐/音频论文速递 2026-08-29 共分析 29 篇论文 ⚡ 今日概览 ✅ 筛选入选 29 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5 篇 █████ #语音交互 3 篇 ███ #音视频理解 3 篇 ███ #音频检索 2 篇 ██ #音频理解 2 篇 ██ #LoRA 1 篇 █ #多模态模型 1 篇 █ #空间音频 1 篇 █ 📊 论文评分排行榜(29 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 AudioSpan: Spanning the Duration and Depth of Audio… 8.7 前25% 数据集与基准 #音频理解 🥈 StreamAV-Bench: A Comprehensive Benchmark for… 8.2 前25% 数据集与基准 #音频生成 🥉 AfriSwitch: A Benchmark for In-the-Wild African Code… 8.1 前25% 数据集与基准 #语音识别 4. Said Aloud, Read Different: Cross-Modal Instability in… 8.1 前25% 数据集与基准 #音视频问答 5. Your Voice Cloning System is Secretly a Voice… 8.0 前25% 方法研究 #语音转换 6. Vagdhenu: A Vrutta (Meter) Aware Shloka-to-Chant (TTS)… 7.9 前25% 系统技术报告 #语音合成 7. Modality Maturity Index: A benchmark for assessing… 7.8 前25% 数据集与基准 #音视频理解 8. Emotion Understanding in Streaming Video with… 7.7 前25% 方法研究 #音视频理解 9. SpeechGym: An Audio-Native Gym for Training Voice… 7.6 前25% 系统技术报告 #语音交互 10. Omni-Interactive Universal Embedder 7.5 前25% 方法研究 #音频检索 11. Multi2AV-Safety: Benchmarking Safety in Multimodal-to… 7.3 前50% 数据集与基准 #音视频生成 12. Mapping Written Words to Spoken Words in a Different… 7.3 前50% 方法研究 #音频检索 13. Towards Interpretable Depression Detection: Linking… 7.1 前50% 系统技术报告 #语音情感识别 14. Letters hide the truth from our eyes: English… 6.8 前50% 方法研究 #语音识别 15. Interpretable, Fairly Evaluated Automated L2 Speaking… 6.7 前50% 方法研究 #语音质量评估 16. When Text Misleads: Inconsistent-Aware Reasoning for… 6.6 前50% 数据集与基准 #语音交互 17. From Sound to Symptom: Real-Time Respiratory Signal… 6.4 前50% 系统技术报告 #音频事件检测 18. Scaling phoneme-based TTS augmentation for ASR: A… 6.2 前50% 方法研究 #语音识别 19. Direct or Mediated? Task-Dependent Audio Information… 6.1 前50% 方法研究 #音频理解 20. Attention-Guided Reliability Scaling for Contrastive… 6.0 前50% 方法研究 #语音识别 21. Soft Active Electromyography Interface for Machine… 5.9 前50% 系统技术报告 #语音识别 22. A Reranker for Orchestrating Heterogeneous Speech and… 5.8 前50% 方法研究 #LoRA 23. Decay-Region Group Delay as a Forensic Cue for AI… 5.8 前50% 方法研究 #音频伪造检测 24. Recovering Expert Critic-Sourced Network Adjacency… 5.8 前50% 方法研究 #音乐推荐 25. Benchmarking_Fast_Domain_Adaptation_for_Unsupervised_S… 5.5 前50% 数据集与基准 #语音编码 26. GAN-based Joint Dereverberation and Directional… 5.3 后 50% 方法研究 #空间音频 27. Real-TurnTurk: A Multimodal Turkish Corpus for Turn… 5.1 后 50% 数据集与基准 #多模态模型 28. A Safety-Gated Multimodal AI Backend for Mental-Health… 5.0 后 50% 系统技术报告 #语音交互 29. How AI Experiences Art: Emergent Aesthetic Structure… 4.0 后 50% 方法研究 #音视频理解 📋 论文列表 🥇 长音频不是更长的短音频:AudioSpan 如何逼模型证明它真的听见了 英文题目:AudioSpan: Spanning the Duration and Depth of Audio Comprehension ...

2026-08-29 · 更新于 2026-09-04 · 29 min · 5993 words

Lost but not erased: Finding traces of a forgotten language in neural speech models

📄 忘掉不等于擦除:语音网络把关键期痕迹压在了最底层 英文题目:Lost but not erased: Finding traces of a forgotten language in neural speech models 一句话:固定可塑性 ASR 在行为上忘掉 Lpre、学好 Lpost,却在最低层保存几何痕迹。 标签:#语音识别 #多语言 #Transformer #可解释性 #模型评估 评分:8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5 💬 毒舌点评 论文真正做对的是把前音位层放进 RSA、冻结 probe 与层段拼接 3 种读数,再用 Mctrl 处理相关语言的脏活。替换前音位层最能缩小再学习优势,使表征残留不只是相关曲线,而成为模型内可干预的功能定位。对语音迁移研究,这比最终 accuracy 又高一点更有解释价值。 该泼的冷水也明确:前音位层不是早期听觉皮层,固定学习率 Conformer 不是儿童;Ma 与 Mctrl 的 RSA 区间重叠仍显示语族迁移。拼接强化的是同一模型家族内的机制,不能把关键期直接还原为 curriculum。应读成经验解释必须被认真对待,而不是生物成熟已被推翻。 ...

2026-08-27 · 更新于 2026-09-04 · 4 min · 732 words

Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans

📄 别等整句说完:把数字人的手势变成一条受因果约束的数据流 英文题目:Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans 一句话:Super Star 的价值在于把离线动作质量与在线因果约束分给不同的数据流:用非因果合成器造训练数据,却让部署端只从截至当前的语音和动作历史预测下一步。 标签:#音视频交互 #自回归模型 #Transformer #流式处理 #实时处理 评分:6.9/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 💬 毒舌点评 Super Star 最扎实的地方,是没有把“流式”只当成演示词:在线端把 audio-conditioned cross-attention 的因果约束同时放进训练和推理,并用四部位 motion token 把局部动作动力学与全身历史接起来。Table 1 与 Table 2 的 FGD、BC、Diversity 和单步延迟是同一口径下的联合证据,尤其 JIYI 上的 mask 消融确实让因果对齐这一机制有了可反驳的抓手。 该泼冷水的地方也很具体:1.623 ms 是 gesture generation module 的每步数,不是用户说话到可见数字人反应的端到端实测;响应模块首 audio token 约 234 ms,渲染和网络却没有被纳入同一延迟表。self-evolution 的 2 轮结果很诱人,但 preferred online 样本规模、真实部署覆盖和长期负反馈行为都未报告,不能把固定 120 帧历史窗下的稳定手势延迟升级成已验证的全系统实时陪伴。 ...

2026-08-27 · 更新于 2026-09-04 · 3 min · 543 words

语音/音乐/音频论文速递 2026-08-27

语音/音乐/音频论文速递 2026-08-27 共分析 21 篇论文 ⚡ 今日概览 ✅ 筛选入选 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4 篇 ████ #回声消除 2 篇 ██ #语音交互 2 篇 ██ #音频分类 2 篇 ██ #音频理解 2 篇 ██ #基准测试 1 篇 █ #空间音频 1 篇 █ #语音伪造检测 1 篇 █ 📊 论文评分排行榜(21 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 AllMusicCaps: Album Reviews as Complementary… 9.1 前10% 方法研究 #音乐检索 🥈 LibriBrain100: One Hundred Hours of Broad and Deep MEG… 8.9 前25% 数据集与基准 #基准测试 🥉 What Do Audio-Visual Synchronization Metrics Actually… 8.8 前25% 方法研究 #音视频理解 4. Why ML-based cough models do not generalize: a… 8.8 前25% 应用研究 #音频分类 5. Lost but not erased: Finding traces of a forgotten… 8.6 前25% 方法研究 #语音识别 6. TurnBench: A Multi-Domain Benchmark for Turn-Taking… 8.5 前25% 数据集与基准 #语音交互 7. Knowledge Distillation for Efficient Acoustic Echo… 8.5 前25% 方法研究 #回声消除 8. Domain-Adaptive ASR for Telephony AI Agents: Fine… 7.9 前25% 系统技术报告 #语音识别 9. CSAVocoder: A Causal Spatial Audio Vocoder Towards… 7.6 前25% 系统技术报告 #空间音频 10. SPECTRA: Subspace-Preserving Embedding Calibration… 7.2 前50% 方法研究 #音频分类 11. Dissonance Spectrum explicitly models perceptual… 7.2 前50% 方法研究 #音乐理解 12. AudioLens: Multi-Perspective Speech Clustering with… 7.1 前50% 方法研究 #音频理解 13. Super Star: Towards Streaming Real-time Interactive… 6.9 前50% 系统技术报告 #音视频交互 14. Can We Read the Mind of an Audio LLM? A Verbalizable… 6.6 前50% 方法研究 #音频理解 15. VoiceMem: Streaming Dual-Brain Memory for Real-Time… 6.6 前50% 系统技术报告 #语音交互 16. A Training-Free Proactive Defense Against Partial… 6.5 前50% 方法研究 #语音伪造检测 17. Combining Self-Embedding Audio Watermarking with Ultra… 6.4 前50% 方法研究 #音频水印 18. Generative vs. Encoder Large Language Models for ASR… 6.1 前50% 应用研究 #语音质量评估 19. Mandarin Humorous Homophone Recognition and… 5.7 前50% 方法研究 #语音识别 20. Acoustic Echo Control Based on Sound Object… 4.9 后50% 方法研究 #回声消除 21. Fine-Tuning Whisper for Automatic Speech Recognition… 4.7 后50% 应用研究 #语音识别 📋 论文列表 🥇 把乐评变成检索监督,关键不在多而在语域对位 英文题目:AllMusicCaps: Album Reviews as Complementary Supervision for Music CLAP ...

2026-08-27 · 更新于 2026-09-04 · 18 min · 3730 words