大语言模型

针对室内社交中最多八人四会话并行且重叠率超 90% 的问题，采用每人视觉流做说话人检测分段、音频视觉目标语音抽取去干扰、音频视觉识别转写再做大模型会话聚类的级联路线，最强可复现证据是原始开发集上提交三的 32.03/16.02 到 31.39/15.70 与聚类满分，代价是多前端多后端融合与大模型多次投票的系统复杂度。

该研究把文本转音乐从一次生成波形改为持续解析为 34 字段可读合成器配置，用后台解析加前台交叉淡出的实时生成器维持不断声，最强证据是 200 条提示下嵌入检索后端全部成功且配置生成约 0.3 秒而外部大模型后端成功 178/200 且需约 5.6 秒，代价是音色泛化弱于神经音频且检索覆盖不足时会出现语义错配。

针对长时叙事音频的时间连贯与组合推理难题，AudioStory 用大语言模型做分段规划加扩散模型逐段合成，在自建 AudioStory-10K 上以显式推理和语义加残差双桥接实现更强的指令遵循，但多段拼接与长时一致性仍受训练数据和评估条件的限制。

针对印地语英语代码切换中声音对但文字错的问题，论文冻结语音编码器与指示大模型只训练 27.8M 瓶颈适配器，以 21.56% 词错误率与 20.69% 转写词错误率超过解码器微调基线，代价是依赖大模型词表与干净盲测集。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

针对文本、视觉、音频三模态组合查询检索问题，OmniRet 用共享媒体重采样器压缩长媒体 token 序列提高效率、用注意力切片 Wasserstein 池化保留细粒度分布信息，在约 600 万对 30 个数据集训练下组合检索和音视频任务提升明显，而单向量压缩与有限主干仍是主要代价与边界。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对无监督异常声音检测中正常与异常机器声高度相似、单条通用描述难以支撑差异总结的问题，论文提出推理时两阶段多样且判别性束搜索解码，用多条组内多样加跨音频互斥的描述供给大语言模型汇总，主观评估显示更具体可辨但未承诺延迟与误判改善。

该研究把现场编程的共享文本缓冲作为舞台，用三斜线指令召唤多个逐字打字的可见智能体并以冲突无关复制数据类型维持并发一致，再用检索增强保证 Strudel 语法可用，作者自研究显示角色转向策展与协商但伴随认知负荷与失控失效。

针对语音编码器偏发音而大语言模型偏语义的对齐错位，该文提出先预测音素再生成文本的联合训练，在 100 小时低资源和 960 小时及荷兰语条件下报告词错率下降，代价是输出变长与仍需低秩适配。

针对可学习查询缺乏显式情感语义的问题，论文用固定数量的多模态情感原型作软提示并冻结大模型主干，在四个数据集和三种大模型上取得可复述的精度提升，而可训练参数仅占极小比例。

论文把与大模型对话的键盘重读为乐器，提出不看键盘屏幕的 vyping 技法并用 ll00mtube、clix-vibe、KeyMeter 三个软件探针呈现时间与声音维度，其代价是标准聊天接口目前丢弃击键时序且全篇无受控用户实验支持泛化判断。

针对无菌手术室中多设备协调控制难与语音交互延迟高的问题，论文提出分层语音流水线加智能体核心的 SurgicalRoomAgent，用 KV 缓存预热、流式提前执行与渐进式提示披露降低延迟与上下文压力，但所报告的延迟数字为理论估计且缺乏大规模临床验证。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

论文把英语语音同传拆成 Qwen3 语音识别加强制对齐与 Gemma-4 解码器翻译的同步级联，用显式源文区间加离线挑选的 8 个对齐头加 qk-fast 重算实现解码器侧 AlignAtt，在英德和英意低延迟约 2 秒与高延迟 4 秒内超过主办方基线，代价是中文方向不稳定且全头重算会明显抬高计算感知延迟。

AURA-ST 针对豪萨语、伊博语、约鲁巴语到英语的低资源语音翻译，用双流声学编码加 4 倍卷积压缩把音频变成冻结 Gemma-4-E2B 的前缀，并只调 MLP 的 LoRA，在教师强制代理 BLEU 上达到 91.29，但自由自回归解码的 SpBLEU 仅为 19.5、5.2 和 4.6，暴露了严重的暴露偏置代价。

针对可控语音合成中指令理解与语音生成耦合导致标注昂贵的问题，该文把外部大语言模型定为指挥家生成逐段音高能量音色数值计划、把 BatonTTS 定为乐团按计划合成，最强证据是 1.7B 模型在英文情感准确率 57.6% 并零样本迁移到中文 56.2%，代价是依赖外部大模型生成计划并引入约 20 秒级计划延迟与两阶段推理链条。

针对多模态大模型做音视频语音识别时视觉时间建模粗糙且深层解码逐渐丢失时序的问题，论文用编码端时间感知注意力和解码端分层时间 token 堆叠来补时间信息，在 LRS2 与 LRS3 上把纯视觉识别词错率做到更低，代价是只在英语离线句子级条件下验证且增加了投影与注意力模块的开销。