固定演奏动作、只换音色:Smorph 的结构锚定声音渐变
Smorph 用共享的结构信号锚定时间组织、再用插值权重混合音色端点,在三类渐变任务上以更保守的目标偏移为代价换来更稳的节奏与音高保持,并通过预计算音色网格实现可演奏的实时控制。
Smorph 用共享的结构信号锚定时间组织、再用插值权重混合音色端点,在三类渐变任务上以更保守的目标偏移为代价换来更稳的节奏与音高保持,并通过预计算音色网格实现可演奏的实时控制。
论文针对音频渐变轨迹是否在感知嵌入空间中又直又均匀的问题,提出与理想线性均匀轨迹比较的索博列夫距离,并用木材到金属的物理合成控制实验说明它能区分已有指标误判的非均匀与偏离路径情形。
论文针对语音伪造检测中训练攻击与未知生成器、编码器和录音条件不一致导致失准的问题,用一次源梯度同时完成虚拟适应和向高损失方向的端点偏移,只做两次梯度计算就在四个未见测试集上一致改进 MLDG,但结论只在 19LA 训练、两种 XLSR 后端和固定扰动半径下成立。
该文把说话人跟踪拆成段内分离加跨段两阶段组织,用重叠拼接接续连续语音、用工作记忆做说话人验证来连接中断语音,在 LibriCSS 和 AMI 上验证了在线跟踪效果与说话人增多时的代价。
SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题,用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑,在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性,但结论只在指定画像和扰动房型条件下成立。
论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题,提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全,在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度,但结论依赖特定编码器、缺失模拟方式与理论能耗估计。
论文针对全双工模型在长对话中偏离多阶段脚本的问题,提出边听边说的执行器加异步文本指挥器的架构与在线指令跟随训练,在 200 个分阶段考官任务上用完成率与严格顺序完成率衡量,并以显式轮替奖励维持打断与接话能力。
论文在全双工语音模型 Moshi 中用均值差向量做四种情绪转向,发现残差流可线性解码但转向跟随向量间几何而非标签,只有 sad 稳定转向,代价是可懂度下降。
论文用同一批音频配不同指令求平均激活之差得到任务向量,推理时加回残差流,在少量标注下改善转录、情感与描述并降低换提示词的波动,但非拉丁文字与无提示续写仍需额外约束。
SteerSpeech 针对推理时情感控制粗糙不稳定的问题,在冻结 Qwen3-TTS 的条件下为每种目标情感学习一个低秩残差变换来优化 steering 方向,并用情感、说话人和转写三类专家在多档强度上联合监督,在愤怒等情感上把目标情感分数提升到基线的 1.08 倍到 7.12 倍,代价是快乐和悲伤的说话人漂移略有上升且高强度下仍存在情感与身份的权衡。
STEMMA 针对多段音乐比较问题,先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答,并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持,属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。
论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩,提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法,在音频平均提升 29.55%、视频平均提升 24.92%,代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。
针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。
针对图文音视频混合检索中通用语义与模态特性难分离的问题,Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡,3B 整体 Hit@1 达 49.4%,代价是专家路径推理时不能合并带来延迟增加。
该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题,用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。
论文用冻结声学特征与配对拼接对照检验音素词锚点与边界一致性训练,发现锚点损害短事件定位,增强降低良性编辑误报但在部分阈值下增加合成漏检且一致性无统一增益。
论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题,对比模态与时序建模并以上线重抓门控验证,触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。
论文用纯文本推理训练提升联合音视频推理,再用约少 90% 输入词元的音视频强化学习恢复感知,在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。
论文把原来手工测试的互动叙事生成评估做成公开网页平台,用去标识评分、自动试玩与事实和偏见检查来测文本代码图像音频视频与完整游戏,报告前沿模型整体分数更高但交互结构仍弱且出现无限思考与过度拒答的代价。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。