静默语音接口

针对眼镜超声静音识别配对数据难收集的问题，论文用语音克隆 TTS 加两阶段生成器从文本合成回波包络与条纹，并在 104 小时合成数据预训练后把词错误率从 25.9% 降到 23.6%，叠加故障会话与解码后到 14.9%，代价是需要 TTS 语音、两阶段对抗训练与语言模型重打分。

论文针对肌电到语音合成中过度平滑与模型臃肿问题，提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态，在英汉数据上以更少参数改善频谱重建与可懂度，但混沌计算只在训练时付出代价且主观差异未达显著水平。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该研究用超声舌图和唇图复现基频预测并检验信息来源、时序、过拟合与重音耦合四种假设，最强证据是朗读全局相关约 0.70 掉到自发约 0.39 而重音词预测更好，代价是只用不到 5 分钟微调与朗读训练难以推广到对话。

论文以同一肌电编码器比较语音合成、识别、音素分类与自监督预训练四类任务，用线性探测显示音素信息可在无音素监督时涌现，而可懂合成必须保留声学回归损失，自监督对比预训练的隐空间与音素不对齐且未改善合成与分类，代价是单说话人小数据与线性度量的局限。

针对静音肌电缺少逐帧语音监督且样本更少的问题，该研究在保留语音导出声学与音素监督的同时增加静音到有声的输出层与隐层表示对齐，在梅尔谱目标下把词错率从 26.75% 降到 25.14%、在软语音单元目标下从 27.78% 降到 26.55%，代价是只有具备同句平行肌电对的静音样本才能计算该约束且结论依赖多种子平均与显著性检验。

SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频，以当代对话语料实现开放词汇覆盖，并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率，但跨模式泛化仍存在大幅落差。

该文用实时磁共振影像直接估计梅尔谱并合成波形，问题是未见说话人能否不依赖参考语音保留语言内容，方法是用跨模态说话人嵌入引导影像分支学习说话人特征，最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近，代价是绝对基频和同性别说话人区分仍受限。

针对仅用舌部超声视频合成可懂语音的问题，论文用 4 层三维卷积加 6 层 Transformer 预测梅尔谱并经 HiFi-GAN 发声，在 TaL 单人集上词错误率做到 15.93%、多人混合训练做到 31.64%，代价是跨说话人零样本泛化仍弱、需对新用户微调。

针对超声舌成像的探头位移与散斑噪声及协同发音长时依赖，论文用聚类降采样加物理增强与三维卷积加双向循环建模，在儿童超声数据集的重叠与未见说话人两种划分上把词错误率降到 0.1595 与 0.0597，代价是增强幅度与掩蔽比例需小心约束且大模型在小数据上并未占优。

论文要解决说话时大脑、肌肉和声道运动无法同拍同看的问题，选择在 0.55T 实时磁共振里同步采脑电和表面肌电并做三级去伪迹，初步显示磁伪迹被压到接近机外水平而代价是单被试、低密度脑电和前极残留扰动。

针对中英混语唇语数据稀缺问题，论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型，在 CSLR 上把混合错误率降到 16.48，代价是纯单语中文识别仍明显弱于原始多语基线。

针对静音肌电信号欠定导致可懂度低的问题，GETS 用肌电条件扩散保留韵律并在推理时引入静音语音识别文本的分类器引导，在静音测试集上报告 11.89% 词错误率，代价是依赖预训练识别与调制权重选择。

针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音，本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建，最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288，代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。

论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献，发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化，但引导模型把激活集中到了舌区，代价是结构更复杂而客观指标没有提升。

论文用 MaFI 孤立词任务比较三类视觉语音识别模型与人类唇读者，发现模型词错误率更低但成功与失败的词不同，错误更随训练词频而非视觉清晰度变化，代价是视觉清晰度只能解释模型约 6 到 9% 的排序方差而人类可达 50 到 79%。

针对无声肌电到语音映射模糊难控的问题，TAP-ETS 用帧级音素嵌入经交叉注意力直接条件化解码，并在推理时把外部文本校正重分布回肌电帧，在 Gaddy 无声测试集上把词错误率从 25.12% 降到 19.77%，代价是依赖外部语言模型校正质量与精确时长结构。

针对无声说话人视频的转录时间对齐问题，V-Align 把帧-音素相容格上的单调遍历作为核心结构，先无边界学习路径分布再用词级 MFA 精修，在 LRS2 上以 32.9 ms 与 91.2% 取得最优，但第二阶段仍依赖音频对齐监督且未公开可运行代码。

该文用英语预训练的视频 Conformer 在 OLKAVS 协议上把已见句式误差降到约 10% 上下，但人口普查显示个体误差从 1% 到 52% 不等，数分钟正面视频的低秩适配器能为高误差者挽回约 2 到 3 个点且可迁移到各视角，而嘴平面以上相机带来约 6 个点的固定加性损失。

针对音素到文本重建训练用干净音素而推理遇到视觉识别错误的问题，论文提出从合成扰动到多域再到目标域伪标签的三阶段渐进训练 PECT，在 LRS2 上把 HP-VSR-FiLMFuse(L4) 从 23.3% 降到 22.2%，代价是需要五折训练视觉前端生成伪标签且仍受限于第一阶段音素质量。