把声音放在前面：用角色化语音让日语风格差异可听可见

英文题目：A Speech-First Character Interface for Stylized Japanese Dialogue Practice

会议身份：conference:interspeech:2026:conference-paper-id:rackauckas26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #SFT #语音 #语音对话系统 #文本到语音

评分：4.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.2/1.5 | 清晰度 0.8/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：后50% | 文档类型：系统技术报告

👥 作者与机构

• Zackary Rackauckas：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作针对日语学习中书面形、发音、社会语域与句末词难以通过纯文本体会的问题，输入为任意语言的键入文本或录制语音，输出为角色限定的日语文本及其表现力语音与词汇辅助。方法链首先由角色提示约束的大语言模型将对话请求转为指定人物风格的日语回复，其文本直接进入基于 Style-BERT-VITS2 JP Extra 微调的角色语音合成模块生成对应音色与韵律，最后由移动端聊天视图完成播放回放与点词查阅振假名、罗马音与英语释义。与中性导师型语言学习机器人相比，关键机制差异在于以多角色并行对比为核心交互，同一提示可分发给不同角色以同时暴露词汇、语域与嗓音差异。原文未提供可核对的关键定量结果，明确将本稿限定为演示论文，用户研究方法与学习结果归于另一篇同伴论文，此处不重复。结论仅适用于展会环境下的风格化口语接触与兴趣激发，不适用于正式语体教学或替代课堂与母语者反馈。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要做语音优先？

这篇解读的输入是展位可运行的移动端日语练习演示系统 Jouzu，目标是让刚进入语音与语言学习交叉方向的研究生能复述其完整交互环。必须保留的信息是系统只做展示而不报告学习效果实验，语音是体验人格的主通道而非文本的附属播放，风格化角色语只做接触性练习而不教作正式用语，输出是 1 次可在 1 分钟内完成的选人发提示听回复查词流程。

学习者面对的日语难点是书面形发音语域和句尾小词必须在 1 次往返中同时成立，纯文本聊天只能看到字形而听不到语气停顿和人物感，因此作者把听和说放在主路径。举例来说，学习者用英语问人物今天在做什么，系统仍用日语人物风格回答并配音，学习者先听再看文本再点生词，这种先听后读的顺序就是语音优先的含义。原文明确把范围限定为演示论文，用户研究方法和学习结果分析放在另 1 篇同伴论文中，这里不重复那些结果。

资源状态方面，本次没有发现来源绑定且完成验证的代码模型或数据资源，因此不能声称代码模型或数据已公开，只能按论文文字复述系统做法。

已有路线做了什么，本文的演示位置在哪里？

与本文同输入同目标的工作包括基于大语言模型的语言练习聊天机器人，以及用大语言模型扮演虚构动漫人物的工作。按同监督和同运行阶段对照，前者多为中性家教设定，监督来自通用对话能力，运行阶段是文本问答加事后讲解，后者多关注人物还原和开放闲聊，运行阶段不一定包含语音合成与课堂外的学习支架。

Jouzu 的位置是把这两条路线搬到现场可听的移动端语音演示，输入可以是任意语言的打字或录音，输出必须是带人物声音的日语回复加可点查的文本。论文引用的角色语言研究说明日语中风格化形式可以标记性格角色性别出身等身份，这为人物提示词提供了语言学依据。需要区分的是，本文不与上述系统做同条件胜负比较，没有报告可比的流利度评分或留存率，只是提供一种可直接观察的对照方式。

表现性人物交互 × 计算机辅助语言学习： 表现性人物交互负责提供虚构身份的语言风格和声音扮演，计算机辅助语言学习负责提供练习听力和口语交互的学习目标，二者搭配的理由是中性家教机器人缺少可感知的语域差异，组合后风格化语音成为练习材料本身而非文本聊天的附加音频。

理解这组关系后，再看后文的方法全景就清楚了，人物扮演提供差异来源，语言学习目标决定了为什么要保留查词和重放，而不是只比谁的声音好听。

要解决的演示问题是什么，不解决什么？

要解决的演示问题是如何让参观者在嘈杂展位短时间内直接感知人物条件化语音的差异。具体来说，同一句提示发给不同人物时，系统应在措辞语域句尾形式说话风格和合成音色上给出可区分的实现，并让初学者也能通过重放和点词跟上内容。不解决的问题包括离线评测指标上的最优性，学习增益的因果证明，以及正式场合用语规范的教学。

作者明确写出风格化虚构角色语言具有表现力和文化可辨识性，但不总是适合正式真实对话，因此应用被定位为接触和练习风格化语音，而非替代课堂教学或母语者反馈。这个定位决定了后文所有设计都要保留文本对照和查词，而不是追求全语音无屏交互。如果把该系统误解为正式日语教师，就会误用其人物语料，这正是论文用展前说明要 blocking 的误解。

端到端一次交互走完哪几步？

沿一个样本走完全程有助于建立依赖顺序。假设参观者选择人物希卡里并输入英语问句，系统先把该轮转为对话请求并附上所选人物的人物条件，再调用语言模型生成日语人物风格回复，接着用对应人物语音合成音频，最后在移动聊天视图同时呈现日语文本与播放控件，参观者可以重放继续追问换人物比较或点词查读。核心路径只需要文本输入和音频播放即可进行，因此在噪声环境下仍能展示完整的语音输出，录音重放和人物比较属于可选路径，可按兴趣和现场条件取舍。论文强调的是端到端响应性而非离线评测，目标是在 1 分钟内完成 2 次人物对照加 1 次生词查看。

下面先看管线框图的总览，再把框图中的每个形状对应到真实组件，避免把融合呈现误当成声学模型。

看图路径： 1. 先从左侧用户输入框沿箭头走到大语言模型菱形再走到融合圆再走到机器人输出；2. 再看从大语言模型向下分叉到语音合成菱形再汇入融合圆的第二条支路；3. 对照方块圆形菱形的形状区分输入输出容器与模型计算与融合呈现

论文图 2。原论文 Figure 2：“Block diagram of the Jouzu chatbot pipeline.”。

框图从左到右是用户输入方块指向大语言模型菱形，再指向融合圆再指向机器人输出方块，另有一条从大语言模型向下到语音合成菱形再向上汇入融合圆的支路。像素可见蓝色方块表示输入输出容器，黄色菱形表示语言模型与语音合成两处计算，绿色圆形表示把文本与音频拼成最终呈现的融合环节。该图没有给出延迟坐标轴或准确率曲线，不能读出任何性能数值，只能确认主路径与语音支路在哪里汇合。结合正文可知，融合不是声学融合，而是界面把回放控件和聊天记录放在一起，让所听与所见的日语文本对齐。

人物条件生成如何让同一句话说出不同人物感？

人物条件生成指用人物提示词约束大语言模型输出的过程。白话说，就是给模型一段人物小卡，写明简介风格要求和例句，再把用户本轮输入拼进去，让模型用该人物的措辞和句尾形式回答，同时仍允许开放话题。每个提示词包含经日语母语者检查过的短档案风格指令和示例行，这是原文明确交代的唯一质量控制动作。重要能力是对比，参观者把同一提示发给多个人物，可以在措辞和句尾形式以及声音上看到听出差异。教学例子是同一句问候分别触发不同人物的第一人称和终助词选择，例子只是说明对照方法，不代表原文报告了具体词频数值。

人物条件生成 × 角色语言： 人物条件生成负责按所选角色的人物提示词产出措辞和句尾形式不同的日语文本，角色语言负责提供风格化形式与性格身份之间的对应依据，二者搭配的理由是仅有提示词约束容易风格漂移而仅有语言学概念无法直接生成句子，组合后同一输入可以产出多个人格可并排比较的文本实现。

该组件的输入是任意语言的打字或录音转成的对话请求，输出是日语人物风格文本，监督来源是提示词中的人工示例而非本论文新训练的奖励模型，原文未报告提示词长度解码参数或温度等超参数，这些是具体缺项，复现时只能先按短档案加风格指令加例句的结构搭起，再自行记录参数以保证可比。

角色语音与点按查词各自解决什么？

表现性语音合成指把生成的日语文本转成带人物音色和情感的语音。白话说，通用合成模型先保证日语可懂，人物录音微调再让声音像某个人。原文交代专业日语配音演员录制了角色对话，这些录音被用来从预训练的 Style-BERT-VITS2 日语额外模型微调出人物专用语音模型。原文还引用既有评测称该预训练模型合成的日语与母语真人录音在平均水平上无显著差异，但那是引用先前工作的结论，不是本演示现场测得的新数据，不能当成本次展位效果的证据。界面把播放控件和聊天记录放在一起，目的是让学习者把听到的语调与看到的文本对应起来。

Style-BERT-VITS2 × 角色专用语音模型： Style-BERT-VITS2 负责把日语文本转为带情感和语域色彩的语音波形，角色专用语音模型负责记住每个虚构人物的音色和说话方式，二者搭配的理由是预训练通用模型提供可懂的日语发音基础而人物录音微调提供可区分的人格听感，组合后文本风格差异同时有了声音载体。

点按查词指点击生成文本中的句子或单词即显示支撑信息。白话说，不跳外部词典，直接在原地看振假名罗马音和英语释义。它的作用是让看不懂全句的初学者也能参与，也让进阶学习者能在听完重放后立刻对照书面形比较语域。语音与阅读支撑因此留在同一循环，听重放查词 3 步不割裂。

语音优先 × 点按查词： 语音优先负责把回放和重听放在交互主路径让人先用耳朵体验人物和情感，点按查词负责在同一聊天视图内给出振假名罗马音和英语释义等阅读支撑，二者搭配的理由是初学者听得懂片段但读不全句子，组合后听和读在同一循环内互相印证而不必跳到外部词典。

下面看手机聊天界面的实际排布，确认输入输出和查词入口的位置关系。

看图路径： 1. 先看顶部人物头像与名字栏确认当前是希卡里人物会话；2. 再看中间粉色用户气泡与白色人物气泡的日英对照排布；3. 最后看底部文本输入框与语音交谈按钮确认文本与语音两条输入入口

论文图 1。原论文 Figure 1：“Jouzu chat interface with tap-based word inspection.”。

像素可见竖屏聊天页顶部是人物头像与名字栏，中间是粉色用户气泡与白色人物气泡交替，人物气泡内日语在上英语译文在下并带有显示或隐藏译文的小字，底部是文本输入框加粉色发送键以及语音交谈按钮，背景是插画风格建筑。该图展示的是单人物单轮的呈现方式，不能读出多人物并排比较的界面，也没有坐标轴可供性能判读。它的教学价值在于验证正文所说的文本音频查词同屏，以及任意语言输入后仍输出日语人物回复的设定。

本研究训练了什么，没有训练什么？

本节按原文交代区分构造与训练。本演示论文本身没有报告新的神经网络训练过程，没有给出语音微调的数据时长划分学习率步数或损失曲线，也没有给出语言模型的微调或强化学习细节，不能从模型名称推定这些实现。

实际发生的计算过程是调用已有能力加人物级构造，第一步是撰写人物提示词并请母语者检查示例行，第二步是利用演员录制的角色对话从预训练语音模型微调出人物专用语音，第 3 步是在线推理时按所选人物切换提示词与语音模型并做界面融合。原文未说明录音时长采样率标注方式和微调冻结了哪些参数，也未说明语音输入路径的识别器型号与语言覆盖，这些都是具体缺项。

不能把无训练等同于确定性求解，即使参数冻结，语言模型采样和合成韵律仍可能带来不确定性，复现时应固定提示词版本记录解码种子并保存音频以备对照。由于细节在本文缺失，语音质量的证据只能引用先前工作，不能当作本系统新测的结论。

展位演示的条件与流程如何保证可复述？

实验条件在这里指现场演示条件而非训练评测划分。演示被组织为短引导加自由探索，主持人先请参观者选人物，再用准备好的提示或简短自拟语音提问，接着播放合成回复并展示日语文本，最后点词打开查词器或换人物重复同一提示。支持的展位模式覆盖语音播放人物对照语音输入和上下文词汇支撑，但核心路径只需要文本输入和音频播放，因此主持人可以在噪声下仍可靠展示语音输出，语音输入只在条件允许时启用。这种核心与可选分离是为嘈杂环境设计的保底策略。

比较模式 × 展位工作流： 比较模式负责把同一提示发给多个人物以暴露词汇选择句尾形式和声音的差异，展位工作流负责把体验切成选人发提示听回复查词的可控步骤，二者搭配的理由是自由闲聊难以在嘈杂短时内形成对照，组合后 1 分钟内即可完成可复述的对比演示。

为核对步骤数量与时间预算，整理下表。表前提出比较问题是 4 步流程是否都能在短时内完成，公平条件是同一提示跨人物比较，指标方向是完成对照所需操作越少越好。

表后解释是主要收益是 4 步闭环让初学者也能走完听与读，代价是为保可靠而把语音输入降为可选，噪声大时无法展示识别效果。未胜出项是自由长对话，原文没有承诺在展位支持多轮长上下文的稳定风格保持，这属于未评测边界。下表的数字与单位来自原文连续句的逐字引用，44,000 之类的无关数字未引入，时间单位保留原文分钟与次数写法。

主结果是什么，有哪些数字能支撑？

论文直接报告的是系统可运行性而非定量主结果。原文明确强调整体是展示论文，强调端到端响应性而非离线评测，同伴论文才报告用户研究方法与学习结果分析，这里不重复。因此没有准确率召回率平均意见分或学习增益表格，不能把引用先前语音评测的无显著差异当成本文的新测量。能支撑的判断只有过程性事实，即参观者可以在 1 分钟内提交同一提示给两个人物并听到不同合成声音与风格，并查看回复中的生词。

这支持系统具备人物对照演示能力，但不支持教学更有效或语音更自然的因果结论。缺失误判率延迟成本等测量时，不应承诺这些量得到改善。为保留可核对的运行条件，整理核心与可选路径对照表。表前提问是在噪声下哪些功能必须保留，公平条件是同一手机与同一网络，指标方向是核心路径可用性优先。

表后解释是主要收益是文本保底加语音增强的双轨制，进阶者可比较语域初学者可依赖查词，具体代价是语音输入的鲁棒性未被量化，观众不能从该表读出识别准确率。未胜出或未评测的是多人物同时混音比较与长期留存，这些在原文没有证据。

拿掉哪一块，对比还成立吗？

原文没有做消融实验，因此只能按机制做有限解释而不做因果断言。如果拿掉人物条件提示而保留同一语音，文本措辞与句尾差异会消失，比较只剩音色差异，原文的措辞与声音双重对照就不成立。如果拿掉人物专用语音而保留人物文本，差异只可见而不可听，语音优先的主张会被削弱。如果拿掉点按查词，初学者在遇到未登录词时会中断流程去查外部词典，展位节奏会被打断，但进阶者的风格比较仍可进行。

这些都是基于组件分工的推理，原文未测量拿掉后的具体下降幅度，因此用可能与待验证表达，不写必然怎样。另一个可对照的边界是单人物与多人物，单人物只能体验扮演，多人物才能让风格差异成为可观察变量，这正是作者把比较模式放在中心的原因。

边界与风险写在哪里，复现时如何避免误用？

论文用独立小节交代演示特有考虑。第一是风格化虚构角色的 framing，展前需说明角色语具有表现力和文化可辨识性，但不总是适合正式真实对话，应用被定位为风格化语音的接触与练习，而非替代课堂教学或母语者反馈。第二是现场可靠性，核心与可选分离让主持人在噪声下仍可用文本加播放完成演示，语音输入为可选。第三是范围限定，用户研究与学习效果不在本文报告，不能引用本文证明学会了日语。这些不是技术错误，而是证据边界。

复现与教学时应保留同样的展前说明，避免把虚构语域教作普遍礼貌体，同时记录噪声条件与输入模态，否则跨场地比较会混淆是系统差异还是环境差异。训练资源推理开销输出帧率与实际延迟在原文均未报告，不能承诺低延迟或低成本。

要复现这个演示，先做什么，需要补哪些验证？

复现先做最小可运行环，再补人物资产。第一步搭移动聊天壳，包含人物选择文本输入音频播放与文本显示，先用一个人物提示词加一个通用日语语音跑通打字到播放。第二步加入人物提示词库，每个提示词按短档案风格指令示例行的结构写，并请日语母语者检查示例行，保留版本号。第 3 步准备人物语音，先用预训练 Style-BERT-VITS2 日语模型做基线，再按原文做法用演员录制的角色对话微调出人物专用模型，保存录音时长划分与微调配置。

第 4 步加入点按查词，保证振假名罗马音英语释义在原地弹出，并把播放控件与 transcript 放在一起。第五步实现比较模式，允许同一提示一键发给两个人物并保留 2 次文本与音频以备重放。何时值得尝试是当目标是让语域差异可感知而非教正式规范时，还需补的验证包括安静与噪声下的可用性记录，不同日语水平用户的任务完成度，以及风格化输入是否被误用到正式场合的检查。

代码权重与系统可运行要区分，本次没有可用资源证据，只能按文字复现，不能声称已公开。

收束：这篇演示教会我们什么？

回到中心矛盾，中性家教机器人易教规范但难让人感知语域，风格化角色易让人感知差异但有误用风险。Jouzu 的选择是用语音优先加人物对照加行内支撑把矛盾摆到台面上，听得到差异，看得到文本，查得到生词，并在展前说清不教正式场合。对研究生而言，可学的是演示设计方法，把核心路径压到文本加播放以对抗噪声，把可选路径留给语音输入与自由探索，把比较任务固定为同一提示跨人物，从而在短时内形成可复述的证据链。

未验证的是学习效果与语音鲁棒性，这些留给同伴论文与后续测量。本文的复述要点是选人加人物提示生成加人物语音合成加同屏查词加跨人物比较，缺任何一块，对照的说服力都会打折。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总