Can We Trust AI-Inferred User States. A Psychometric Framework for Validating the Reliability of Users States Classification by LLMs in Operational Environments
📄 Can We Trust AI-Inferred User States. A Psychometric Framework for Validating the Reliability of Users States Classification by LLMs in Operational Environments #模型评估 #心理测量学 #大语言模型 #可靠性评估 ✅ 6/10 | 前50% | #模型评估 | #心理测量学 | #大语言模型 #可靠性评估 | arxiv 学术质量 5.5/8 | 影响力 0.5/1 | 可复现性 0/1 | 置信度 中 👥 作者与机构 第一作者：Izabella Krzemińska 通讯作者：Izabella Krzemińska（Orange Research, AI Center, Warsaw, Poland） 作者列表：Izabella Krzemińska（Orange Research, AI Center）、Michał Butkiewicz（Orange Research, AI Center）、Ewa Komkowska（Orange Research, AI Center） 💡 毒舌点评 亮点在于，论文将经典的 psychometric 信度分析框架（特别是 ICC 指标）系统性地应用于一个被工业界忽略却至关重要的实际问题：LLM 在单次推理下推断的用户状态是否稳定可靠。其核心洞察——区分“单次推理信度”与“聚合后信度”——对于实时自适应系统的设计具有直接的指导意义。短板在于，所有结论都基于一个极度狭小的数据集（15段电信客服通话，约52分钟），这严重削弱了其发现的普适性。更致命的是，论文未提供任何代码、数据或完整的指标定义，其提出的“可复现框架”在现实中几乎无法复现，沦为一个详尽的理论蓝图，影响力大打折扣。 ...