近日,U8国际集团官网U8国际集团软件体验与人机交互实验室(SEAMi LAB)的论文《Measuring Smartphone User Experience through a Hierarchical Metric Framework via Social Media Reviews》被普适计算与人机交互领域顶级国际期刊/会议 ACM IMWUT/UbiComp 接收。UbiComp 是普适计算与人机交互领域的顶级国际会议,属于中国计算机学会推荐 A 类会议。以下是论文简介:
论文标题:Measuring Smartphone User Experience through a Hierarchical Metric Framework via Social Media Reviews
作者:潘骁腾,蓝敏刚,张琛瑞,苏雨,刘伟杰,高悦,高楠,张海宁*
作者单位:U8国际集团官网U8国际集团
论文链接:http://arxiv.org/abs/2609.23101
作者主页:https://xiaotengpan.github.io/
摘要
智能手机已经成为人们接入数字服务、沟通交流、工作学习和日常生活的重要入口。用户对智能手机的体验广泛沉淀在社交媒体、产品社区和评论平台等在线公共讨论中,为大规模、真实场景下的用户体验测量提供了新的数据来源。然而,现有用户体验量表和评论挖掘方法仍难以提供一个面向智能手机场景、具有理论基础、支持跨平台一致聚合与比较的层级化度量框架。
针对这一问题,本文提出了一个面向智能手机用户体验的分层式度量框架,并构建了可解释的评论分析流程。该流程从跨平台评论中提取局部体验证据单元,将其映射到分层式 UX 指标体系,并使用统一的五级满意度模型量化用户评价。研究基于约 2 万条中文社交媒体评论,覆盖四个主流手机品牌和三个平台,开展了跨品牌、跨平台和跨体验维度的用户体验分析。
研究结果表明,该方法能够区分“用户讨论什么”和“用户如何评价”,分别通过标准化提及频率和五级满意度得分刻画手机体验的可见度与评价倾向。本文为大规模真实场景下的智能手机用户体验测量提供了一种可扩展、可解释、可追溯的证据基础,也为产品体验诊断、竞品分析和用户反馈理解提供了方法参考。
背景与挑战
随着智能手机在人们日常生活中的持续普及,手机用户体验已经不再局限于单一任务是否能够完成。用户在真实使用中会关注系统流畅度、稳定性、续航、屏幕显示、影像效果、音频反馈、外观设计、品牌感知、自我表达和社交连接等多个方面。这使得智能手机用户体验成为一个复杂、多层次的研究对象。
与此同时,大量用户会在社交媒体、产品社区和评论平台中自然描述、比较和评价手机体验。这些真实评论能够反映用户在日常使用场景中的体验感知,为人机交互和普适计算研究提供了丰富的数据来源。但这类数据也存在明显挑战:评论表达通常较为碎片化,不同平台的表达方式存在差异,用户可能在同一段评论中同时讨论功能、感官、品牌和社交感知等不同层面的体验。

图 1 面向社交媒体评论的智能手机用户体验度量框架
现有用户体验量表虽然具有理论基础,但难以直接处理大规模非结构化评论。已有评论挖掘方法虽然能够识别主题、关键词或整体情感,但往往缺少稳定的智能手机用户体验指标体系,难以支持跨品牌、跨平台和跨体验维度的系统比较。因此,本文关注的核心问题不是简单地对手机评论进行分类,而是如何将自然产生的大规模用户评论转化为结构化、可追溯、可比较的手机用户体验证据。
研究方法与框架
针对上述挑战,论文提出了一个面向智能手机的分层式用户体验度量框架,并构建了可解释的评论分析流程。该框架并非直接套用既有量表,而是在用户体验与消费者体验相关研究的基础上,结合智能手机产品特征、真实评论表达和专家评审进行构建与细化。框架将手机用户体验组织为功能性体验、感官性体验和社会性体验三类高层维度,并进一步细化为多层级指标,使评论中关于续航、屏幕、系统流畅度、影像效果、外观设计、品牌感知等具体表达能够被映射到统一的用户体验指标体系中。
与传统评论分析中只提取关键词、主题或整体情感不同,本文更关注如何将用户评论转化为可追溯的体验证据。论文首先从原始评论中识别局部体验表达,形成体验证据单元;随后,将这些证据单元映射到分层式 UX 指标框架中;最后,使用统一的五级满意度模型量化用户评价。由此,每一条分析结果都可以追溯到原始评论中的具体表达,避免分析停留在抽象主题或总体情感层面。

图2从真实用户评论到手机 UX 指标的分析流程
为增强分析结果的可信度,论文对指标映射、满意度评分和完整分析流程进行了多层次评估与人工验证,确保从原始评论到结构化 UX 指标的转换过程具有可解释性和可追溯性。在实证分析中,论文基于约 2 万条中文社交媒体评论开展研究,覆盖四个主流手机品牌和微博、B站、小红书三个平台。通过统一的指标框架,研究能够在不同品牌、不同平台和不同体验维度之间进行相对一致的比较,从而识别真实用户评论中呈现出的体验关注点、评价差异和平台表达特征。
分析结果与发现
基于分层式 UX 度量框架,论文进一步刻画了真实社交媒体评论中的手机用户体验表达。整体来看,在所分析的中文社交媒体评论中,功能性体验和感官性体验构成了用户讨论的主要内容。用户更频繁提及视觉吸引、可靠性、耐用性等体验维度,例如影像效果、屏幕显示、系统稳定性、续航和性能表现等。相比之下,易用性和听觉效果等指标在自然评论中较少被主动提及,说明不同体验维度在公共讨论中的可见度并不相同。

图3各品牌二级体验指标的提及频率
在评价倾向上,不同体验指标之间也呈现出明显差异。社会性体验中的自我表达相关指标虽然不像部分功能和视觉指标那样高频出现,但通常获得更积极的评价。这说明,手机不仅是完成任务的工具,也会作为个人风格、品牌认同和社交表达的载体进入用户评论。部分触觉和听觉相关体验的评价相对更低且波动更大,说明这些体验在真实评论中可能更容易与具体摩擦点相联系。

图4各品牌二级体验指标的满意度得分
进一步分析显示,高频体验指标背后的具体构成并不相同。以视觉体验和可靠性为例,视觉体验主要由影像效果和屏幕显示等子指标构成,相关评价更多体现为用户对手机外观、显示和拍摄体验的感知;而可靠性相关评论则更多集中在稳定性问题上,例如连接稳定、网络稳定和系统稳定等。这表明,分层式指标框架不仅能够识别用户在讨论哪类体验,也能够进一步追溯到更具体的体验来源。
论文还发现,平台语境会影响手机体验的表达方式。不同平台上的用户讨论重点存在差异,其中小红书更容易放大视觉体验、自我表达和身份感知相关内容。相比之下,平台之间的满意度评价差异整体上没有讨论内容差异那么明显。换言之,平台更明显地影响用户把哪些体验表达出来,而不一定同等程度地改变用户对这些体验的评价。
这些结果说明,社交媒体评论可以作为一种真实场景下的用户体验证据,用来观察哪些手机体验更容易被用户注意、表达和比较。通过分层指标和可追溯分析,研究能够从大规模评论中识别产品体验的可见优势、摩擦点和平台化表达差异,为后续用户研究和产品体验诊断提供支持。
研究意义
该研究的主要贡献在于,提出了一个面向智能手机评论分析的分层式用户体验度量框架,并实现了一个可追溯的计算分析流程。通过连接原始评论、体验证据、指标标签和满意度评分,论文将大规模真实用户评论转化为可解释、可聚合、可比较的用户体验证据。
对于学术研究而言,该工作为普适计算和人机交互领域提供了一种面向真实场景的智能手机用户体验测量路径。它不仅关注文本分析模型本身,更关注如何将自然产生的用户表达转化为具有 HCI 含义的体验指标和分析结果。对于产业实践而言,该方法可用于支持产品体验评估、竞品分析、用户反馈理解和体验优化,帮助产品团队从海量评论中识别不同体验维度的讨论重点和评价差异。
该论文来自实验室与 vivo 公司合作开展的用户体验度量评价体系项目。研究将人机交互中的用户体验理论、大规模社交媒体评论分析和智能终端产业评价需求相结合,为真实场景下的手机用户体验测量提供了一种可扩展的方法路径,也体现了实验室在人机交互方法与产业实践结合方面的持续探索。
总结
本文面向真实场景下的智能手机用户体验测量问题,提出了分层式用户体验度量框架和可解释的评论分析流程。通过对约 2 万条中文社交媒体评论的分析,论文展示了如何将自然产生的用户评论转化为结构化、可追溯、可比较的用户体验证据,并进一步刻画跨品牌、跨平台和跨体验维度的用户体验表达差异。
后续,软件体验与人机交互实验室将继续围绕真实场景用户体验度量、智能终端体验评价、社交媒体用户反馈分析等方向开展研究,进一步探索人机交互研究与产业实践之间的结合。