背景: 去年 12 月因公司一个改版项目,第一次全流程负责与参与设计调研工作。这次设计调研是设计组牵头做的,领导安排了我与另外一位用研同事一起完成了此次设计调研,包括从前期的设计调研项目启动、测试功能点确定、问卷设计、用户招募、用户筛选、 可用性测试 、焦点小组、数据梳理、报告产出与解读等环节。
设计调研
我把《设计调研》这本书的脉络和重点都给你划出来了! 最近重新梳理《设计调研》读书笔记。
阅读文章 >
结合自身学习与实操经验,会陆续与大家分享设计调研方法,帮助更多的 设计师 去了解与完成设计调研工作。本文将重点分享可用性测试方法。
拓展阅读
万字干货!9个方面帮你完整掌握可用性测试 设计师面试被提问可用性测试?
阅读文章 >
什么是可用性测试? 可用性测试(Usability Test)是一种通过用户使用产品来评估产品是否满足用户需求的的测试方法。让用户执行具体任务,通过观察、记录、分析用户的行为与情绪,帮助设计者发现产品存在的问题,更好的优化产品,提升产品的用户体验。
可用性测试的优点:
有助于发现产品可用性问题 有助于提高最终用户满意度 聚焦设计方向,提升产品设计效率 可用性测试的测试时机:
可用性测试适用于产品发展的各个阶段。
设计开发阶段进行高保真原型的可用性测试能够获得用户的直接参与,了解用户的看法与习惯,提高设计与开发质量。 在产品开发完成,测试版本的时候,使用可用性测试可以了解用户真正使用产品的情况,提供产品优化迭代的具体方向。 可用性测试流程 在设计调研工作中,我们可以把完整的可用性测试流程分为五个阶段:
阶段一:测试前准备 阶段二:测试中的观察与记录 阶段三:测试后的数据整理与分析 阶段四:撰写调研报告与解读报告 阶段五:材料归档 可用性测试的每一个阶段都挺重要的,都需要我们花费大量时间来准备。接下来将详细讲解每一阶段所需做的具体事情。
阶段一:测试前准备 测试前准备是整个可用性测试耗时比较久的一个阶段。测试前准备工作重点有如下几项:
1. 确定测试目标与测试功能点
确定我们此次研究的目的是什么,希望此次的研究验证达到怎样的预期结果。在这一步我们一定要与产品、用研等同事多多沟通,基于目的进行测试功能点的选择。确定需要对产品哪些服务、功能点进行测试。
像这次我们的可用性测试,我们希望通过此次的设计调研能够发现产品中存在的可用性问题,研究用户心中产品与竞品的体验差异、优化搜索功能等。与产品同事、用研同事沟通后,选取了几项高频服务与搜索功能进行测试,发现产品所存在的体验问题,以及发现搜索功能存在的问题,确定我们后续需要测试的功能点、测试范围、关键指标。
2. 定义测试用户
我们究竟找哪些用户来参与我们的测试?需要我们对调研的用户画像有清晰的定位与制定用户筛选标准。把用户特点类型按照一定比例做成筛选的条件表,也叫样本分层。最常见的筛选条件为用户的基本特征(性别、年龄、学历)与行为特征(使用频次、使用时长等)。
3. 招募和筛选测试用户
我们可以通过线上问卷或者联系专门的招募公司等方式进行人员招募、招募时附上相应酬劳或者福利,更容易招募到用户。招募到用户后需按照我们的样本分层条件来筛选符合要求的测试用户。
大量的可用性测试研究证明,5 名测试用户即可发现 80%以上的问题,测试用户并非越多越好,因为在后续会发现用户提的问题大多都是重复的,同时还会增加调研成本,所以安排大量的测试用户是没有意义的,一般选择 5-8 名测试用户参与测试即可。在筛选用户的时候也需要选出一些备选用户,以防有的测试用户临时有事来不了的情况,我们就可以联系备选用户。
在这次可用性测试中我们通过线上运营活动,通过 banner、开屏海报、朋友圈海报等形式投放调查问卷招募用户,并承诺参与问卷调查的用户有机会获得公仔等奖品,如果成为我们的测试用户有额外的现金奖励。通过这种方式招募到的用户还挺多的。但是!筛选用户也是一件特别令人头疼的事情,样本多,但找齐符合样本分层条件的用户并不那么容易。因为我们是 to g 项目,样本分层里涉及 41-50 岁年龄稍大的用户,还要分政府工作人员用户与非政府工作人员用户,这一部分用户我们筛选了很久。
4. 编写测试大纲、脚本,创建测试任务
根据前面的研究目标与测试功能点进行大纲、脚本编写,创建我们的测试任务。
可用性测试大纲是主持人在执行可用性测试流程时的流程规范,它包括测试的任务点、记录、脚本。脚本是对测试时要做的事情、说的话的一个剧本。给用户设定一个场景,让用户去完成相关的任务。比如告诉用户:近期你打算买车,打算摇个号。用户接下来的操作可能就是去找摇号服务,执行摇号功能相关的任务。
5. 准备测试所需物资
准备好记录材料、打分表;预定好会议室,设定好观察区域、测试区域;以及准备好相应的设备,如安卓手机、iOS 手机,录音笔等。
6. 预测试
在所有物资准备好后,我们需要内部进行预测试,去发现可用性测试环节中存在的问题,以及前期的准备环节哪些有遗漏与需要改进的地方。确保所有环节没有差错,所需物资没有遗漏。
阶段二:测试中的观察与记录 阶段二中所有的流程,是我们面对测试用户进行的具体环节。包括接待用户、测试前访谈、测试环节、测试后访谈、打分环节、退场环节。
1. 接待用户
提前告知用户时间与地点,当用户到达后需要去接待用户去测试的会议室。并简单告知用户流程,签订协议。可事先准备好水、小零食,让用户感到放松与亲切。
2. 测试前访谈
在测试前进行访谈,了解用户使用产品的基本情况,以及根据调研目的询问一些相关问题。比如此次我们的改版,打算增加一个生活服务版块,我们在访谈中就可以问用户平时周末有哪些娱乐活动,一般使用哪些 app 去进行周末活动。同时通过测试前轻松的访谈形式让用户慢慢放松下来。
3. 测试环节
此阶段就按照之前制定好的测试大纲与脚本进行各项功能点测试。
在测试过程中主持人应该:
保持倾听:引导用户在使用过程中表达自己的使用感受,不随意打断用户表述。 保持客观:在提问或总结时保持客观,不要暗示或者引导用户,使用户意思发生改变。 恰当深入:在适当的时候深入问询原因,帮助用户表达潜在的意图。 掌握全局:可用性测试的整个过程中,主持人需要把控整体的节奏与流程,对测试功能点需要特别了解,另外在用户的表述跑偏主题的时候也要及时把话题拉到正确的方向上。 在测试过程中观察员应该:
熟悉流程:与主持人一样熟悉整个测试流程、了解测试功能点的几种路径。 尽可能的详细记录:观察员在现场通过投屏,查看用户的操作路径。尽可能的完整记录被访用户的言语内容、情绪、用户操作路径、完成情况等,这样会比起后续听录音笔、看用户操作视频再来记录会更高效。 补充提问:有时主持人会忘记让用户进行某个功能点测试或者遗漏某个用户访问,可以在主持人询问时做补充。 4. 测试后访谈
具体的测试任务完成后,可与用户进行一些主观的话题谈话,比如询问用户对产品未来的期待或优化建议等。
5. 打分环节
功能点测试与访谈环节介绍后,让用户进行推荐意愿与 sus 打分。在用户填写打分表时需要阐述打分规则,特别是 sus 打分,涉及正向提问与反向提问,用户在打分时很容易混淆。
6. 退场环节
当所有测试环节都结束后,应按照之前承诺给予用户对应奖品、奖金,在测试机上退出用户的登录信息,然后送用户离开现场。
阶段三:测试后的数据整理与分析 测试完成后应及时对收集到的信息进行整理与分析,发现与归纳产品所存在的问题。
一般来说最后整理的信息表有:
任务测试记录表:这个表记录了所有用户执行各项任务的具体情况。包括用户基本信息、用户完成任务的路径、完成结果、情绪、使用感受等,以及用户的 sus 打分值、净推荐值。
sus 计算方法:
奇数项问题,将得分减 1(比如第 1 题分数为 3,得分为 3-1=2 分) 偶数项问题,用 5 去减得分(比如第 2 题分数为 3,得分为 5-3=2 分) 最后得分为所有得分求和乘以 2.5(因为每个题目的得分范围为 0~4,SUS 可用性得分的范围在 0~100,进行换算需乘以 2.5) 后续也会写专门的文章来深入讲解系统可用性量表(SUS )是什么、怎么算、怎么通过 sus 分数来评判产品,欢迎大家关注,催更。
可用性问题汇总表:这个表记录了整个测试过程发现的所有问题点。包括问题出现的位置、问题名称、问题描述、问题类型、问题严重等级、后续改进、备注等内容。
阶段四:撰写调研报告与报告解读 当我们完成所有测试工作与数据整理分析后,需要产出一份完整的调研报告,方便其他同事、领导查看。如果材料需要对外汇报记得对用户信息进行脱敏。
调研报告的撰写可以从项目背景、调研目的、调研方法、调研流程、调研结论维度来写我们的调研报告。完成调研报告后,我们需与相关同事进行调研报告解读,同步调研结果,发现产品存在的问题与机会。将设计调研结果的价值发挥到最大,这一步才是最重要的,也是设计师价值提升的体现。
阶段五:归档所有材料 将整个设计调研过程中所涉及的材料进行归档。归档材料主要包括收集到的问卷、问卷结果、被访用户基本信息、每一个用户的录音与录屏材料、任务测试记录表,可用性测试问题汇总表、调研报告。在这一步才表示我们所有的设计调研工作结束了。
最后 这是我参与工作以来,第一次接手完整的设计调研工作,在整个过程中不断请教用研同事,查看了大量设计调研方法与调研资料,最终完成了此次调研工作。另外关于设计调研报告如何梳理,国内相关资料还是很少的,自己也是一边与领导沟通,一边产出。虽然整个过程比较耗时,也比较累,但整个过程中我相当于是在接触新知识,实操所学所得,最后的产出报告也获得了整个团队的认可,对于自己来说是一次特别宝贵的经验,也特别感谢领导给了我此次机会,去深入学习与实践设计调研方法。
实战案例告诉你,用户调研报告应该怎么写? 前一阵公司市场部对用户进行了一次深度调研,投放了两千多份问卷,产出了非常专业的调研报告,对指导产品工作很有帮助。
阅读文章 >
这次调研工作也让我体会到设计师的价值,不是单单只作图,把图做好就行,更多的是走近产品,走近用户,通过一些比较客观、科学的方法(例如 用户研究 )去挖掘真正的设计机会点,通过设计赋能业务,去撬动产品、用户、公司最大的价值平衡才是设计师最大的价值体现。
欢迎关注作者微信公众号:「晴天的设计宝藏」