衡量体验,而不是产品使用

我们现在已经见过很多次了。正确的用户体验指标可以对用户体验领导者产生强大的影响。

有了正确的指标,用户体验领导者就可以生动地展示精心设计的用户体验的巨大价值。高管和高级利益相关者——那些批准预算和设定交付期限的人——开始围绕改进这些指标设定高层企业目标,使他们更有可能批准更大的预算并设定更宽松的期限。

用户体验领导者使用这些指标和目标来激励他们的开发和产品团队同事优先考虑用户体验,从而消除他们在准备就绪之前匆忙交付的强烈愿望。每个人都专注于为客户和用户提供出色的体验。

出色的指标对于让每个人都实现更好的用户体验可以带来的目标至关重要:改善用户和客户的生活。

如果没有正确的用户体验指标会发生什么?

我们还经常看到,大多数用户体验领导者没有选择正确的指标。他们忽略了选择鼓舞人心的指标。相反,他们倾向于采用唯一可取之处在于易于测量的指标。

这些指标并没有赢得高管和利益相关者的青睐。用户体验领导者错过了给这些人留下深刻印象的机会,因为他们选择了错误的指标。结果,用户体验领导者最终将这些指标视为他们应该生成的数字,以检查是否有某些东西(任何东西)报告可衡量的目标。

这些指标也被产品和开发同行所忽视。这些同行并不认为他们有抱负,当风向转变时,他们很快就会把他们推到一边。当有人对产品增强提出新的、性感的想法时,他们倾向于改变目标。(“人工智能万物皆可!”

选择能够激励和影响整个组织中每个人的正确指标具有挑战性。掌握任何旧的指标都很容易,这就是许多用户体验领导者所做的。

然而,一旦您意识到用户体验指标(关注某人的体验)和基本指标(仅报告产品的使用方式)之间的区别,事情就会变得更容易。衡量用户和客户的体验是采用激励和影响指标的秘诀。这就是我们今天要探讨的内容。

案例研究:构建应用程序跟踪系统。

想象一下,您正在领导建立一个系统来跟踪求职者,人力资源行业通常将其称为“申请跟踪系统”或“ATS”。您可以规划用户如何使用 ATS 申请工作:

  1. 登陆“开始您的申请”页面。
  2. 为 ATS 创建一个帐户,以便申请人可以跟踪他们在系统中的状态。
  3. 输入申请人的基本个人信息,例如姓名和联系信息。
  4. 将准备好的简历上传到 ATS,系统会对其进行扫描和解析。
  5. 更正或修改扫描简历中的任何工作经历信息。
  6. 更正或修改简历中的任何教育背景信息。
  7. 确认输入的信息准确无误。
  8. 提交申请以申请该职位。

    您的部分领导职责包括展示您的团队的用户体验工作如何改进 ATS。因此,您选择一些衡量标准来跟踪,以显示 ATS 对申请人的效果:

  • 您可以统计到达“开始您的申请”页面的人数。
  • 您还可以计算提交的申请数量。
  • 使用这两个测量值,您可以计算应用程序数量除以启动该流程的人数得出的应用率。
  • 您还可以计算在此过程中访问中间页面的人数,这可能表明人们“退出”的位置。
  • 使用联系信息,您可以联系每位申请人并询问他们对流程是否满意。
  • 您甚至可以拿出主管最喜欢的衡量标准,即净推荐值(又名 NPS),并询问您的申请者是否会向他们的朋友和家人推荐您的 ATS。(并不是说这很奇怪或什么。)

这些测量可以告诉您有关用户体验的哪些信息?

这些测量中的每一个都会生成数据。然而,目前尚不清楚该数据试图告诉您什么。你的设计对用户来说很棒吗?或者你应该改进它?我们是否应该设定一个达到 100% 应用率的成功目标?

查看过去几周的数据,您可能会发现申请率低于 100%。只有一些开始该流程的申请人通过提交申请来完成该流程。 

这意味着什么。这意味着什么还不清楚。

那些人应该都结束了吧?毕竟,如果他们不打算申请,为什么要启动这个过程呢? 

有些人可能会停止申请过程,因为他们意识到自己的简历不是最新的或没有充分表达他们对该职位的资格。这不是你的设计的错。 

您的设计可能会运作良好,因为它建议申请人在申请之前做更多必要的工作。在这种情况下,不申请对于该用户来说就是成功的结果。

当您尝试为下一个版本设定目标时,100% 的应用率并不是正确的选择。它需要小于 100%。但什么?指标本身无法告诉您选择什么目标。

追踪人们下车的地方怎么样?如果不知道应通过的申请百分比是多少,就很难知道下降意味着什么。毕竟,意识到自己还没有准备好提交申请的申请人必须在申请过程中的某个地方停下来。因此,监控下车点并不能帮助您的团队知道如何做得更好。

始终有满意度和 NPS 数据。如果您的用户 100% 满意或拥有最高的 NPS 分数,这是否意味着没有什么可以改进的?如果他们不这样做,你会采取什么不同的做法?

您甚至可以相信他们已经诚实地回答了这些调查问题吗?毕竟,他们希望从你那里得到一份工作。申请人可能担心,如果他们告诉您他们对 ATS 流程的看法,人力资源部门会将他们排除在考虑范围之外。

所有这些测量结果告诉您有关 ATS 用户体验的哪些信息?不幸的是,不多。

如果您看不到这些测量结果,那么与您一起工作的人也看不到。您的用户体验指标不会向您的高管和高级利益相关者展示您的工作价值。当他们考虑下一步要交付什么时,他们不会激励您的开发和产品同行优先考虑用户体验工作。

如果您想让您的工作对您的组织可见并具有启发性,那么还有比这些指标更好的选择。 

您在哪里可以找到正确的指标?在用户的体验中。

到目前为止我们讨论的指标都是衡量产品的使用情况。当有人点击或加载页面时,这些指标就会生效。这一切都与应用程序跟踪系统有关,与任何用户的 ATS 体验无关。

衡量产品的使用情况还不错。然而,它并不能衡量产品的用户体验。UX 是用户体验,这些指标没有任何经验可言。

您无法从这些指标中判断某人的体验是否良好或较差。如果有人已经对您提供的设计拥有出色的体验,为什么要改变它呢?如果他们的体验不佳,您需要为他们提供更好的体验。 

这就是经验指标的作用。此类指标可指导您优先考虑那些最能改善用户体验的设计更改。但是,如果您不衡量用户体验,您就无法判断什么需要优先考虑。 

更重要的是,您的高管和高级利益相关者在查看您提供的指标时,并没有看到任何特定于用户体验的内容。(难怪他们很难重视用户体验。你没有让他们看到它。)

在衡量产品的使用而不是体验时,我们的开发和产品管理同行也很难将用户体验工作与其他具有明显好处的事情(例如闪亮的新功能)进行优先考虑。他们可能认为新功能比用户体验改进更能改变产品使用指标。当有新功能需要构建时,为什么要费心去改进用户体验呢?(“人工智能万物皆可!”

对产品使用指标的关注就是为什么很难说服开发人员和产品经理认真对待用户体验。你没有衡量正确的事情。

但如果可以呢?如果您可以展示您的用户体验工作的价值并通过您的指标激励您的同事,结果会怎样?
您必须衡量产品的体验,而不是产品的使用。

案例研究:Workday 的 ATS 经验。

在我坐下来写这篇文章之前的几个月里,我注意到我在 LinkedIn 上关注的人抱怨 Workday 的申请跟踪系统中托管的职位。他们没有抱怨其他 ATS 平台,只是抱怨 Workday 的平台。我觉得这很好奇。

所以,我问了一下。我在 LinkedIn 上发布了一个问题,询问这些投诉。我问:“如果您必须使用 Workday 来申请空缺职位,您的经历是什么样的?”  

坦白说,我并没有抱太大期望。也许一小群人抱怨人们对他们不特别喜欢的事情的做法。

令我惊讶的是,一周内我收到了 300 多条回复。几乎所有这些都详细说明了 Workday 申请流程的具体问题。从这些回应来看,该系统似乎给申请人带来了一些有问题的挑战。

[披露:Workday 从来都不是 Center Centre 的客户。而且,在我发表这篇文章后,他们很可能永远不会。我确信他们的团队拥有优秀的用户体验人员,并且我假设他们已经意识到以下许多问题。客户的实施中存在这些问题可能有很好的原因。在您阅读本文之前,他们甚至可能已经解决了其中许多问题。我们并不是在这里评判 Workday 团队。]

人们抱怨说,当他们申请多家公司的职位时,Workday 会让他们为每家公司创建一个新帐户(包括唯一的密码),这对用户来说很难跟踪。即使它“读取”申请人的简历,它也存在数据输入问题。他们报告说,系统在阅读简历后会在他们的工作经历中引入错误,申请人必须检测并修复这些错误。 

许多人抱怨申请过程比其他平台更加费力和耗时。尽管做出了所有这些努力,但它并没有给 Workday 的竞争对手带来任何真正的好处。

所有这些评论者都描述了他们使用 Workday 申请工作的糟糕经历。[我的帖子有偏见。我故意不鼓励有丰富经验的人做出回应,因为这是我最感兴趣的对糟糕经历的描述。]他们对造成糟糕经历的解释有如此多的重叠,这很有趣。

一位评论者劳伦(Lauren)很友善地通过一系列步骤详细描述了她的挫败感:

第1步:哦,这家公司正在招聘!我一直想为他们工作! 

第 2 步:点击那个甜蜜的应用按钮。

第三步:进入公司网站上的JD。

第四步:再次点击应用按钮。

第五步:废话。这是一个工作日门户网站。他们要求您创建一个登录名。(有多少人已经登录过一家公司的招聘网站?当大多数用户不再是回头客时,为什么我会遇到登录屏幕?)我是否提到过我讨厌 Workday?

第 6 步:确认我的电子邮件(此时,那项出色的工作到底是什么?)。

第7步:有时他们会带我去JD再次点击申请按钮。有时我必须找到京东,在我全新的经过验证的一次性用户配置文件中再次点击该应用按钮

第8步:当然,我很乐意上传我的简历。

第9步:酷,你会从我的简历中提取我的工作经历吗?那很好。

第 10 步:仔细阅读您填写的工作经历后,发现其中 80% 是错误的。我想我会自己从 LinkedIn 或我的简历文档中复制并粘贴。那是愚蠢的浪费时间。

第11步:尝试从我的工作经历中继续前进。

第12步:甘道夫式错误:你不能通过。

第 13 步:滚动页面以尝试查找错误。我没看到。单击错误消息。胡言乱语。日期有误吗?哪些日期?

第 14 步:滚动浏览日期。

第 15 步:我没有从预填的位置更新我的工作经历之一。他们改变了日期。

第16步:愤怒编辑。

第 17 步:提交工作经历……成功了!迷你庆祝活动。

第18步:手动填写学历,因为这个东西……不好。

步骤 19-21:人口统计信息和法律信息

第 22 步:我保证我没有撒谎,但谁知道 Workday 对我的信息做了什么。我希望我没有说谎。

第23步:提交。我究竟申请了什么?

许多其他评论者的帖子呼应了劳伦的各种抱怨。她的评论得到了 100 多人的回应,表明这反映了他们自己的经历。

在用户的旅程之上添加用户体验。

如果您仔细观察,您会发现劳伦的旅程遵循与虚构的应用程序跟踪系统相同的步骤。劳伦在描述中补充的是她在那次旅程中的经历。

体验就像一次旅程(我们可以将其视为一系列值得注意的用户事件),只不过它也是用户在那一刻的感受,从极度沮丧到极度喜悦。当您阅读劳伦的经历时,您会发现很容易感觉到她何时感到沮丧和高兴。(当她经历这个过程时,如果你坐在她旁边,你就可以毫不费力地感受到她的感受。)

她的经历中令人沮丧的部分是最有趣的。这些是我们可以让劳伦的生活变得更好的地方。

劳伦并不是唯一一个在创建帐户、更正简历上传和处理教育背景问题方面遇到类似挫折的人。许多人指出这些细节就是他们觉得 Workday 令人沮丧的原因。

因此,解决劳伦描述中的问题就可以解决很多人的问题。这很重要,因为它表明劳伦的经验是经验指标的良好基础。

衡量用户的体验。

我们为 ATS 确定的初始指标(例如应用率和中间页面的访问量)无法反映 Lauren 和其他人的经历。这些指标不会给你任何关于如何改进产品的提示。

然而,通过观察(或者在本例中,阅读)劳伦的经历,您可以快速发现许多改进申请流程的机会。您的团队可以创建不太复杂的登录,使简历上传不易出错,增强错误消息的传递,或修复教育背景选择。

测量是对数量或变化的观察。你可以让两个孩子站在一起,看看哪个更高。这是一个测量。

仪器是用来确定测量数量的仪器。在许多情况下,只需目视就足够了。当你能看出哪个孩子更高时,你就不需要尺子了。只有当孩子们的身高太接近而无法目视观察时,才需要使用尺子,这种情况很少发生。

衡量经验并没有什么不同。从 Lauren 上面的描述中,您可以很快看出她对每个流程步骤何时感到沮丧或高兴。您不需要仪器来测量这些变化。

经验基线:当前的经验。

良好的测量实践从建立基线开始。如果您想知道您的孩子今年会长多少,请在年初测量一下。(或者在其他某个已知时间点,例如他们的生日。)第一个测量结果就是您的基线。

衡量经验还需要有一个基线。劳伦的经历是我们这个思想实验的基线。

劳伦的经历就是我们所说的当前经历。当前的经验是衡量团队对产品所做的任何改进的基线。

要为可衡量的体验建立基线,您只需要观察两件事:当某人在旅程中感到沮丧时以及当他们变得高兴时。沮丧和喜悦之间的这两种转变是衡量体验的核心。

“仅仅通过观察,你就能观察到很多东西。” — 约吉·贝拉

您可以通过观察某人尝试做您的产品帮助他们做的事情来观察沮丧和高兴之间的转变。没有更多的事情了。(如果你让你的高管、高级利益相关者、开发和产品同行与你一起观看,那就更有效了。

案例研究:简历上传器。

劳伦对简历上传者感到非常沮丧。每次她上传简历时,即使她之前在申请其他工作时已经通过 Workday 上传过十几次,它也会误读她的简历,并在她的工作经历中引入错误。然后,她必须花费宝贵的时间查找上传者所犯的所有错误并纠正它们。

想象一下,您的团队想要解决 Lauren 的简历上传器问题。您怎么知道这会很好地利用您团队的时间?毕竟,这可能是一个需要解决的复杂问题。如果劳伦是唯一遇到此问题的人怎么办?

一种方法是观察更多的人申请工作。我在 LinkedIn 上发布的帖子显示,劳伦并不是唯一有这种上传经验的人。观察其他一些人很快就会告诉您这是否是一个常见问题。

但是,您也可以通过仪器来解决该问题。请记住,当通过直接观察很难看出差异时,我们会使用仪器(如尺子)。如果数百万人上传简历,你可能需要更多的人来继续下去,而不仅仅是你观察到的少数人。

根据您对 Lauren 的经验(以及您观察到的同一问题的其他人的经验)的了解,您可以寻找表明存在问题的行为模式。在简历上传器中,每个人上传自己的简历,然后花费超过 5 分钟(通常多达 45 分钟)更改自己的工作历史,然后再进入旅程的下一阶段。

测量规模和频率。

在开发团队的帮助下,您可以使用 ATS 来测量上传后工作历史记录编辑时间有多长。您还可以衡量在进入下一步之前放弃申请流程的人数。如果您的检测工具足够复杂,您甚至可以测量单个人是否对后续职位申请进行类似的编辑,以表明他们每次申请新职位时都处于上传和编辑的循环中。

这些测量结果将表明有多少人在简历上传者中遇到了与劳伦类似的问题。这些数据可以让您的团队了解问题的规模及其发生的频率。

假设您的 ATS 每天在全球处理一百万份申请。您的新测量工具告诉您,四分之一的申请人在上传简历后会花费 5 分钟以上的时间更新其工作经历。您的数据显示,最长时间的编辑会话持续了近两个小时。然而,花费超过 5 分钟的人的平均时间约为 22 分钟。

对于 25% 的用户来说,他们每天累计花费 5,500,000 分钟(即每年略高于 3300 万小时)来纠正上传者的错误。那是很多时间。

现在,想象一下您的团队相信他们可以提高简历上传器的智能程度,使几乎每个人的平均编辑时间减少到大约 4 分钟。这相当于您每年可以为全世界的劳伦斯节省 2700 万个小时。

您的执行团队可能会对这种规模的改进感到兴奋。这些改进直接转化为营销宣传材料,并增加客户对您产品的感知价值。它们表明了对产品的投资是值得的,即使提高上传者的智慧需要做很多工作。

此外,您的开发和产品同事将看到他们的辛勤工作将如何转化为组织的明显利益。巨大的好处将激励他们在即将到来的冲刺中优先考虑这些类型的用户体验改进。 

具有巨大价值的新方法。

这就是您所做的:您对用户体验进行了一些观察,并将其转化为大规模的测量结果。您在直接观察中寻找模式,然后使用该产品对这些相同模式的观察进行仪器化。 

最有效的结果来自于将您观察到的经验测量结果添加到您仪器的这些定制产品使用测量结果中。您展示了体验问题的深度以及解决方案将产生的影响有多大。

设定更好体验的目标。

“如果你不知道要去哪里,你可能会去别的地方。” — 约吉·贝拉

在某些时候,您会想要为您的用户体验工作设定一个目标。进行渐进式改进非常好,例如改进简历上传器。然而,有时革命比进化更好。

假设您希望您的组织在一年后提供更好的求职体验。太好了,但是“更好”意味着什么呢?

这就是使用体验指标来设定目标的用武之地。当您观察用户当前的体验时,您可以寻找具有重大改进机会的模式。

想象一下,您注意到当今许多失业求职者每天都会申请数十个职位。每个申请大约需要 30 分钟,您已经注意到其中一些人一周要处理数百份申请。

从各方面来看经验。

在招聘方面,您还注意到许多发布的职位立即收到数百份申请。其中许多申请者都是不太合格的人。招聘团队需要花费大量的工作来筛选不合格的申请人,以找到少数合格的申请人。

所有这些时间和劳动力都是昂贵的,而且其中大部分感觉没有生产力。如果你能解决这个问题怎么办?

也许您可以创建一个地方,您的招聘团队可以在其中描述该职位、他们正在寻找的技能以及他们希望在最佳候选人中看到的类似经验。同样,求职者可以上传他们的简历,突出他们最好的技能,并描述他们最有前途的职业经历。您的新工具将为求职者匹配他们最适合的工作。

这对您组织的客户有什么价值?您可以使用我们的仪器产生的相同数据来计算该值。

因为您一直在衡量用户(求职者和招聘团队成员)的体验,所以您现在知道这个新应用程序系统的目标体验是什么。您知道当今招聘过程中的挫败感。您可以确定如何消除这种挫败感,并以快速为每个新职位找到高素质候选人的喜悦来取而代之。

您对当前经验了解得越多,就越容易建立精确的成功标准,例如:

  • 每个求职者只需登录一次,无论他们正在考虑的职位数量如何。
  • 不到五分钟的时间即可纠正其工作经历和教育背景中的任何简历上传错误。
  • 向求职者提供清晰的反馈,显示他们最适合哪些职位以及原因。

这些成功标准成为这个新项目的“完成的定义”,优先考虑用户体验作为这种新的、创新的招聘方法的主要驱动力。仪器将清楚地显示哪些客户将从这些创新中受益最多,这将推动销售和营销工作。

体验测量促进战略性用户体验。

衡量产品使用方式的传统方法会产生无效数据,无法帮助您的团队确定用户体验的优先级。很难解释为什么产品使用数字对您的高管和高级利益相关者很重要。您的同事看不到您的用户体验努力将如何成为改进这些指标的最佳方式。

这些传统指标并不能减少用户体验领导者工作中的战斗力。他们没有帮助。

另一方面,转向衡量体验立即使用户体验成为优先事项。高管和高级利益相关者可以立即看到糟糕的用户体验的成本和出色的用户体验的好处。您的开发和产品管理同事会受到启发,与您的团队合作,大幅改进产品。

衡量体验是用户体验指标的一种战略方法。它使用户和客户体验成为组织中每个人的首要考虑因素。这就是您的组织所说的以客户为中心是首要任务时的含义,尽管他们通常没有意识到这一点。

如果您仍在衡量产品的使用情况而不是使用产品的体验,那么您就错过了将用户体验作为重要优先事项的机会。

衡量体验,而不是产品使用

全网首发

人工智能迫切需要用户体验,原因如下

2024-1-18 17:51:18

全网首发

如何讲报告:用户验研究演讲的高效策略

2024-1-21 18:00:02

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧