日志法怎么玩定量研究?

日志法怎么玩定量研究?

翻译:飞呀 审校:甜辣酱 |   UXRen翻译组 #389译文
原作者:Cata Torre(Meta的用户体验研究员)
原标题:《Quant Diary Studies: An Introduction》
摘要:定量日志法能提供一个丰富且充满细节的视角,让你看到一段时间内用户的每日产品使用体验变化。这篇文章将告诉你是否决定使用、何时使用这一方法。

 

作为一名UX研究员,最令人兴奋的一部分工作就是调研庞大且复杂的问题,譬如:人们为何使用我们的产品?什么样的观点、情绪、态度可以预测他们是否会日复一日地持续使用这款产品?我们怎么做才能提升人们的使用体验?

定量日志研究(quantitative diary study)正是攻克这些问题的一种方法。以下文字即是说明定量日志法在何时、何地、以何种方式为用户研究带来独特价值。

 

什么是定量日志研究?

在定量日志研究中,参试者需要在相当长的一段时间内每天回答一个小问卷。这种研究也被称作日志研究法(daily diary studies)体验样本研究(experience sampling studies),更通用的名称是长期深度研究法(intensive longitudinal methods),这种方法常被用于一些学术研究领域包括社会心理学、发展心理学和临床心理学。实际上,我和Katherine(共同作者)在加入Meta之前,在我们的学术工作中都曾广泛使用这些方法。

定量日志研究法与其他常用的UX研究方法有显著不同。一次性的横截面问卷(One-time cross-sectional surveys)为研究者提供了一个全面但笼统的用户体验快照,但很难记录日常波动。定性日志研究(Qualitative diary studies)虽照顾到了深度,但对大规模(行为)模式的量化,或是刻画数字化对比方面(例如每日留存的驱动因素强度和特定产品的体验指数),用处不大。

日志法怎么玩定量研究?

 

我们可以从定量日志中得到什么?

1. 用户在“真实世界”中的行为模式。

定量日志法通过在自然环境中向人们询问关于特定日子的看法和感受来捕获用户的真实生活体验。这提供了一种观察用户日常生活的丰富视角,尤其是那些有时会被一次性调查模糊了的生动细节(颗粒度和生动性)。定性日志法也有这个优势,但它无法量化比较不同组别用户的体验指数,也无法得出高度概括的结论。

2. 同一用户如何随时间变化。

一次令人难忘的体验或一段时间内无数细小体验的累积,都可能成为用户最终爱上某款产品的理由。定量日志法会持续记录个体在一段时间的体验,使研究者既可以记录某些特定行为或体验发生的日子,也可以记录用户不使用某产品或没有发生某些行为的日子。这为得出特别有力的结论打开了大门,因为我们终于可以做每个用户的自身(用户内)比较啦。

3. 用户之间为何不同。

不同的人会对同一产品产生不同的体验。以线上约会APP为例,不同用户会倾向于收到不同数量级的“likes”,在收到“likes”之后产生继续使用该App的动力也可能不同。定量日志法提供了一个独特的视角去衡量如何不同,并开始探究为何不同,用户在整个使用过程中展现出的变化源自个体差异和背景特征(比如性别、年龄、或是之前的经验)。例如,我们发现,获得更多“likes”可能会让男性更多使用该App,而对女性使用该App的程度没有影响。

 

一个虚构的例子

如何用定量日志法提升产品影响力

为了说明定量日志法在重塑产品推荐度方面的价值,我们将基于自己在Facebook Dating小组的研究工作创建一个虚构的例子。我们假定研究小组打算研究在一段时间内浏览更多(与更少)约会资料是否可以预测人们对 Facebook Dating产品的满意度。团队的假设是这样的:当用户更多地(相对于更少)浏览个人资料时,说明他们对这个产品更加满意。

在定量日志研究中,我们可以让用户连续三周每天回答一个简短问卷来验证这个假设,问卷会问他们当天在Facebook Dating上浏览了多少个人资料,以及对产品的感受。

我们的研究结果大概是这样:

日志法怎么玩定量研究?

实线代表了对个体的影响效果(再次强调该研究是虚构的),不同颜色的线条代表了不同人的数据。虚线体现了对所有用户影响的总体趋势。我们会先研究这些假设的观点,然后深入探究作为研究员该如何给出有行动价值的结论和推荐方案。

重要观点#1:一般用户浏览个人资料越多,对Dating产品越满意。

用户内(within-person)”实验效果可以从实线看出来,表明了如果每天给用户提供更多可浏览的人选资料可能会提升他们的产品满意度。这一结论引导我们做出如下建议方案:

  • 当有新的个人资料可浏览时,推送通知给用户;
  • 优化设计助推用户浏览更多的个人资料(比如:增加快捷按钮、快捷路径到个人资料页);
  • 鼓励用户扩展筛选范围设置,以获得更多的用户资料。

重要观点#2:总体来看,用户越多浏览个人资料,其满意度越低。

虚线告诉我们,在整个定量日志法记录期间,用户平均浏览越多个人资料,满意度就会越低。这项“用户间(between-person)”的实验结果暗示了效率的问题,也许用户很难找到他们满意的人选资料或是难以和喜欢的人匹配,由此导致他们需要浏览更多的个人资料来达到目标。这一结论引导我们做出如下建议方案:

  • 保证大量用户可以在早期浏览到最具相关性的个人资料。这可以帮助他们更快配对,而不用浏览过多个人资料;
  • 多做用研,以便更好理解大量用户的产品体验,包括他们对浏览过的个人资料的满意度,以及他们的兴趣是否较少被匹配到。

重要观点#3:在个人资料浏览量和产品满意度的关系上,个体间是有差异的。

实线的不同角度体现了用户在某天浏览更多个人资料时是否会有更高满意度这一问题上各不相同。例如,将那些陡峭上扬的斜线和水平黑线进行比较。量化探究个体内差异是定量日志法的显著优势之一。在这个例子里,这样的结果告诉我们,寻找方法针对特定群体提升个人资料浏览量,可能会比其他群体更重要。这一结论引导我们得出如下建议方案:

  • 和数据科学家合作,定义用户细分或用户画像;
  • 评估当用户满意度提升后,他是否会随着时间的推移更多或更少地继续使用该产品。这将有助于提出产品轻推对促进个人资料浏览的潜在长期影响。

正如上述例子所展,定量日志研究法为获得新洞见和更好的建议方案打开了大门,虽然我们也可以使用跨领域研究方法(cross-sectional survey methods),但是会非常困难。我们可能会错过改善用户体验的重要机会。尽管我们的例子是虚构的,但其基本优势和考量因素广泛适用于各种产品。

 

如何决定是否采用定量日志研究?

现在你已经稍微了解定量日志法的用处,这里有一些指导性问题可以帮助你决定是否以及何时使用这种方法。

  1. 我的研究问题适合做定量日志研究吗?
    由于定量日志本质上是捕获人是如何变化的,所以它最适合研究有关变化过程的问题。在决定实施定量日志法之前,你可以考虑先进行一次试点,或是邀请一名跨领域的合作伙伴,比如数据科学方面的,帮助你了解日常行为和体验的变量。如果你预期观察对象的行为不会发生太大变化,一次性调查问卷或访谈可能就足够了。
  2. 我有资源吗?
    定量日志法是资源密集型研究。你需要支付参试者几天(甚至几周)的礼金或酬劳。它也需要时间。一个定量日志研究可能会持续一周,甚至超过一个月,这意味着你需要预留更多时间来收集数据。如果你是委托外包来执行,为了预防人员流失的行政类管理会更昂贵。
  3. 我对我的产品领域足够了解吗?
    确保你已经足够了解你的产品,以起草一个简短、聚焦的问卷。由于受访者每天都要填答一次你的问卷,所以这份问卷需要足够简洁以预防流失。想要更加熟悉产品业务并精选出最高优先级的问题,先做一些基础性研究(fundational research)会很有用,比如使用传统的问卷调查或访谈。在我们前文的dating产品示例中,在开始定量日志研究之前,我们希望看到早期研究和分析中关于个人资料重要性的初步信号。
  4. 我是否具备足够的统计学专业知识?以便分析定量日志里采集来的数据。
    定量日志法通常需要使用一种叫作多级建模(Multilevel Modeling)的方法(也被称为分层线性建模(hierarchy linear modeling)或随机效应模型(random effects modeling)),用以描述同一观察对象随着时间推移做出多轮响应的现象。如果你不熟悉这种方法,你也许需要在尝试定量日志法之前先学习这方面的知识,或是引入一个有该领域专业知识的合作者或合作机构作为搭档。

我们很高兴可以输出这个有影响力的发现,定量日志法在探索研究上确实很有用,我们希望你会在下一个研究项目考虑使用这个方法。

原文来源:https://medium.com/meta-research/quant-diary-studies-an-introduction-3d1e3f862b64(2021.12.3)
版权声明:该文章在UXRen公众号(cnUXRen)首发后方可转载,转载时请注明出处及译者、审校者信息,如有违背,UXRen社区保留侵权追责的权力。

15+

用户研究

四段论:让你的用研报告更抓眼球

2022-1-4 0:00:00

用户研究

用户洞察的6个层次:假说、传说、代表、回答、行为分析、真相

2022-1-18 0:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧