6总结:平均而言,UX更改对量化指标的影响较小。这一趋势意味着,自2006年以来,UX已经取得了长足的进步。
在过去的14年里,我们从现实项目中为我们的5个不同版本的UX指标和ROI报告收集了案例研究和UX指标。通过收集这些数据,我们可以回顾自2006年以来的各种设计项目,了解用户体验设计的影响发生了怎样的变化。
自2006年以来,我们的UX Metrics and ROI报告(以前的标题为“可用性的投资回报”)一直作为现实生活中的UX基准项目的展示。超过5个版本,我们总共收集了99个案例研究。每个案例研究都详细说明了产品、其设计问题、设计更改以及至少一对UX度量值(设计更改前后)。
对于每个指标对,我们计算了改进得分-每个设计项目对指标影响的相对大小的估计,以百分比表示。例如,假设某电商网站在重新设计前的转化率为2%,重新设计后的转化率为5%。在这种情况下,量度的两个值(在此之前和之后)之间的比率将是5/2=2.5,从而使转换量度提高(5-2)/2=1.5=150%。
我们计算了所有收集的案例研究的改进分数,并将2006-2008年的改进分数与2020年收集的新改进分数进行了比较。
即使到了2008年,当我们发布这份报告的第三版时,与2006年相比,UX的改进也有所缩小。这一趋势一直持续到2020年。
平均而言,自2006-2008年以来,用户体验的改善幅度大幅下降:从247%下降到75%(下降了69%)。这一差异在统计上是显著的(p=0.01)-我们可以相当有信心地认为,现在的平均进步分数比12-14年前要低。
这些数字是许多不同设计项目的平均值。我们在我们的数据中发现了巨大的可变性-2020年的95%置信区间相当宽,从8%到104%。(因为2006到2008年的改进分数集合不是正态分布,所以我们不能提供该数据集的置信区间。)
例如,转换率增加8%,或增加104%,两者之间有很大的区别。看到如此广泛的范围,我们并不感到惊讶,因为任何基准设计项目的结果在很大程度上取决于以下因素:
现有的体验质量:一个有很多大的UX问题的产品有很多大的改进机会。
团队的专业知识和才华:UX团队越优秀,就越有可能做出正确的设计选择(基于研究和经验)。然而,即使是一个优秀的UX专业人士也不会每次都做出正确的设计选择。
变更的数量和质量:一个有很多变更的大项目可能比一个小项目更有可能对指标产生很大的影响。然而,这并不总是硬规则:当有很多变化时,也有很多出错的机会。此外,为该报告收集的一些案例研究表明,小而智能的设计更改会产生巨大的指标影响。
方法和指标的精确度和灵敏度:有些研究方法比其他方法更敏感。这种差异的部分原因是每种方法可用的样本大小不同。例如,网站主页上的A/B测试工具可以轻松捕获数千个数据点,使研究人员能够检测到哪怕是几个百分点的微小变化。但有了定量的可用性测试,获得这样的大样本要昂贵得多。
改变经过衡量的行为或偏好有多难:你的用户对采取具体行动的抵触程度越高,改变他们的行为就越具挑战性,例如,考虑一下在奢侈品电商网站上进行大额购买的用户比例。即使在设计上有很大的改进,也可能只会导致人们愿意给你钱的多少只有很小的变化。
请记住,根据这些因素,您的单个设计项目可能会产生不同的影响。你的改善幅度有可能接近75%的平均水平,但正如宽的置信区间所显示的那样,存在巨大的变异性。在我们的数据中,一半的值在13%到157%之间。
这并不意味着我们可以预期所有设计项目中有50%的改进分数会在这个范围内。你自己的影响可能是500%或5000%的改善,但我们的数据表明,这么高的改善分数是不寻常的。同样,您可能会看到几个百分点的低改善分数,但这也是很少见的。在大多数情况下,您可以避免负分:即使肯定有可能使设计变得更糟,只要您在实现之前对其进行了很好的测试,您就不会发布降级的用户体验。
乍一看,由于以用户体验为中心的重新设计导致的平均改善呈下降趋势,这意味着用户体验专业人员多年来变得更糟了。我们认为情况恰恰相反。在过去的14年里,UX设计社区有了实质性的增长-我们的集体知识和经验也是如此。
平均进步分数的下降并不意味着我们做得不好;它表明,作为一个行业,我们在过去10多年里做得非常出色。在人的因素和可用性运动开始的时候,几乎每种产品都有很大的改进空间。
“在这些早年,设计真的很糟糕--想想闪屏,搜索什么都找不到,到处都是臃肿的图形。这些早期设计的唯一好处是它们是如此糟糕,以至于可用性的人很容易成为英雄:只需进行最小的研究,您就会不可避免地发现几个巨大的改进机会。在互联网泡沫期间发现和解决UX问题就像在桶里打鱼一样--每一个设计都太糟糕了!“。
我们已经解决了许多不同设计中最大的用户体验问题。在某些情况下,这些是针对特定问题的单独修复。但作为一个行业,随着我们的集体知识也在增长-我们现在有了一套丰富的最佳实践和设计模式。每个单独的设计师都可以在以前设计师的现有工作的基础上进行构建。
那么,世界上所有的UX问题现在都解决了吗,所有的设计都是完美的吗?哪儿有的事儿。当然不是。大多数体验仍有很大的改进空间。(幸运的是,这意味着UX专业人士有很好的工作保障。)。这一发现简单地表明,我们在改善整体体验和解决最突出的问题方面做得很好。
这是否意味着用户体验在今天变得不那么重要或不那么有影响力了?也不是。我们认为,尽管这些设计变化的幅度有所下降,但它们的重要性并不亚于此。“因为整体体验正在变得更好,用户的期望也变得非常、非常高。”今天,如果你把一个在2006年被认为足够的网站放在用户面前,她会拒绝使用。
我们相信,这些期望将继续与体验的平均质量同步上升。(再说一次,这对UX专业人员的工作保障是有好处的!)。因此,即使是UX的微小改进也可能是值得的。(此外,请记住,您的竞争对手可能也在改善他们的体验-一场UX军备竞赛。)。
如果这些趋势持续下去,平均而言,设计将继续改进,因此,用户体验干预将继续起到很小的作用。然而,我们相信这些较小的变化将不会有价值,因为用户的期望和标准也会变得越来越高。
作为一个行业,我们正在进入一个新的精细化时期。如果我们考虑建造我们的体验,比如建造一座房子,21世纪的头10年,人们的注意力主要集中在地基、墙壁和屋顶上-我们只专注于确保结构不会倒塌。但是在2020年,许多团队发现他们的体验结构是健全的,他们现在可以将注意力转向微调:粉刷墙壁,安装天窗,室内装饰。每一次单独的变化都可能不会像以前那样产生巨大的影响。但是,这些小精致的积累将产生更复杂、更愉快的体验。
有关这些案例研究的更多信息和数据的更多分析(包括对每类UX指标改进如何随时间变化的分析),请查看完整报告:所有UX指标和ROI。