您可能不需要A / B测试

我比以往任何时候都更多地与企业交谈，这些企业有野心设置自己的优化计划。他们听到了成功的故事，吞下了炒作，并准备将他们的转换率与流层的外部到来连接到火箭上。

但大多数时候，我必须将其分解为他们，A / B测试可能不是最好的解决方案。运行有效的A / B测试计划需要对过程，人和结构的重大投资。实现了良好的投资回报率要求缩放等待的等待。当企业获得这些基本面错误时，他们对一两年或两人的群体概括为一两年，而不会达到任何东西。更糟糕的是，这些举措可以永远使A / B测试成为“我们尝试过的东西，这对我们不起作用”。

那么，你怎么能判断A / B测试是否适合您？在本文中，我将概述您需要设置有效计划的标准。如果您的业务不适合账单，我将建议您可以使用的强大替代方案。

有一种受欢迎的误解，即A / B测试工具是奇迹般的金钱印刷机，将普通网站转换为获胜者，无需人为干预。

如果您认为热心从业者和软件供应商促进的令人闷吸的案例研究，A / B测试涉及将您的网站切成一亿件，然后将其动态重新将其重新将其重新结合到每个不同的可想到的组合中。

当软件神奇地找到获胜组合时，这场算法宾果游戏结束了。绿色按钮已成为蓝色，英雄图像遍布，现在转换率增加了8000％。 Wrrrong！

这种误解对“纯粹”算法优化提示的乌克斯设计师周期性愤怒，他们认为自己与不露面的优化机器竞争。 “你不能逐步地测试你的方式来完美！”他们争辩。他们是对的。好的A / B测试根本不起作用。

最大的A / B测试几乎总是在定性见解中的起源。当有人通过改变按钮颜色时罢工转换金，而不是意外。这是因为他们解决了现有问题。这可能是通过坐下来识别并密切了解真实用户的行为。他们观察到人们没有注意到现有的按钮（通常是由于尺寸或对比度不足），用A / B测试固定并毕业到下一阶段，具有一个不太可怕的网站。颜色变化是解决问题的方法，而不是问题本身。

未成熟的A / B测试程序通常浪费数月或多年的货物从圣诞节过去追求这些翼颈测试，而不看到任何适当的结果。一直在，他们在普通的老年人的鼻子下面缺少了真正的金色洞察力，无聊的定性用户研究。

坐下来观看真正的用户试图理解你的网站是最快，最简单，最强大的方式来解锁变革洞察力。一旦您将这些洞察力与假设驱动的优化结合起来，验证在Scale ...嗯，那就是魔法发生的时候。然而，A / B测试具有许多警告。它并不总是优化您网站的最佳方式，具体取决于您的情况，甚至可能是巨大的浪费时间。

统计显着性是实验最常见的误解方面之一。我知道谁不必在UNI忍受统计课程的少数人之一（我太忙于写文化研究论文关于涂鸦和第三波女权主义理论的交叉口）所以我可能对统计数据少了解比你，但幽默我一会儿。

统计学意义是一种衡量我们在测试中观察到的机会的方法，很好，机会。我们使用统计显着性分数来确保结果的有效性。我不会在这里深入了解细节，但统计显着性是少数交叉因素的产物：

假设您是电子商务商店，现有的转换率为2.5％。

如果您要部署A / B测试，将转换率提高5％（最小可检测效果），您希望达到99％的意义（观察结果的1/100机会是由于您的测试除其他因素之外），您需要每种变化330,000名访客（样本大小）。

这是660k的访问者，仅对控制的单一变化进行测试。好多啊！

您需要大量流量以任何合理的时间将其拉出。

在你修复所有严重破碎的东西后并采摘了“低吊果”，5％的转换率隆起相当罕见。

但在这种情况下，您需要近500万访客来测试单个变化。

如果你是说的，“但这会永远忍受！所有人都有2％的隆起！“然后你开始了解一些重要的东西：你需要有效地对A / B测试有重大比例。

如果您没有足够的流量，您将使您的经典错误让您的测试运行过长，而且没有良好的结果。对于良好的A / B测试，您需要这么多的流量，通过测试将六百万用户置于测试

大多数测试都不会为您提供一个大隆起，因此您需要不断炼制和迭代和运行新测试。但是当您有很多流量时，您的收入足够重要，即2％隆起并不是微不足道。例如，我的一个客户之一实现了2.7％的转换隆起，最近预计这一变化将在未来12个月内使其大约2000万美元。

对于具有巨大的流量的巨大火药的网站，A / B测试是一个真正神奇的主张。对于其他人来说，您需要更好的解决方案。

仅仅因为您没有A / B测试的比例，它并不意味着您无法优化您的网站。最好的A / B测试程序在5-10名用户中找到了他们对定性研究的见解，然后用数千或数百万访客验证这些调查结果。如果您没有那种规模，您仍然可以进行研究并获得一些转型结果。

用户研究中最吸引人的一个方面之一是它可以像你想要的那样简单或复杂。您不需要具有专用可用性的“实验室”，并通过双向玻璃的另一边采取笔记的研究人员团队。与朋友或同事一起坐下来向他们讨论他们的思想，因为他们在网站上完成了一项任务是一个令人惊讶的强大的发布值得畏缩的方法，为什么 - 没有 - 我想到的 - 那么迟到的洞察力。

我的职业生涯中的一些最具变化的优化，通过遥控器，未经寄存的用户研究工具的学习已经实现。这些都是快速，便宜和适合于大流行中间使用的。您为要测试的用户设置了一些标准（人口统计筛选器或Q＆amp; A的），将其设置为任务，一两个小时内，您将收到一张屏幕Cast视频，以完成任务的用户言语。

如果您没有A / B测试的流量，您只需进行更改并观看结果。您揭示最初的问题将如此重要的是，您可能会看到转换率的一步变化，无需测试。

如果您还没有A / B测试的规模，请不要沮丧。通过用户测试优化您的网站可以像强大，有趣和有益的那样。如果一些流行的A / B测试误解，您将拥有深入关注您的用户及其需求的好处。

感谢Karthee Madasamy，Ergest Xheblati和Sarah Ramsey以草案表格审查这篇文章。