我们应该花更多时间思考测试目标和测试组件。
讨论它们的相关性并记住它们将如何影响您的测试。拥有的变量数量越多，需要测试的组合数量就越多。
如果您热衷于测试页面
的许多组件，那么值得记住的是，还有其他类型的实验设计与 A/B 测试类似，例如 Plackett Burman 设计和部分因子设计。它们不像 A/B 测试那样易于设置和运行，但可以为您提供更可靠、更准确的结果。
最后，避免在看到积极结果后停止实验的 电话号码数据 诱惑非常重要。这样做会增加结果不准确的可能性。
利用 测试
A/B 测试的第一步是将页面分解为一系列 这是因为与全国性选举相比 基本组件。确保相应地分离要测试的每个元素。多变量指标是跟踪测试元素的好方法（见下文）。
另外，避免目标模糊。您可能想检查点击率、响应率、注册率等。关键是永远不要尝试一次做多件事或测试错误的目标（例如，测试跳出率而不是转化率）。
多变量矩阵允许您跟踪对照组
测试组，以及需要测试的不同组合（或多个组合）。在此示例中，假设您要测试页面上的两个元素：1) 当前价格与新价格的对比；2) 当前与免费礼品优惠相比的 10% 折扣。这两个元素可以作为两个单独的 A/B 测试进行测试。
对于每个测试，你必须做出四种组合或组合。以下是第一个测试：
原价无优惠（对照）
无优惠的新价格（测试）
原价加优惠（对照）
带优惠的新价格（测试）
使用矩阵您可以将控件标记为
将新组件标记为 (+)。 A/B 列仅用于捕获交互效果，在本例中是同时更改两个元素所获得的效果。
以这种方式设计测试使您能够确保 学生手机清单 测试正确进行，因此您的结果在统计上是有效的。
您预计会遇到什么问题？
样本大小可能是进行 A/B 测试时遇到的最常见问题。鉴于流量决定了达到所需规模所需的时间，因此很难保持耐心并关注测试结果的可靠性。
除了样本量之外
测量错误的成分或不太相关的成分也可能是一个常见问题，这就是我提到建议进行头脑风暴的原因。根据您要测试的组件，没有正确或错误的答案。然而，重要的是要认识到测试大量变量是不切实际的。您想要测试的变量越多，您必须考虑的组合数量就越多。组合的数量是事实上的组合，这意味着在仅测试 4 个变量时，您已经有 24 种可能的组合，而 5 种则有 120 种组合。
所以，不要试图测试一切。使用多变量指标来忽略您从一开始就知道可能不会影响转化率的组合。这方面没有规则，但过去测试的经验将始终作为先例，为未来的测试实践提供信息。