1717037672.png1717037672.png
Facebook x 领英
在这篇文章中，我们分享了一个简单的实验，它说明了 A/B 测试策略中需要考虑的两个基本方面：
一个小小的改变可以带来显着的改进。
适当选择关键绩效指标来评估实验是否成功。
目录
环境
测试
结果
教学
环境
在分析和评估客户的网站时，我们发现 斯里兰卡的群发短信服务 类别页面（称为产品列表）上对产品进行排序的默认方式是按价格（从低到高）。这种做法在一些网站上比您想象的更常见。也许这个决定背后的原因是向用户展示更便宜的产品，并传达该网站提供低价的印象。
类别页面上的产品按产品列表中的价格（从最低到最高）排序类别页面上的产品按产品列表中的价格（从最低到最高）排序
按产品列表中的价格（从最低到最高）排序
然而，各种用户体验(UX) 研究 (https://baymard.com/blog/default-sort-type) 表明，使用此默认顺序可能会导致一些重大问题。
其中之一是它会让用户认为他们属于错误的类别。因为？如果某个类别中显示的第一个产品不能充分代表该类别，则用户可能会认为它们位于错误的位置，从而增加了他们离开页面的可能性。
通常，一类中成本最低的物品往往是主要产品的某些配件或补充物品。例如，在LED灯具部分，也很容易找到安装配件：环、端子等，其成本比该部分最突出的产品更低。首先展示这些项目很容易导致混乱。
LED 照明商店的屏幕截图，举例说明了按价格排序时首先显示的产品类型：最便宜的优先LED 照明商店的屏幕截图，举例说明了按价格排序时首先显示的产品类型：最便宜的优先
LED 照明商店的屏幕截图，举例说明了按价格排序时首先显示的产品类型：最便宜的第一个
这种类型的分类可能导致的另一个事件是，它通常会在开始时创建非常相似的产品集（按价格分类时，同一产品的变体通常看起来非常接近），这会阻止用户网站提供的各种产品和类别的精确视图。
根据Baymard上面提到的分析，最合适的做法是向用户展示一种“按相关性”的分类。在我们的案例中，我们选择研究这如何影响我们客户的电子商务绩效。
测试
为此，我们提出了一个非常简单的测试：向部分流量显示默认产品分类为“按相关性”的变体。
拆分测试：我们向一小部分流量展示一个变体，向另一部分展示另一个变体拆分测试：我们向一小部分流量展示一个变体，向另一部分展示另一个变体
拆分测试：我们向一小部分流量展示一个变体，向另一部分展示另一个变体
我们使用 A/B 测试工具 VWO 开始测试，并在桌面和移动设备上运行。这次，我们选择了对比测试。为此，我们客户的开发团队准备了一个变体，其中类别页面上的默认分类是按相关性进行的。变体 URL 包含一个参数，允许我们在 VWO 中配置测试。我们将 50% 的流量引导至原始版本（默认按价格从低到高排序），将另外 50% 的流量引导至按相关性分类的变体。
