如果希望对比分析有意义,必须符合统计学意义上的真正的具有显著性的差异。不过,这个差异让一般人去计算是无从着手的。但好在我们可以使用现成的工具,直接输入数据就能告诉我们结果。进行AB测试,不是直接做了比较谁好谁差那么简单。
这个文章就介绍了这样的好工具。大家可以下载使用。第一部分:A/B测试时间计算器 在之前的文章,我推荐了一款用于计算A/B测试显著性的计算器(Excel版)并进行了对外开放下载。在这篇文章里,我将推荐一款能够帮助大家估算运行测试时间的计算器,从而获得具有统计学价值的科研成果。但首先,我需要做出如下几点声明:我们无法对A/B测试的结果作100%保证 当有人问我完成一项A/B测试需要多长时间,最万无一失的答案或许是来生或者直到你完成测试的那一天我再告诉你(哪种说法听起来更快一点呢,呵呵)。 对于一项A/B测试,你永远不可能自信地说自己能够在多少多少天之后就能获得具有统计学价值的科研成果。你可以说有80%(或者95%,反正不可能是100%)的概率(前提是这样的测试确实是有意义的)。当然,实际情况可能是数据的可控性只是相对的,从这种意义上来讲,无论你测试多久,都将无法得出相应的结论。A/B测试的运行究竟需要多长时间? 下载和使用下方的计算器来得知你的测试需要多少访客样本。
其中有四条信息需要你来填写:1.原始页面的转化率2.你希望对转化率变化的监测能够精确到多少(百分之几)?(如果你想探测到更加细微的改进效果,会需要更长的时间)· 3.需要监测的变量数(需要监测的变量越多,流量样本也相应需要提供更多)· 4.网站平均每日流量(可选项,并不一定是必须的) 当你填写了以上四项,计算器会计算出你需要监测多少访客(80%~95%的做出实验结果的成功率)。你可以在对这些访客进行一番测试之后停止测试,但千万不要什么都不做就放弃了测试,这样可能会导致最终出现错误的结论。A/B测试时间计算器(Excel版)复制此链接下载A/B测试时间计算器http://visualwebsiteoptimizer.com/downloads/ab_testing_duration_calculator.xls 我们非常欢迎大家能够将该文件分享和转发给更多的人。 PS:顺便说一下,如果你想快速计算,我们有一个不同版本的计算器上传在谷歌文档上(在你对谷歌文档中的表格做出任何操作之前,建议将其转存到自己的帐户以作备份)。计算器的工作原理 这个价值百万美元的计算器。如果要解释它的工作原理,那会超出今天这篇文章的话题范围,也因为它太过专业或许需要单独的一篇文章来细细讲解。当然如果你对此有着浓厚的兴趣,下图是我们如何通过计算访客数量从而得出研究结论的依据。
上面这张图表引自一本叫做《Statistical Rules of Thumb》的畅销书。而且比较幸运的是,关于估计样本容量的章节可以免费下载[PDF]。另一个估算A/B测试样本容量的优质信息来自微软的一篇论文: Controlled Experiments on the Web: Survey and Practical Guide[PDF](基于网络对照试验的调查与实用指导手册)。第二部分:A/B测试显著性计算器 A / B测试结果的统计可能令人困惑,除非你知道确切的公式。 早些时候,我们发表了有关A / B测试数学运算的文章,同时提供了一款免费的A / B测试计算器,用于测试你的结果是否有价值。 本文为大家提供了关于A / B测试统计的说明,当然计算器仅仅是提供了一个界面;用于计算对比测试结果的统计显著性的真正有效的公式没有具体展示出来。A/B测试公式的Excel表格 因此,我们已经推出了一个免费的电子表格,其中详细阐释了计算的真实意义所在。您只需要提供访问量和转化量的控制组和对照组。电子表格会自动为你计算显著性、p值、z值及对于任何一种对比测试(包括Adwords)的其他相关指标。当然,你可以在电子表格中看到相关的公式。
A/B测试时间计算器&显著性计算器,一个小时候一起长大的朋友,他小我一些,不过发财致富的本事远比我大。他很早就自己开公司做了老板,我还曾在他的公司打工接近两年时间。他的公司是做消毒设备的,目前已经做到年销售额几千万元的水平。【网站建设】 我们很久没有联系了,但前几天他突然打电话找到我,天南地北,嘘寒问暖地聊了半天,后来他又正式地约我任何网站建设都必须学习以下基本脚本: html、CSS、j来制作网站,在网站建设过程中我们必须按照网站正常的代码开发书写形式来设计和开发,否则网站会形成运行的漏洞,影响网站运营,还有很多都是网站建设的流程所在! 根据每个公司的实际情况,与往常一样,规划网站时必须考虑的内容部分包括:公司简介、发展页面优化建议:此功能主要是提醒我们网站一些优化问题,根据百度搜索引擎优化白皮书的描述进行优化。对我们优化人员来说,起到了一个基础的指导作用。 抓取频次:抓取频次代表百度每天对服务器抓取的次数,为了不给服务器造成较大的压力,可以通过此工具进行调节抓取频次及关闭保护等。 Robots工具:此工具是更新RA/B测试时间计算器&显著性计算器由远鸿助理网编辑https://www.hc228.com/news/gs/104.html 如需转载请注明出处