在这篇文章中,我们报告了我们试图在最近发表的市场研究杂志(JMR)上发表的一篇文章中复制一项研究的尝试,该文章的标题是“对情况的控制:提升的观点对冒险的影响”(.htm)。这篇文章的摘要总结了关键的结果:“消费者从高海拔观赏风景会产生一种虚幻的控制来源,这反过来又会加剧冒险行为。”
这篇文章的七项研究中有四项是在MTurk上进行的。我们试图复制研究1b,因为它是四个研究中报告的p值最小的(p=0.016)。这项研究(N=203)发现“接触高海拔风景的人比接触低海拔图像的人更愿意购买新产品”(第56页)。假设出现这种效应是因为暴露在高海拔风景会增加冒险行为,而购买新产品是一项有风险的努力[1]。
我们联系了这篇论文的作者,要求提供进行复制所需的材料。他非常坦率和礼貌,在几个小时内就回复了我们,同时迅速而彻底地回答了我们随后提出的所有问题。我们感谢他的帮助和专业精神。
在预注册复制(https://aspredicted.org/9zw6i.pdf),)中,我们使用了与原始研究中相同的说明、程序、图像、问题和参与者群体。除了样本量-我们试图获得原始样本量的三倍-我们知道我们的研究和原始研究之间唯一的区别是,我们在Qualtrics上的场景问题的格式与原始作者的格式略有不同(例如,请参阅此.pdf文件)。您可以在这里访问我们的Qualtrics调查(.qsf),在这里访问我们的材料(.pdf),在这里访问我们的数据(.csv),在这里访问我们的码本(.xlsx),在这里访问我们的R代码(.R)。
我们让603名MTurker完成了一项在线调查,其中有两项表面上独立的研究。首先,参与者看了五张从低垂直位置和高垂直位置拍摄的图像,并描述了他们对每一张图像的感受。
在表面上无关的第二项研究中,参与者对他们购买四种新产品的可能性进行了评级。以下是其中一款产品的图片:
因此,最初的研究发现,那些接触到森林图像(和其他低海拔图像)的人比那些接触山顶图像(和其他高海拔图像)的人更不可能说他们会购买加热的黄油刀(和其他新产品)。
首先,我们可以询问预测结果在(大样本)复制尝试中是否显著。在这种情况下,情况并非如此。海拔条件对参与者购买新产品的可能性没有显著影响;事实上,两种条件下的平均购买可能性几乎相同(M高=3.67,M低=3.64,p=.802)[2][3]。
其次,我们可以考虑结果告诉我们的关于效应的可能大小,以及检测它所需的样本大小。下图显示我们的效果大小估计为d=0.02,90%的置信区间为[-.11,+.15]。
如果实际效果大小在我们的置信区间的上限(d=0.15),那么您需要1,320名参与者才有80%的机会检测到它。如果真实效果大小等于我们对真实效果大小的最佳估计(d=0.02),则需要75,301名参与者才有80%的机会检测到它。最初的研究有203名参与者,只有5.2%的机会检测到d=0.02,只有19.4%的机会检测到d=0.15。重复的结果暗示,如果兴趣效应存在,原始研究中使用的样本量不会足够大,不足以提供信息。
总而言之,使用三倍于原始研究的样本量,我们没有发现任何证据表明,暴露在垂直位置升高会增加风险承担,至少当风险被操作为购买新产品的可能性时是这样。
当我们联系作者就这篇文章发表评论时,他礼貌地指出了我们的复制尝试与原始研究之间的两个潜在差异。
首先,他指出,我们在评估因变量时并没有详细说明所有的标度点。鉴于我们将量表锚定在1=“极不可能”和7=“极不可能”,他给所有的评分点打上了标签:1=极不可能;2=中等不可能;3=轻微不太可能;4=既不可能也不不可能;5=轻微可能;6=中等可能;7=极有可能。他不认为这对结果有贡献。
其次,他写道,我认为,有一个因素可能会导致这种无效的结果,那就是人们在多大程度上认为这份产品清单是新的。在我发布最初的研究之前,我在互联网上搜索了一下新产品。有可能在2017年9月被人们认为是新产品的产品,在2019年5月也不被认为是新产品,即使我们告诉他们它们是新产品。对于远程入口锁系统这一产品来说,这种效果更加明显,这在2017年是一个非常新的产品,但在2019年则不是。这可能会降低与这些产品相关的风险,并随后对结果做出贡献。“。
我们同意作者的观点,即远程入口锁系统在2019年对至少一些参与者来说可能看起来不够新。当我们从我们的分析中删除这一项时,总体效果确实增加了,从所有产品的d=.02,p=.802增加到没有远程入口锁系统的d=.05,p=.523。
对于任何多项研究的论文来说,单一研究的复制不能直接说明其他任何研究的可复制性。这些研究可能比我们选择的研究更有可能复制,也可能不太可能复制。[↩]
我们用两种方法分析了数据,两种方法都得出了相同的结果:P=.802。首先,在我们的预注册之后,我们组织了数据,使每个参与者贡献了四行,每行对应于他们评价的每种产品。我们回归了他们在海拔条件下的购买可能性评级,同时包括了对产品的固定影响,并按参与者对标准误差进行了聚类。我们也以与原始作者相同的方式进行分析,并运行2(条件)x 4(乘积)混合方差分析。[↩]。
在研究结束时,我们询问参与者他们以前是否在MTurk上完成过景观任务,以及他们以前是否在MTurk上看过这些产品(可能的答案是:没有,也许,有)。将分析限制在对这两个问题都回答“否”的参与者身上(N=501)会导致影响的方向反转(因此与原来的方向相反),而保持不显著(p=.511)。[↩]