大数据很少确实指出事件之间的因果关系，如果想靠着分析大数据做出营销决定，可得小心再三。以我们研究过的某家大型零售商为例，该公司注意到购买生鲜商品的顾客常常也会购买大荧幕电视，便投入大笔营销资金，提升生鲜商品销量，希望也能带动电视销量。虽然生鲜商品销量确实上升，电视销量却纹风不动，最后生鲜销量上升的获利还不够支付营销成本。
为了不落入如此窘况，愈来愈多公司执行数据分析会搭配实地实验；透过控制变因的测试，就能知道数据分析找出的关系究竟是否为因果关系。然而，实地实验的运用也需要当心：实验太久、等到要付诸实行就已经过时，而且实验过程也可能漏了某些副作用。所以，企业该如何判断使用时机？答案要看以下四项问题而定。
1.实验结果能够推广应用吗？
决定是否做实验前，必须先确定实验情境是否类似于最后要实作的情境。如果只是抽样某些顾客、做直效邮件的测试，事后要将结果推广到所有顾客应该问题不大；然而如果是想调整店内的某些作法（像是员工与顾客的互动方式），就不见得能够以小推大。小型实验的时候，员工很容易就能完全遵照实验的指示；特别是派来实验不同作法的员工常常是精挑细选、受到特别关注，等于是额外的资源。然而，等到所有一般员工普遍实施新作法，没有人在旁盯着，效果常常就不如实验。
2.跨产品效应如何？
针对实验分析的产品类别，如果跨产品效应既多且大，就需要进行为数众多的实验，才能解释所有相关效应。然而研究显示，在跨产品效应不大的时候，针对特定产品类别营销决策所需的实验数量，就只会随着类别内产品品项的数量、缓慢增加。这种时候，就算某个产品类别有许多互补或替代性的产品，还是能运用合理数量的实验、得到有意义的结果。
3.需要多精确？
产品面临的情境有许多变因：季节、过去的曝光度、相关的消费者经验、沟通的细节等等，都可能影响最后市场结果。因此，实地实验并不一定能预测未来。我们的研究指出，现在与未来反应的差距，要看数据收集的方式情况而定。一般来说，针对大型客群的实验，预测的效果会比瞄准小型特定客群的实验更佳。此外，比较安全的作法是先谈方向、而别急着下断言。例如可以说实验发现「试用比折价更能带来利润」，但不要直接说「试用能引起2%的顾客回应、而折价只有1.5%的顾客回应」。很多时候，只要有大方向，就足以让企业做出适当的商业决策。
4.能否用实地实验的数据，瞄准不同市场区隔？
实地实验提供的原始数据，能有许多在市场区隔方面的运用。原则上，将实地实验的数据与市场区隔方式结合，就能为不同的市场区隔量身打造营销方法。举例来说，零售商如果需要吸引更多顾客，可能就要先了解不同市场区隔、再分别定出最佳的促销邮寄方案。如果能掌握机器学习和实地实验两者的威力，零售商执行实地实验后，就能取得数据、进一步了解市场区隔，从而决定最佳策略。
大数据就像开了一扇窗，让人能看出商业环境、顾客需求、顾客行为等的即时变化。然而，数据若使用不当，风险就可能大过优点。而且经理人常常没想到，竟有这么多商业决策是来自运用不当的数据。搭配仔细为之的实地实验，就有助于改善这种情形。