关于你的商业想法的影响的令人清醒的事实

埃里克·科尔森、达拉赫·西布利和戴夫·斯皮格尔
-旧金山,CA

这篇文章是第一次发表在oreilly.com

数据科学引入商业世界的贡献远远超过了推荐算法;它还教会了我们很多关于我们管理业务的效率。具体而言,数据科学引入了严格的方法来衡量商业理念的成果。这些是我们为实现业务目标而实施的战略思想。例如,“我们将降低价格以增加10%的需求”和“我们将实施忠诚度计划以提高5%的保留率”。许多公司只是执行他们的商业想法,而没有衡量他们是否达到了预期的效果。但是,以科学为基础的组织正在严格量化这一影响,并吸取了一些令人清醒的教训:

  1. 绝大多数商业想法都未能产生积极影响。
  2. 大多数公司都不知道这一点。
  3. 公司不太可能提高其商业想法的成功率。

这些教训可能会深刻改变企业的运营方式。在接下来的内容中,我们充实了上述三个断言,其中大部分内容解释了为什么很难提高商业创意的低成功率。尽管存在这些挑战,我们还是提出了一些建议,以更好地管理您的业务。

(1) 绝大多数商业想法都无法产生积极的结果

为了正确地衡量商业理念的结果,公司正在接受实验(又称随机对照试验或AB测试)。这个过程在概念上很简单。在推出一个商业想法之前,你要进行测试;你可以在一部分客户身上尝试这个想法1.而另一组(控制组)则没有接触到新的想法。当适当抽样时,这两组人将表现出相同的属性(人口统计、地理等)和行为(购买率、寿命价值等)因此,当引入干预措施时,即接触到新的商业理念时,行为的任何变化都可以归因于新的商业理念。这是医学研究、生物学研究、药物试验以及现在测试商业理念的临床试验中使用的科学测量金标准。

在许多商业领域,实验第一次揭示了我们商业理念的因果影响。结果令人谦卑。他们指出,我们的绝大多数商业想法都未能产生积极的结果。70-90%的想法要么根本没有影响,要么实际朝着与预期相反的方向移动度量,这并不罕见。以下是一些著名公司的统计数据,这些公司公开披露了他们的成功率:

  • 微软宣称,他们的想法大约有三分之一产生负面结果,三分之一没有结果,三分之一产生正面结果(Kohavi和Thomke,2017)。
  • 流媒体服务Netflix认为其90%的想法是错误的(Moran,2007)。
  • 谷歌报告称,多达96.1%的创意未能产生积极效果(Thomke,2020)。
  • 旅游网站Booking.com表示,他们10个想法中有9个未能改善指标(Thomke,2020)。

平心而论,上面引用的统计数据只反映了公司实施的想法的一小部分。此外,它们可能反映了一类特定的想法——那些有利于实验的想法2.比如对用户界面的更改、新的广告创意、微妙的消息传递变体等等。此外,这些公司都是相对年轻的,要么在科技行业,要么利用技术作为其业务的媒介。这绝不是对所有公司和商业理念的随机抽样。因此,尽管有可能高失败率是特定于类型的公司和想法,方便测试实验,似乎更合理,经营理念的高失败率反射一般来说,知觉的差异他们的成功可以归结为测量的方法。我们不应该感到惊讶——高失败率在许多领域都很常见。风险投资家投资许多公司是因为大多数公司都失败了;同样,大多数股票投资组合经理的表现也不如标准普尔500指数;在生物学中,大多数突变都是不成功的;等等。更令人惊讶的是,我们大多数人似乎都不知道商业创意的低成功率。

(2)大多数公司没有意识到他们的商业理念的成功率很低

这些统计数字应该使任何组织清醒;总的来说,商业理念代表了公司实现其目标所依赖的路线图。然而,令人沮丧的失败率似乎只有为数不多的公司知道,这些公司定期进行实验,以科学地衡量其想法的影响。大多数公司似乎没有采用这种做法,似乎有一种印象,即他们的所有或大部分想法都是或将是成功的。规划师、战略家和职能领导很少对他们的想法表示怀疑。相反,他们对自己想法的预期影响设定期望,并为其制定计划,就好像他们是确定的一样。他们将收入目标甚至自己的奖金附在这些预测上。但是,他们对这些想法的结果真正了解多少?如果他们没有实验实践,他们可能对他们的路线图实际产生的影响知之甚少。

如果没有实验,公司要么根本不衡量其想法的结果,要么使用不可靠的方法来评估其影响。在某些情况下,想法被如此流畅地付诸实施,以至于它们不被认为是值得衡量的东西。例如,在一些公司,“我们将降价以增加10%的需求”这样的想法可能是营销主管一时兴起的,根本不会有后续行动来看看它是否对需求产生了预期的影响。在其他情况下,对业务想法进行实施后评估,但以处决,而不是影响(“它是否按时实施?”“符合要求吗?”等等,而不是“对业务指标的因果影响是什么?”)在其他情况下,还会进行事后分析,试图量化这个想法的影响。但是,这通常是使用主观的或不那么严格的方法来证明这个想法成功. 也就是说,负责进行分析的团队通常会受到暗示或明确的激励,以找到成功的证据。奖金通常与商业想法的结果挂钩。或者,可能是其想法的副总裁委托进行分析。在这两种情况下,都有强烈的动机去寻找成功。例如,一家公司可能会寻求客户对新忠诚度计划的定性反馈,以便为如何接受该计划制定一个叙述。然而,愿意提供反馈的客户往往偏向正面。即使获得了更客观的反馈,它仍然不是影响的衡量标准;顾客的行为往往与他们表达的情感不同。在其他情况下,对交易数据进行实证分析,试图量化影响。但是,如果没有实验,这种分析最多只能捕捉相关性,而不能捕捉因果关系。业务指标同时受到许多因素的影响,包括随机波动。如果不对这些因素进行适当控制,很可能会将指标的上升归因于新的业务理念。可塑性测量和显示成功的强大激励的结合可能解释了为什么如此多的商业计划被认为是成功的。

相比之下,实验的结果是数字的和严峻的。他们不关心执行一项业务计划所付出的艰苦努力。他们不会被精心编制的叙述、客户的情感评论或高管的影响所左右。简言之,他们极其诚实,往往难以接受3.. 如果没有实验,公司就无法了解其高失败率这一令人警醒的事实。虽然无知是一种幸福,但它并不是经营企业的有效方式。

(3) 公司不太可能提高其商业想法的成功率。

在这一点上,你可能会想——“我们需要更好地把小麦和谷壳分开,这样我们就只把资源分配给农民。”思想”。遗憾的是,没有实验,我们看不到乐观的理由,因为有力量会积极地反对你的努力。

一股积极反对我们的力量是我们对公司的推理方式。

我们喜欢对我们的业务进行推理,就好像它们是简单的、可预测的系统一样。我们为他们的组成部分建立模型,并对其进行管理,就像我们可以利用杠杆一样,以可预测的方式将业务管理到所需的状态。例如,寻求增加需求的营销人员建立了一个模型,使她能够将每个可能的价格与预测的需求水平相关联。该模型的范围有意缩小,以便她能够隔离价格对需求的影响——其他因素,如消费者感知、竞争品种、运营能力、宏观经济前景等——超出了她的控制范围,并假设保持不变。有了这样一个直观的模型,她可以确定优化需求的价格。她控制着局面,实现她的目标仅仅是执行的问题。

然而,实验表明,我们对新商业理念的影响的预测可能会大错特错——不仅在规模上有一点偏差,而且往往是完全错误的方向。我们降低价格,看到需求消失下来. 我们推出了一项新的忠诚度计划,并且伤害保持这种不直观的结果比你想象的要普遍得多。

问题在于,许多企业的行为都是复杂的系统,无法通过孤立地研究其组件来理解。客户、竞争对手、合作伙伴、市场力量——每个人都可以根据干预做出调整,而这些调整的方式无法从简单的组件模型中观察到。正如你不能通过研究单个蚂蚁的行为来了解蚁群一样(Mauboussin,2009),从孤立地对企业的各个组成部分进行建模中得出的见解通常与企业作为一个整体的行为方式没有多大关系。

需要注意的是,我们对这个术语的使用复杂的并不仅仅意味着“不简单”。复杂性是系统理论研究的一个完整领域。复杂性出现在有许多相互作用的主体的系统中,这些主体相互反应并适应彼此及其环境。复杂系统的例子包括天气系统、雨林生态、经济、神经系统、城市,当然,还有许多企业。

对复杂系统的推理需要不同的方法。与其关注组件部分,还不如关注系统范围的行为。这些行为通常被称为“紧急”,表示它们是非常难以预测的。这个框架让我们围绕着学习而不是执行。它鼓励更多的尝试和错误,而不是依赖于一套狭隘想法的结果。正如复杂性研究人员Scott E. Page所说,“复杂系统中的参与者几乎控制不了任何东西,但却影响了几乎所有东西。””(页2009)

另一种积极反对我们区分好想法和坏想法的力量是我们的认知偏见。你可能会想:“谢天谢地,我的公司有过滤坏主意的流程,所以我们只投资于好主意!”。不幸的是,可能所有的公司都努力只选择最好的创意,但我们断言,它们在区分好创意和坏创意方面并不特别成功。我们认为这是因为这些过程本质上是人类的,容易受到认知偏见的影响。

认知偏差是人类思维和决策中的系统性错误(Tversky & Kahneman, 1974)。它们源于我们在进化史上形成的核心思维和决策过程。不幸的是,进化使我们适应了一个与现代世界有许多不同的环境。这可能会导致不良决策的习惯。举个例子:我们知道健康的羽衣甘蓝比一个多汁的大汉堡对我们的身体更好。然而,我们对汉堡有一种天生的偏好。我们中的许多人会决定今晚吃这个汉堡。明天晚上。下周再来一次。我们知道我们不应该。 But yet our society continues consuming too much meat, fat, and sugar. Obesity is now a major public health problem. Why are we doing this to ourselves? Why are we imbued with such a strong urge - a literal gut instinct - to repeatedly make decisions that have negative consequences for us? It’s because meat, fat, and sugar were scarce and precious resources for most of our evolutionary history. Consuming these resources at every opportunity was an adaptive behavior, and so humans evolved a strong desire to do so. Unfortunately, we remain imbued with this desire despite the modern world’s abundance of burger joints.

认知偏差是可以预测的,而且普遍存在。尽管我们相信自己是理性和客观的思考者,但我们还是成为了它们的牺牲品。商界领袖(包括我们自己)也不能幸免。这些偏见损害了我们过滤糟糕商业想法的能力。当我们做出一个糟糕的商业决策时,它们也能让我们感到非常自信。有关认知偏差在商业环境中表现出来并导致错误决策的例子,请参阅侧栏。

最后一个积极反对区分好主意和坏主意的力量是你的业务正在成熟。思维实验:假设一位当地高中教练告诉NBA巨星斯蒂芬·库里如何调整他的跳投。实施这些改变会改善或伤害他的表现吗?很难想象这会有帮助。现在,假设教练给当地一名六年级学生提出了这一建议。这似乎有助于孩子的比赛。

现在,想象一下,一位顾问告诉谷歌如何改进他们的搜索算法,而不是建议初创企业建立数据库。更容易想象顾问帮助创业。为什么?嗯,谷歌搜索是一个前沿系统,受到了众多世界级专家的广泛关注,有点像斯蒂芬·库里。很难提出一个新的好主意。相比之下,创业公司将受益于各种各样的好方向——有点像一个六年级的学生。

要使用更具分析性的框架,请想象一座代表公司目标函数的山4.例如利润、收入或留存。公司的目标是爬到顶峰,在那里它的目标是最大化。然而,该公司在这种情况下看不到太远。它不知道山顶在哪里。它只能通过在不同方向上采取小步骤来评估(如果谨慎并使用实验…)它是在走下坡路还是在走下坡路——也许可以通过调整定价策略和衡量收入是否在增长。

当一家公司(或篮球运动员)还年轻时,其在这一目标函数(利润等)中的地位很低。它可以向多个方向行走,也可以上坡。通过这个过程,一家公司可以成长(逐步增加收入)。然而,当它爬山时,一小部分可能的行走方向会导致上坡。在顶峰,任何方向的一步都会让你走下坡路。

无可否认,这是一个简单的业务模型(我们已经讨论了使用简单模型的愚蠢之处)。然而,所有公司最终都会面临这样一个真理:随着他们的进步,继续改进的方法越来越少(低收入的苹果已经被摘下),以及市场饱和、商品化等外部约束,这使得随着业务的成熟,改进业务变得更加困难。5.

那么,该怎么做呢

我们认为,大多数商业创意都未能实现其承诺的目标。我们还解释说,有一些系统性的原因使得公司不太可能仅仅通过更努力就能变得更好。那么这会给你留下什么?你是否注定要实施大部分糟糕的想法?以下是一些可能有帮助的建议:

  1. 进行实验,锻炼你的选择能力。认识到你的业务可能是一个复杂的系统,很难预测它将如何响应你的业务想法。与其向所有客户推广你的新业务理念,不如在客户的样本上进行试验。这会让你知道你的想法对公司的影响。然后你就可以在知情的情况下决定是否推广你的想法。如果你的想法有积极的影响,那很好。向所有顾客推广。但更有可能的情况是,你的想法没有产生你希望的积极影响,你可以结束实验,扼杀这个想法。使用公司资源来实现一个商业想法,然后又将其扼杀,这似乎是一种浪费,但这总比在不知情的情况下为一个没有任何作用或实际上损害你的指标的想法提供持续的支持要好——这是大多数情况下会发生的情况。
  2. 认识到你的认知偏见,收集先验预测,并庆祝学习成果。团队成员的认知偏见会限制你的公司过滤掉糟糕商业想法的能力。在你的下一个大版本发布之前,你可以通过向项目的所有涉众发送一份调查,开始构建一种欣赏这一事实的文化。请每个人预测指标将如何运行。对这些预测做一个匿名版本,并向员工提供其准确性。我们预计,随着时间的推移,您的团队成员对自己的预测会变得越来越不自信。这个过程也可能揭示,大的胜利往往来自一系列的实验,而不是灵感的单一打击。所以,庆祝在通往大胜利的路上所有必要的垫脚石吧。
  3. 认识到要找到成功的想法会变得越来越难,所以尝试更多的事情,并变得更加怀疑。随着公司的成熟,找到改进的方法可能会变得越来越困难。我们认为有三种方法可以应对这一挑战。首先,尝试更多的想法。很难提高你的想法的成功率,所以尝试更多的想法。考虑建立一个可伸缩和可重复使用的实验平台,以增加带宽。跟随风险投资界的领导:为许多想法提供资金,以获得一些重大胜利6.. 第二,随着公司的成熟,您可能希望在推出变更之前调整所需证据的数量,更成熟的公司应该在推断新功能改进了度量之前要求更高程度的统计确定性。在实验术语中,您可能需要调整用于评估实验的“p值阈值”。或者用我们的比喻来说,一个六年级的学生可能应该在教练告诉他们调整跳投时倾听,但是斯蒂芬·库里在调整跳投前应该需要大量的证据。

这可能是一个难以接受的信息。更容易假设我们所有的想法都能产生我们预期的积极影响。更令人鼓舞的是,相信成功的想法和公司是辉煌的结果,而不是反复试验。但是,考虑一下我们对大自然的尊重。她能够创造出如此精致的生物——长颈鹿、高大的橡树,甚至我们人类——每一种都非常适合自己的环境,我们把它们视为各自壁龛的合法主人。然而,大自然母亲并不是通过宏大的想法,而是通过反复试验来实现这一点……其成功率远远低于我们的商业想法。如果我们能说服我们的自尊心接受它,这是一个有效的策略。

工具书类

Arkes,H.R.,和Blumer,C.(1985),《沉没成本心理学》。组织行为和人类决策过程,35,124-140.

陈志强,陈志强(2000)。罚款就是代价。法律研究杂志、29(1)- 17。doi: 10.1086/468061

Kahneman, D., & Klein, G.(2009)。直觉专家的条件:没有异议。美国心理学家,64岁(6), 515 - 526。https://doi.org/10.1037/a0016755

在线实验的惊人力量,“哈佛商业评论95年,没有。5 (2017)

Mauboussin,M.J.(2009)。三思:利用反直觉的力量。哈佛商业评论出版社

Milgram,S.(1963),“服从的行为研究”。变态与社会心理学杂志.67(4): 371 - 378。

Moran,M.《快速犯错:网络如何改变旧的营销规则》。s.l.:IBM出版社,2007年。0132255960.

尼克森,R. S.(1998),“确认偏误:以多种形式存在的普遍现象”,普通心理学综述, 2 (2): 175-220.

Page, s.e.(2009)。理解的复杂性,伟大的课程-讲座成绩单和课程指南(第1版)。教学公司。

汤姆克,S.H.(2020年)。实验有效:商业实验的惊人力量。哈佛商业评论出版社。

Tversky,A.,和Kahneman,D.(1974)。不确定性下的判断:启发式和偏见。科学,185(4157), 1124-1131.

怀特,w.h.,(1952)。“群体思维”。财富, 114-117, 142, 146。

笔记

  1. 不要将“测试”一词混淆为对一个初生想法进行审查以获得反馈的过程。在一个实验中,测试组会收到一个想法的全功能实现。实验的目的是衡量影响,而不是获得反馈。

  2. 在某些情况下,可能是样本量不足、伦理问题、缺乏合适的对照组,以及许多其他可能抑制实验的条件。

  3. 即使是训练有素的统计学家也可能成为哄骗数据的压力的受害者。“p黑客”、“意义追逐”等术语指的是在统计分析中使用有缺陷的方法的诱惑。

  4. 我们认为,这些类型的因素只有在事后才变得明显,因为在我们知道如何寻找信号之前,信号通常是不被观察到的(Kahneman&Klein,2009)。

  5. 这种心理图景被过分简化的一个原因是,它隐含着商业条件&整个世界是静态的——今天最大化目标函数的公司“状态向量”与明天最大化目标函数的公司“状态向量”是相同的。换句话说,它忽略了事实上,当我们试图攀登时,我们脚下的山丘正在改变形状。尽管如此,它还是一个有用的玩具模型。

  6. 正如下一节所建议的那样,找到一个新市场(在“收入增加”的比喻中跳到一个新的“小山”),是在公司成熟的同时继续改进业务指标的一种方法。

发这个帖子! 在LinkedIn上发布
188滚球注册平台

来和我们一起工作吧!

我们是一个多元化的团队,致力于打造卓越的产品,我们希望您的帮助。您是否希望与卓越的同行一起打造卓越的产品?加入我们吧!

Baidu