我们很高兴发表艾伦·戴的这篇文章,通量状态(全球采购咨询和SRM软件提供商),看看政府有缺陷的采购方法背后的原因。
英国政府投入了大量努力,以确保他们的购买过程是公平和可审计的。现在已经发布了指导方针,需要遵循的法律程序,以及当购买过程被认为不公平时的神秘购物帮助热线。尽管有意适当使用公共资金,并努力以公平和结构化的方式进行采购,但存在一个重大(和根本的)缺陷。
我们认为以上这些都很好,但是,它被选择过程破坏了,或者更具体地说,由于没有正确地进行评分和问题权重,这可能会导致做出错误的购买决定。
早在2005年,我们就写过这篇文章“这值得称量!”购买者如何做出错误的决定。”最近,我们发现了一些政府评分/问题权重的做法,这让我们重新阅读了这篇文章,并测试我们当时所说的是否仍然正确。本文研究了采购行业中主要的、反复出现的错误,即根据标准对购买者的绝对重要性为标准分配权重。
任何征求建议书(RFP)的目的都是将供应商的相对适宜性与一套加权标准进行比较,并使用客观、系统的方法选择最佳供应商。但这里有一个问题:在加权过程开始之前,采购团队应该问自己这样一个问题:“供应商之间的差异有多大,我们对这种差异有多少关心?”决策分析从业者将这种技术称为摇摆权重。这一过程考虑了在每个标准中表现最好和表现最差的供应商之间增加的价值。权重是根据增加值分配的,而不是绝对重要性。在多标准决策中,给定标准的价值贡献概念是一个关键因素。
权重错误
为了说明这个问题,考虑下面的例子:
假设你正在运行一份RFP,为了推动选择过程,你有两个需要考虑的关键领域——根据你的规格和价格交付的技术能力。技术能力对你来说很重要,所以你决定把它作为总分的60%,当然价格也很重要(稍后我会回到这个问题上),所以这是剩下的40%的权重。
对于价格因素的评分,您决定采取出价提供最好的价格,授予这个可用的满分,然后其他投标人的价格获得分配的分数,这是相对于他们的位置与最佳价格。为了让你的生活更轻松,任何距离最佳价格超过两个标准差的人都将得到零分。
这个例子的挑战在于,价格因素虽然“只”占40%,但实际上在决策过程中起着更大的作用。因为剩下的60%涵盖了其余的技术标准,每个子元素的百分比实际上最终是一个相当小的元素。想想看,在技术标准中,你需要涵盖的项目包括:质量、服务、技术适应性、团队和客户管理、企业社会责任、符合标准等。因为子元素很小,所以每个子元素之间的相对差异很小。因此,在技术适应和质量方面得分较高的公司可能只比得分较低的组织高出几个百分点。
将其与价格进行比较,因为价格设置为40%,这里的任何价格差异实际上都会导致百分比分数的很大差异,因此这是做出决策的关键标准。具有讽刺意味的是,这些价格差异可能相对较小,但基于权重,这些微小的价格差异就会变成很大的比例,当添加到其他标准时,就会成为决策的主导因素或关键标准(或波动,因此称为“摇摆权重”)。
使问题复杂化
获得正确的权重只是客观做出最佳决策的一部分挑战。我们注意到,政府的一项做法是,如果出价方的价格与所有出价方的平均价格相差两个标准差以上,就给出价方的价格打“零”分。这会导致以下问题:
- 均价很容易被出价极低的投标者大幅扭曲。
- 如果供应商之间的价格差异很小,好的供应商可能会被排除在非常少量的资金之外。
- 这更偏向于价格。
最重要的是,它是懒惰的,因为它没有考虑“应该花费”的数字,所以作为买家,我们没有花时间计算出产品或服务应该花费多少,并围绕这个建立我们的评分模型。除非供应商在投标时未能提交价格,否则任何人都不应在价格上获得零分。
长期以来,我们一直在敦促采购部门审视我们如何运行rfp,甚至挑战使用它们的必要性(参见我们的文章“RFP是工作的错误工具吗?’),但我们确实认为,如果要使用RFP,那么至少它必须是公平、公正的,并且在一个可审计的过程中,专注于为业务做出正确的决策。
从我们所看到的情况来看,我们认为政府采购需要接受如何正确衡量和评分rfp的培训。如果这种做法没有改变,那么答案很简单:为了赢得政府的合作,忘记技术能力、质量和服务水平等因素,只要确保你保持低价格就可以了。其他的都不重要了。
这是对问题的极好总结,虽然在公共采购中由于需要提前确定和公布标准而加剧了这一问题,但在私营部门采购中,这一错误同样普遍。
长期以来,我一直相信用加权值对RFP的每个问题进行评分所产生的谬论。除了非常糟糕的提交内容外,这还有一种合并分数的普遍趋势,即“获胜”投标可能会获得74.7%的分数,而数字2和3的分数则是74.3%和73.8%,尽管它们显然是较差的提交内容。
正如b+t所指出的那样,最好先制定出你的资格标准,根据合格/不合格来评分,在一个合理的高水平上确定竞标中的关键区别因素,并根据不符合/满足/超过要求来评分,并将成本方程完全分开。这就引发了一些讨论,比如“额外的2%的质量值得额外的15万英镑成本吗?”
当你试图将它应用于不太有形的类别,如专业服务或营销时,甚至不要让我开始思考评分会有多错误(或者它是如何被操纵的)!
您应该为非价格组件分配价格,而不是为价格分配分数。如果你不能分配一个£值,有什么意义?
我的意思是:你在为食堂招标——当然,Spumco餐饮公司对海豚友好的金枪鱼的承诺要么是a)值得每人每天额外的x便士,要么是b)无价的,应该成为资格标准的一部分,要么是c)毫无价值,根本不存在。
“在加权过程开始之前,采购团队应该问自己这样一个问题:供应商之间的差异有多大?我们对这种差异有多少关注?”’”
除了在公共采购中,标准和权重必须在一开始就确定,甚至在你邀请兴趣表达之前,而不是在你收到投标时。
我也怀疑你的数学,尽管我很高兴地承认,这不是我最强的科目,我可能只是有点笨!
我承认,有许多较小的子标准会稀释分数,这意味着每个子标准的供应商之间的分数差异可以非常小。然而,这些小的差异加起来在所有子标准上肯定会有很大的差异吗?它只会改变你对一个60%的标准和6个10%的子标准的评分。
就价格而言,标准的差异模型意味着价格的微小差异导致分数的微小差异。只有当你使用一种方法时,情况才会发生变化,比如给最高价格打零分,然后按照最高和最低价格分配剩余价格——这种方法已经受到质疑,永远不应该使用。
就像我说的,我可能完全误解了这一点,并且希望看到一个更健壮的示例来展示您的工作。我知道Peter对目前用于评估投标的方法有疑问!
丹,谢谢你的评论。
我同意关于何时分配权重的评论,事实上,在所有良好的采购实践中,权重应该事先决定。这篇文章是关于权重是如何计算的,以及背后的数学原理。
我希望你不介意我这么说,但你提出的很多观点都进一步突出了这个问题。子组件的小权重和分数意味着可能“影响”决策的因素会被许多其他小分数所淹没,或者被一个大权重项目(如价格)错误地掩盖,这就是我给出的例子中所发生的情况。
有必要进行关于如何衡量和评分RFP的教育,以避免糟糕的实践和最终糟糕的决策。令我惊讶的是,一家大型政府外包机构还没有对此提出挑战,但这可能会为政府提供改变的主动权。
通过内部拍卖来发现卓越技术的真正价值如何?