2016年5月，应隶属美国国家科学基金会（NSF）之国家科学与工程统计中心（NCSES）的请求，国家科学、工程和医学院旗下的国家统计委员会（CNSTAT）召集学术研究人员、私营和公共部门专家，以及公共政策机构的代表，召开了一次以“推动衡量创新的概念和模型”为主题的研讨会，以制定创新信息系统扩大和现代化的战略【1】。在研讨会上，英国萨塞克斯大学科技政策研究专家本·马丁（Ben Martin）教授针对创新指标制定提出了几个危险警告，包括麦克纳马拉谬误（McNamara Fallacy）；古德哈特定律（Goodhart’s Law）；以及指标体系被利用所带来的成本超出其益处，导致更高的科研不端行为发生率。

麦克纳马拉谬误（McNamara Fallacy）是一种非形式谬误，是指使可测量的重要而不是试图使重要的可测量（making the measurable important rather than attempting to make the important measurable）。它由美国社会学家丹尼尔·扬克洛维奇（Daniel Yankelovich）于1972年提出【2】，但直至1994年因管理大师查尔斯·汉迪《空雨衣》一书而广为流传【3】。该谬论以曾任美国国防部部长的罗伯特·麦克纳马拉之名命名。扬克洛维奇对麦克纳马拉谬论的描述如下：第一步是测量任何容易测量的，这目前没有什么问题。第二步是无视那些不容易测量的，或赋予它任意的数值，这是人为误导。第三步是假设那些不容易测量的都不重要，这是盲目。第四步是宣称不容易测量的不存在，这是自杀。

麦克纳马拉一生有着耀眼的履历。1937年毕业于美国加州大学伯克利分校、获得经济与哲学双学位，1939年获得美国哈佛大学工商管理硕士（MBA）。曾任福特汽车公司总裁，是该公司成立初期以来第一位担任该职位的非福特家族总裁。其后任美国国防部部长（1961年－1968年，为美国史上任期最久的国防部长），以及世界银行行长（1968年－1981年）。肯尼迪总统邀请麦克纳马拉担任国防部长，希望他能将他在福特公司使用的管理技术应用到美军的管理中,发起一场“麦克纳马拉革命（McNamara Revolution）”【4】。在越战期间，他依据定量观察（或量度）做出决策，或以量化数据衡量成功，如击毙敌军的尸体数量，敌我双方死亡数量的比率等，但忽略了其他因素。其理由是这些其他因素无法得到证实。由此带来的误判是越战失利的原因之一。他于1995年的回忆录《回顾：越南的悲剧与教训》【5】，以及在2003年奥斯卡最佳纪录片《越战烟云》中，承认自己犯了错误。

马丁警告创新指标制定时麦克纳马拉谬误的危险性，将此比喻为一个人在灯柱下寻找钥匙。指标制定者的一个诱惑是将注意力集中在光线所在的现象和特征上，这可能导致忽略不易测量或实际上不可测量的方面，即使它们同等重要或更重要。当然，比麦克纳马拉谬误更为糟糕的是，对那些容易测量的东西给予不适当的意义和重视。

古德哈特定律（Goodhart’s Law）常指当一个指标被用作政策目标时，它很快就失去了捕捉被测量的现象或特征的能力，以经济学家查尔斯·古德哈特（Charles Goodhart）之名命名。许多杰出的经济学家的名字都与经济学中的一些理论、概念或工具相连，如吉芬商品、庇古效应、纳什均衡、科斯定理等等。然而，很少有经济学家的名字与“定律”联系在一起，古德哈特是少数当中的一个【6】。他在1975年的一篇批判撒切尔货币政策文章中指出，一旦为控制它而对其施加压力，任何观察到的统计规律将会坍塌【7】。古德哈特定律在很多领域可找到相似之处，如眼镜蛇效应（Cobra Effect）【8】。

在殖民时期的印度，德里的眼镜蛇泛滥成灾。为了减少城里的眼镜蛇数量，当地政府的解决方案是奖励猎杀眼镜蛇。由于赏金足够慷慨，许多人开始猎捕眼镜蛇，这正好导致了预期的结果：眼镜蛇数量减少。随着眼镜蛇数量的下降，在野外寻找眼镜蛇变得越来越困难，人们开始变得相当有创业精神。他们开始在家里养眼镜蛇，然后像以前一样杀死眼镜蛇来领取赏金。地方当局意识到，在这个城市里已经很少有眼镜蛇，但他们支付赏金仍然像以前一样多。于是，地方官员决定取消赏金。其结果是人们把毫无价值的眼镜蛇放回野外，导致了比开始前更大的眼镜蛇问题。

在创新指标制定问题上，一旦某个指标作为政策的一部分被采纳，它就会导致行为的改变，具体来说，博弈可能会发生以响应不正当的激励，从而产生非计划的后果。马丁举了一个例子，英国科学大臣谈大学衍生企业（spinoffs）的数量。当科学大臣开始谈论这个数据的时候，每年有70家衍生企业；但第二年，这个数字就增长到200家。显然，大学在这项活动中的表现并没有提高三倍：那些大学只是在玩数字游戏方面有所提高。

马丁总结说，在知识密集型社会，创新变得比过去更为重要，但创新的形式和领域特征越来越多样化。传统上接受的指标反映了过去几十年的主要创新形式，这使得当前的许多创新活动被忽视。因此，需要新的指标。但是，在一个大数据容易获取的时代，必须抵制只在“灯柱下”搜索的诱惑。马丁敦促人们继续认识到麦克纳马拉谬论以及随后的博弈和非计划后果，最重要的是，指标体系的益处必须大于其成本。