科学政策
day one project

解锁联邦赠款数据以告知基于证据的科学资金

10.12.22 | 9分钟阅读 | Text by卡罗琳·斯坦

概括

联邦科学资金机构每年花费数十亿美元用于壁外研究。有日益关注的问题that this funding may be inefficiently awarded (e.g., by under-allocating grants to early-career researchers or to high-risk, high-reward projects). But because there is a dearth of empirical evidence on best practices for funding research, much of this concern is anecdotal or speculative at best.

因此,美国国家卫生研究院(NIH)和国家科学基金会(NSF)是美国的两个最大基础科学的资助者,因此应开发一个平台,使研究人员可以为研究人员提供有关赠款审查的历史联邦数据的结构化访问和资金。这项行动将以围绕循证决策的立法和行政部门以及研究界的充分支持为基础。尽管授予数据通常很敏感,但其他领域有许多成功的模型,以负责任地共享敏感数据。将这些模型应用于赠款数据将加强将证据纳入赠款政策,同时还指导未来的研究(例如大规模的随机对照试验)对有效的科学资金。

挑战和机会

The NIH and NSF together disburse tens of billions of dollars each year in the form of competitive research grants. At a high level, the funding process typically works like this: researchers submit detailed proposals for scientific studies, often to particular program areas or topics that have designated funding. Then, expert panels assembled by the funding agency read and score the proposals. These scores are used to decide which proposals will or will not receive funding. (The FAQ provides more details on how the NIH and NSF review competitive research grants.)

越来越多的学者主张改革这一过程,以解决感知的效率低下和偏见。引用证据NIH在其资金决定中越来越逐渐增长,例如,评论员呼吁联邦资助机构明确资助更风险的科学。在MRNA疫苗对Covid-19的成功之后,这些电话变得越来越大,这是这项技术挣扎多年来,由于其高风险状况,获得联邦资金。

其他人则担心that the average NIH grant-winner has become too old, especially in light of研究暗示一些科学家在40岁之前就尽力而为。otherslament the “crippling demands” that grant applications exert on scientists’ time, and argue that a better approach could be to replace or supplement conventional peer-review evaluations with基于彩票的机制

这些假设都是合理且发人深省的。然而,很少有几乎没有经验证据来支持这些理论。如果我们想有效地重新构想,甚至只是调整美国资助科学的方式,我们就需要更好地了解各种资金政策的运作效果。

Academics and policymakers interested in the science of science have rightly呼吁增加实验grantmaking policies in order to build this evidence base. But, realistically, such experiments would likely need to be conducted hand-in-hand with the institutions that fund and support science, investigating how changes in policies and practices shape outcomes. While there is progress in such experimentation becoming a reality, the knowledge gap about how best to support science would ideally be filled sooner rather than later.

幸运的是,我们不必等待那么长时间才能获得新的见解。NIH和NSF拥有强大的资源:关于赠款建议,分数,资金状况和最终研究成果的数十年历史数据。这些数据对调查各种科学资金策略的比较益处的人具有巨大的价值。实际上,这些数据已经支持了出色且与政策相关的研究。示例包括Ginther et. al (2011)哪个研究种族和种族如何影响获得NIH裁决的可能性,以及迈尔斯(2020),哪些研究科学家是否愿意改变其研究方向,以应对增加的资源。而且有更多的潜力。尽管随机对照试验(RCT)仍然是评估因果推论的黄金标准,但经济学家数十年来一直在开发从观察数据中得出因果关系的方法。将这些方法应用于联邦赠款数据可以快速,便宜地产生基于证据的建议,以优化联邦科学资金。

通过提供结构化且简化的访问协议来开放联邦赠款数据将增加有价值的研究的供应,例如上面引用的研究。它也将基于政府日益增长的利益循证决策Since its first week in office,拜登 - 哈里斯政府有强调确保“政策和计划决策的重要性是由最有用的事实,数据和研究支持的信息所告知的。”地标指导白宫科学技术政策办公室于2022年8月发布,指示机构确保在发布时向公众免费提供联邦资助的研究(即基本的研究数据)。

在立法方面,2018年基于循证决策法的基础(popularly known as the Evidence Act) calls on federal agencies to develop a “systematic plan for identifying and addressing policy questions” relevant to their missions. The Evidence Act specifies that the general public and researchers should be included in developing these plans. The Evidence Act also calls on agencies to “engage the public in using public data assets [and] providing the public with the opportunity to request specific data assets to be prioritized for disclosure.” The recently proposed安全研究数据网络法呼吁准确构建以安全且结构化的方式共享联邦赠款数据所必需的基础架构类型。

Plan of Action

显然,可以扩大对联邦证据资产的访问和使用的胃口。下面,我们建议四个措施,以解锁NIH和NSF持有的授予数据中包含的见解,并应用这些见解来改善联邦机构基金科学的方式。

建议1.审查适用于联邦政府授予数据的法律和监管框架。

The White House Office of Management and Budget (OMB)’s Evidence Team, working with the NIH’s Office of Data Science Strategy and the NSF’s Evaluation and Assessment Capability, should review existing statutory and regulatory frameworks to see whether there are any legal obstacles to sharing federal grantmaking data. If the review team finds that the NIH and NSF face significant legal constraints when it comes to sharing these data, then the White House should work with Congress to amend prevailing law. Otherwise, OMB—in a possible joint capacity with the White House Office of Science and Technology Policy (OSTP)—should issue a memo clarifying that agencies are generally permitted to share federal grantmaking data in a secure, structured way, and stating any categorical exceptions.

建议2.建立基础架构,为外部利益相关者提供对研究的安全,结构化的访问,以进行研究。

联邦赠款数据本质上是敏感的,其中包含可能危害个人隐私或损害审查过程完整性的信息。但是,即使是敏感的数据也可以负责任地共享。NIH以前曾与一些研究人员共享历史授予数据,但是下一步是NIH和NSF开发一种可以使研究人员访问更广泛,更容易的系统。其他联邦机构已经制定了以系统的方式处理高度敏感数据的策略,该策略可以提供有用的先例和课程。示例包括:

  1. The U.S. Census Bureau (USCB)’s Longitudinal Employer-Household Data. These data link individual workers to their respective firms, and provide information on salary, job characteristics, and worker and firm location. Approved researchers have relied on these data to better understand labor-market trends.
  2. 运输部(DOT)的安全数据共享。安全的数据共享委员会允许第三方公司(例如Uber,Lyft和Waze)在旅行中提供个人级别的移动性数据。批准的研究人员使用这些数据来了解城市的流动性模式。

在这两种情况下,有关的数据都可以提供有关机构批准的研究请求的外部研究人员,该研究清楚地解释了拟议的研究的目的,为什么需要所请求的数据以及如何管理这些数据。管理访问敏感数据的联邦机构还实施了额外的安全性和隐私措施,例如:

在这些先例的基础上,NIH和NSF应该(理想地共同)开发安全的存储库来容纳赠款数据。此操作与建议来自美国循证决策委员会以及上述安全研究数据网络法案(SRDNA)。委员会的建议和SRDNA倡导者都为共享机构之间的数据共享数据的倡导者。为联邦授予数据创建一个或多个存储库将是同时范围较窄和更广泛的动作(就包含的数据类型而言,在有资格获得访问的当事方方面更广泛)。因此,该动作可以被视为srDNA的前体或扩展,并且可以与srDNA通道一起逻辑地追求。

一旦创建了安全的存储库,NIH和NSF就应该(理想地共同)为寻求访问的研究人员制定协议。这些协议应清楚地指定谁有资格提交数据访问请求,可能授予的请求的类型以及请求者需要访问和使用数据所需的技术功能。数据请求应由NIH和/或NSF的小型委员会评估(取决于所请求的确切数据)。在审查请求时,委员会应考虑以下问题:

  1. 研究人员寻求回答的问题有多重要?如果决策者知道答案,他们将如何处理这些信息?它会以有意义的方式告知政策吗?
  2. How well can the researcher answer the question using the data they are requesting? Can they establish a clear causal relationship? Would we be comfortable relying on their conclusions to inform policy?

最后,NIH和NSF应该考虑在管理授予数据共享的协议中包括评论权。当使用个人身份数据时,此类子句是典型的,因为它们为数据提供商(此处,NIH和NSF)提供了确保最终研究产品中显示的所有数据的机会,并且没有个人可以识别。人口普查局的披露审查委员会可以为NIH和NSF提供一些有用的指导。

建议3.鼓励研究人员利用这些新可用的数据,并利用由此产生的研究来为可能的改进提供资金。

NIH和NSF在决定是否以及如何更改现有赠款流程时经常面临问题和权衡。示例包括:

通常,这些机构几乎没有学术或经验证据可以借鉴答案。问题的很大一部分是缺乏对研究人员进行相关研究所需的数据的访问。根据上面的建议1和2扩大访问是必要的部分,但不是足够的解决方案。机构还必须投资吸引研究人员以一种具有社会有用的方式使用数据。

Broadly advertising the new data will be critical. Announcing a new request for proposals (RFP) through the NIH and/or the NSF for projects explicitly using the data could also help. These RFPs could guide researchers toward the highest-impact and most policy-relevant questions, such as those above. The NSF’s “Science of Science: Discovery, Communication and Impact” program would be a natural fit to take the lead on encouraging researchers to use these data.

目的是创造资金机会和计划,使学术界对联邦赠款机构需要指导的关键问题和问题清晰明了,而证据学者的建设应有助于为授予政策提供信息。金博宝正规网址

Conclusion

基础科学是对创新的关键意见,这反过来促进了经济增长,健康,繁荣和国家安全。NIH和NSF是在考虑这些关键任务的情况下建立的。为了充分实现他们的任务,NIH和NSF必须了解如何最大程度地提高联邦研究支出的科学回报。为了提供帮助,研究人员需要能够分析联邦赠款数据。深思熟虑地扩大了对这一主要证据资源的访问是一种直接,低成本的方式,可以提高我们联邦支持的国家科学企业的效率,从而产生影响。

经常问的问题
NIH当前如何选择资金研究建议?

有关此问题的精彩讨论,请参阅Li (2017).简而言之,NIH在27个“机构或中心”(ICS)左右组织,通常与疾病区域或身体系统相对应。IC每年都有国会制定的预算。研究建议首先由大约180个不同的“研究部分”评估,这些委员会是由科学领域或方法组织的委员会。在通过研究部分评估后,提案将返回其各自的IC。每个IC中得分最高的提案都是为预算限制提供的。

How does the NSF currently select research proposals for funding?

研究建议通常是为了响应于围绕不同计划(主题)组织的宣布的资金机会而提交。该计划官员将每个提案发送给至少三位不在NSF工作的独立审稿人。这些审稿人会根据其智力优点和更广泛的影响来判断该提议。然后,计划官使用独立评论向该部门主任提出资金建议,后者做出最终奖励/拒绝决定。可以在NSF上找到更多细节网页

NIH和NSF的赠款资金数据目前(公开)可用?

NIH和NSF都提供有关得到正式认可的建议。这些数据可以在记者网站对于NIH和award search site对于NSF。但是,这些数据没有提供有关被拒绝的应用程序的任何信息,也没有提供有关批准建议的基本分数的信息。