真实世界证据的结构化模板和报告工具(structured template and reporting tool for real world evidence,STaRT-RWE)是由哈佛医学院布莱根妇女医院Shirley V Wang教授带领的团队制订的用于规划和报告关于治疗安全性和有效性的真实世界证据研究的实施情况,并于2021年1月发表在BMJ杂志,该模板已得到国际药物流行病学学会以及国际药物经济学和结局研究学会的透明度倡议的认可。本文对其条目进行解读,以促进国内从事真实世界研究的学者对STaRT-RWE的理解和应用,有助于提高RWE研究的透明度、可重复性和准确性。
引用本文: 曹雪, 孟祥然, 王馨, 秦宇宁, 王梦琪, 刘佳. 用于真实世界证据的结构化模板和报告工具(STaRT-RWE)的解读. 中国循证医学杂志, 2024, 24(8): 967-973. doi: 10.7507/1672-2531.202312132 复制
临床试验属于前瞻性干预性研究,一般是指随机对照试验(randomized controlled trial,RCT),是医疗干预措施评价的金标准[1]。而真实世界研究(real world study,RWS)与传统临床试验不同,它可以利用随机化或非随机研究为特定研究目的的前瞻性收集的数据,但大多数使用作为常规医疗保健过程的一部分(如医院电子病历数据、医疗索赔、医保数据等)电子数据[2]。真实世界研究是基于现实临床诊疗环境下收集的患者数据,因此外部真实性更高[3],产生的证据有助于弥补指南外部有效性不足,缩短指南与临床决策之间的距离,可为临床决策或医疗保健决策提供更符合临床实际的依据[4]。真实世界证据(real world evidence,RWE)越来越多地用于生成关于医疗产品或干预措施的安全性和有效性的支持性证据,但由于RWS常缺乏严格的条件控制,与前瞻性收集数据的临床试验和非实验研究相比,使用常规收集的电子医疗数据的研究在设计和数据分析方面具有更大的可变性,其结果更容易受到混杂因素和偏倚风险的影响,有可能导致产生高主观偏倚的结果和质量偏低的RWE,因此,推动RWS透明化十分必要[5]。
规范报告研究结果是真实世界研究透明化的关键环节[5],规范的报告可提高RWE研究结果的透明度、可重复性和准确性。许多研究者意识到这个问题,并为研究报告制订了指南和检查清单,如RECORD(reporting of studies conducted using routinely collected data)清单和GRACEG(good research for comparative effectiveness)清单[6],现有的指南和清单已经对报告哪些主要要素及重要性达成了强有力的共识。然而,这些报告清单采用通用模板,但在计划和实施RWE研究时,它们可能导致操作时的模棱两可或错误解读。近些年来,利用电子健康记录(electronic health records,EHR)等常规收集的卫生数据开展真实世界有效性与安全性的研究越来越多地影响药品上市后再评价、医保报销和医疗保健决策[7]。因此,为了有一个基础模板来评估和区分有用的、严格设计的研究和涉及有效性问题的研究,国际人用药品注册技术协调会(the International Council for Harmonization,ICH)为RWE研究的安全性和有效性报告推出了RWE研究实施计划和报告的结构化模板(structured template and reporting tool for real world evidence,STaRT-RWE)[8]。该模板是由美国哈佛大学医学院附属布莱根和妇女医院Wang教授带领的团队与国际范围内的利益相关方广泛合作制订,于2021年1月发表在BMJ杂志,该模板拓展了SPACE(structured pre-approval and post-approval comparative study design framework to generate valid and transparent real-world evidence)框架的功能,提供了详细化的模板来规范展示最终的研究设计和实施细节,有助于设计和开展可靠的RWE研究,解决RWE研究方法的透明度差距,提高特异性,实现数据的可获得性,并帮助阅读者快速查找关键信息。它旨在用于医疗产品的有效性和安全性研究。该模板适用于多个研究设计、数据来源、报告指南和偏倚评估方法。本文将对STaRT-RWE 的所有要点进行解读和介绍,并结合实例进行分析,旨在帮助研究人员更好地理解和应用该报告规范,促进RWE研究的可重现性及有效进行科学评估和证据的合成,以期提高RWE研究的报告质量。
1 制订
关于RWE研究实施的结构化模板中要求的详细研究参数来自于国际药物流行病学会(International Society for Pharmacoepidemiology,ISPE)和国际药物经济学和结局研究协会(International Society for Pharmacoeconomics and Outcome Research,ISPOR)成立的联合工作组所制订的一份共识文件[9],这份文件中包括了具体参数的详细目录,详细报告参数是RWE研究可重复的必要条件,可提高透明度并促进对有效性的评估。这些参数很多作为研究人员应该提供细节的部分,已被纳入现有的报告清单中。Wang等引用了ISPE-ISPOR联合工作组制订的共识文件中目录部分,总结分析既往发布的报告清单如RECORD-PE[10]和欧洲药物流行病学和药物警戒中心网络(European Network of Centres for Pharmacoepidemiology and Pharmacovigilance,ENCePP)发布的指导文件[11],针对已发布的质量评估工具[12-14]提出了一个新的结构化模板,以确保涵盖了评估有效性的所有关键要素,并与利益相关者和专家进行了焦点小组访谈,向ISPE和透明度倡议组织的成员们(由ISPE-ISPOR联合工作组、马戈利斯健康政策中心和美国国家医药委员会合作组成的多方利益相关者小组)寻求意见,得到了ISPE和透明度倡议组织的认可,最终确定了STaRT-RWE模板的内容。
2 STaRT-RWE模板的特点
该模板详细描述了研究参数,以及纵向研究设计的图形,即如何将研究设计过程中的细节被可视化地总结在一个图形内。使用该模板有助于增加RWE研究的严谨性,并有利于决策者对RWE方法的理解和对结果的解释。STaRT-RWE目的包括:① 用作设计和开展良好可重复RWE研究的指导工具;② 为RWE方法的沟通树立明确的期望;③ 减少对缺乏特异性的错误解释;④ 允许审阅者快速找到关键信息;⑤ 促进研究可重复性,有效性评估和证据合成。如果在注册RWE研究方案时使用或公开发表了相应的STaRT-RWE模板,研究发表时可以在文章中引用,也可以作为补充材料发表。
STaRT-RWE模板的原作者也从价值、挑战以及主要可用性的问题等方面对STaRT-RWE模板进行了解析,以帮助研究者了解该模板究竟能解决什么问题。例如,在研究者与监管者之间的沟通中,该模板被监管者视为一种教学工具,可以帮助研究者明确研究目的,并帮助双方达成一致。
3 STaRT-RWE要点解读与实例
为了与联合ISPE-ISPOR特别工作组共识文件中确定的要素紧密一致,该模板包括了下面详细介绍的几个表格(见附件)及同时带有示例条目的模板表,以显示如何完成这些表,从而进行药物流行病学中从时间到结局事件的比较队列研究。在实践过程中,模板表格条目将取决于研究设计类型和分析参数。在填写完成模板表格之后,可以删除模板表头详细的文本说明。模板表格内容主要包括管理信息、研究设计、研究人群参数(数据源和软件的元数据、索引日期、纳入和排除标准、预定义和经验定义的协变量、结果、随访)、数据分析(主要分析、次要分析、亚组分析)、敏感性分析、损耗以及功率和样本量计算。本研究以2021年BMJ发表的“early initiation of prophylactic anticoagulation for prevention of coronavirus disease 2019 mortality in patients admitted to hospital in the United States: cohort study”研究[15]为例(以下简称“案例”),针对每个条目进行案例解读,便于读者理解。
3.1 管理信息
包括研究方案标题、研究的主要目标和次要目标(研究对象、干预措施、对照措施、结果、时间范围、研究设计)、研究方案注册(注册号、注册日期、注册网址)、研究方案(版本号、版本日期)、研究方案贡献者(姓名、职称、单位)、基金支持(编号、来源)、数据使用协议(数据使用协议标识符、数据提供者、数据提供者联系方式)、人体受试者伦理批准(批件文号、批准日期、伦理审查委员会名称)。如果对先前研究方案进行了修订,需要记录更改内容、更改原因以及更改时间(见附件表1)。
案例没有报告研究方案相关描述。
3.2 研究设计
案例提供了队列研究设计图,明确报告了索引日期、随访时间、纳入/排除标准评估窗口、协变量评估窗口、联合用药时间窗口以及暴露时间窗。
使用Schneeweiss等[16]提出的框架创建研究设计图,研究设计图以直观的方式展示了从纵向医疗保健数据库中创建分析性队列研究的过程,见图1。垂直箭头表示第0天,即研究设计所需明确规定的起始点。并围绕该主要时间锚点定位基线和后续时间窗口。水平条形图的大小和位置直观地显示了洗脱窗口、纳入/排除标准评估窗口、协变量评估窗口以及随访的评估时间窗口,第0天是否包含在某个评估窗口中,也可以通过它是否与代表队列开始日期的垂直箭头重叠来直观地区分。每个条形图内的数字使用标准的数学符号来明确表示时间范围。该图还可以有脚注,来方便提供关于在每个评估窗口中定义的内容细节。图1可清晰地说明患者如何以及何时纳入队列研究、基线特征的定义以及随访时间何时开始和结束。
3.3 研究人群
选择研究人群的数据源、研究周期、数据提取日期、数据链接、以及用于创建队列研究的数据管理软件或元数据的版本等内容。还包括统计软件程序以及所应用的抽样方法(例如,数据分割仅包括被诊断为糖尿病的患者)。如果涉及到数据链接,对链接方法以及数据链接的性能特征等信息需提供参考文献或附录加以描述(见附件表2)。
案例旨在纳入所有在2020年3月1日至7月31日期间入院的新冠肺炎患者,数据为美国退伍军人事务部的电子健康记录数据,采用软件SQL Server Management Studio(SSMS)v17.4进行数据管理,没有提供数据提取日期和数据链接。
3.4 模板剩余部分内容
本模板的其余部分详细说明了索引日期、暴露因素、纳入或排除标准、协变量、研究结局以及随访时间。表格下面的题注总结了测量内容、测量时间、场所(如住院、门诊、急诊科)、用于识别变量的编码类型(如药物、诊断、程序或实验室编码),以及算法的来源(如参考文献、临床医生调查)。对于基于诊断代码的算法,该模板有专门的部分以供研究人员决定是否限制主要诊断编码(表明该编码是患者就诊的主要原因)。
3.4.1 索引日期
索引日期定义为受试者被纳入队列研究人群的日期(见附件3B。一般是第0天为确定纳入研究人群的日期。本部分还包括研究人群名称、第0天描述、指定患者入组次数、参加人数、类型(说明纳入研究人群的标准是否反映了新发病、现患病或其他情况)、事件(事件被定义为研究人群被纳入研究)发生的洗脱窗口,以及定义事件发生(例如,使用药物的研究对象或新诊断为特定疾病的研究对象)。
案例定义索引日期为住院日期。
3.4.2 纳入和排除标准
描述纳入和排除标准,明确纳入和排除标准是在选择研究人群入组的日期之前还是之后应用。某些情况下,研究对象可能存在多个时间点均能符合纳入或排除标准。当使用医疗保健数据源时,常将患者观察时间作为一个纳入标准。当使用行政索赔数据时,可以考虑用保险覆盖范围内的登记日期。当使用电子健康记录数据时,定义患者观察时间可能需要做出一些强有力的假设。例如,假设患者的接触总是可观察的,患者在记录中第一次和最后一次记录之间可观察到,患者在任何有记录的接触之前和之后都可观察某段时间(见附件3C~3D)。
案例中描述了纳入和排除标准,纳入所有在2020年3月1日至7月31日期间入院,并在入院前14天内通过实验室SARS-CoV-2检测结果为阳性的患者。排除没有护理史(定义为2020年3月1日前两年至少有一次门诊或住院患者),在入院前30天接受抗凝治疗(以减轻抗凝药物普遍使用的效果),在入院后24小时内接受红细胞输血(活动性出血或严重贫血可能是使用抗凝药物的禁忌症),或在入院后24小时内出现任何结果(在本研究中没有机会被归类为接受抗凝治疗的患者)。
3.4.3 协变量
定义变量类型(例如连续变量、分类变量及二分类变量等),提供关于数据转换的更多细节的选项。该模板包括预先定义的协变量(基于先前知识预先定义的,由研究者在方案中预先指定和定义的变量,如年龄、性别等)和依据经验定义的协变量(没有由研究者预先指定的,而是基于对数据应用算法的变量),其中提供了源代码或通过数据驱动进行协变量筛选的算法(例如高维倾向评分算法)。在整个表中,字段表示研究参数是否预先指定,以及在敏感性分析中是否不同(见附件3E~3F)。
案例详细列出了协变量,包括年龄、种族、民族、性别、城市或农村居住、美国人口普查地区、临床共病、查尔森合并症指数和药物使用等。
3.4.4 结果
定义主要结果与结果测量特征(敏感性、特异性)。结果测量性能可通过已发表分析性队列研究结果的文献直接验证,研究人员也可以明确地指出没有关于结果确定的准确性的信息。本节还规定了结果类型、医疗场所和诊断人员。任何针对选择研究人群编码或算法进行的验证研究均应标注引用的参考文献。需提供已发表文献中的结果算法特征(如PPV、敏感性、特异性)或研究人群中的结果验证(病例回顾)。如果为本研究实施的验证方法没有在其他地方发表,则需要提供验证方法的细节和结果(见附件3G)。
案例详细说明主要结果为入院后30天内的死亡率,其中包括住院死亡(住院期间的死亡)和出院后发生的死亡,次要结果是住院患者死亡率和开始抗凝治疗。
3.4.5 随访
在随访部分中,研究人员确定了相对于索引日期(第0天)的随访时间是何时开始以及如何结束的,这可以指导研究人员考虑每个选项,并让审查人员清楚什么适合用作审查标准。如果随访停止,表单内容需要包括暴露持续时间、暴露结束时间、具体决定如何处理早期填补,或为暴露效应假设的生物窗口建立一个诱导窗口,或在暴露结束后对药物效应的延续效应(见附件3H)。
案例将随访截止时间设为结果事件发生时间(最多30天或2020年8月30日)
3.4.6 数据分析
数据分析方法,包括假设检验、主要结果分析、亚组分析、分析软件、模型拟合、调整混杂的方法、缺失数据处理方法(例如,排除性别缺失或未知的患者,以及对缺失的总胆固醇值的多重推断)。并说明一些参数(如匹配比和卡尺、权重公式、修剪和截断规则),见附件表4。
案例采用倾向性评分模型进行数据分析,数据分析工具为SAS和Stata统计软件,同时报告了假设检验、主要结果分析、调整混杂的方法和缺失数据处理方法。
3.4.7 敏感性分析
提供了一个单独的敏感性分析表格,研究人员可以指定哪些参数改变,为它们的变化提供了理论基础,研究人员将敏感性分析结果与主要分析结果相比从而得到结论是否稳健(见附件表5)。
案例进行了敏感性分析。
3.4.8 其他表
损耗表展示了运用每项纳入或排除标准后保留的患者数量(见附件表6),损耗表的确切内容可能根据计算的类型而不同。功效和样本量估算表(见附件表7),选择合适的样本量和计算功效对于科学研究的可行性和准确性至关重要。术语表可以统一术语,有助于避免误解和混淆,有利于调查人员和审查员使用的术语标准化(见附件表8)。还包括一个缩略表(见附件表9)。
案例中未提供损耗表、功效和样本量估算表和术语表的相关内容。
模板表格应始终附带附件,其中包含特定的临床代码列表(例如国际疾病分类第九次修订版临床修改版、当前程序术语、临床术语)用于定义研究入选标准或暴露、纳入或排除、混杂因素、结果,代码是结构化的为机器可读或可写。如果相关,这些表还可以另外附带附件,详细说明从源数据到公共数据模型转换过程中做出的决定,提供关于数据链接或其他数据处理步骤的更多信息,以及包含或提供用于创建和分析研究人群的代码链接。
4 清单
模板主要侧重于研究实施决策,可以根据不同的研究设计、数据来源灵活使用表中的一些内容。可以按照STaRT-RWE清单表(见表1)综合系统评估一系列真实世界研究内容报告的完整性,可以分为全部报告、部分报告和没有报告,也可以报告一项真实世界研究的具体内容。Khambholja等[17]已使用STaRT-RWE清单表对54项真实世界研究文献报告质量进行评估,大多数研究中最常见的报告条目是伦理和基金,最常见的未报告条目包括研究设计图、敏感性分析、损耗表和样本量估算。

5 讨论
RWE研究决策者考虑医疗产品的有效性和安全性的一个关键障碍是缺乏复杂设计、实施过程和数据分析的细节。STaRT-RWE为研究人员提供了研究设计、实施和审查的结构化流程模板,有助于研究人员就判断RWD是否适合决策目的达成一致,从而为研究人员、赞助者、审查员和医疗保健决策者提供了有力工具。STaRT-RWE附有详细的表格,通过提供一种结构化的方式来展示复杂的RWE研究设计和实施细节,从而与试验设计相平行。该模板的目标不是将如何进行RWE研究的方式标准化,而是为研究人员提供一个框架,通过细化研究设计和数据分析内容,对决策达到一致认同。STaRT-RWE不仅是一个报告规范检查表,还可以通过提供指导和共同结构来补充现有的检查表,以帮助研究团队在规划和传达预期科学决策的关键细节时保持清晰和全面。
除STaRT-RWE外,目前还有5个与提高RWE研究透明度和可重复性相关的实践指南和检查清单:① 2008年ISPE发布的良好的药物流行病学实践规范中的方案制定指南(ISPE-GPP)[18],规范药物RWS的研究标准和流程;② 2012年欧洲药品管理局发布的良好的药物警戒规范指南模块Ⅷ-上市后安全性研究模板(EMA-GVP Module Ⅷ-PASS)[19],用于指导非干预性PASS研究方案;③ 2019年美国辉瑞公司联合哥伦比亚大学梅尔曼公共卫生学院流行病学系等发布的为产生有效和透明的RWE而制定的结构化的涵盖审批前和审批后的比较研究设计框架[20],为审批前和审批后比较研究设计提供框架;④ 2020年美国国家卫生技术评估系统方案制定指南[21],可为采纳RWE用于支持FDA监管产品上市许省时间和成本;⑤ 2021年美国 Aetion公司联合美国杜兰公共卫生和热带医学学院等发布的识别适合研究目的的结构化流程[22],用于RWS可行性评估。STaRT-RWE补充了SPACE遗漏的方面,相比于其他标准化模板,其提供了更为详细的模板用以获取最终研究设计和实施细节(例如每个研究变量的特定算法)。
Wang等[23,24]带领的研究团队一直致力于提高RWE研究透明化的研究,在该领域具有丰富的研究经验。现有报告规范未对电子健康医疗记录、登记数据或其他医疗保健数据源中所包含的结构化和非结构化信息加以区分。Wang等[25]提出并制订《使用非结构化电子健康数据开展真实世界比较效果和安全性研究的报告规范》,旨在鼓励适当使用基于自然语言处理或机器学习算法从电子健康记录数据提取的非结构化文本信息进行RWE研究,提高研究报告的透明度。2022年该团队在总结既往发布的方案模板基础上(包括ISPE-GPP、EMA-GVP Module Ⅷ-PASS、NEST和STaRT-RWE)又提出了一个新的综合模板,即增强可重复性的草案模板(the harmonized protocol template to enhance reproducibility,HARPER)[26],以提高RWE研究的可重复性。
STaRT-RWE模板主要侧重于研究实施决策。表单中罗列的结构可能不适用于全部案例,使用者可以根据研究目的和设计灵活选择表单中的内容。值得一提的是,强调使用研究实施模板来指导研究计划并提供明确的科学决策并不能保证这些决策将产生没有偏倚的结果。但可提高医疗保健决策者有效评估RWE研究的能力。该模板研究设计和实施细节详细,但不能替代药物流行病学家和方法学家,研究者依旧需要培训和学习专业知识。
临床试验属于前瞻性干预性研究,一般是指随机对照试验(randomized controlled trial,RCT),是医疗干预措施评价的金标准[1]。而真实世界研究(real world study,RWS)与传统临床试验不同,它可以利用随机化或非随机研究为特定研究目的的前瞻性收集的数据,但大多数使用作为常规医疗保健过程的一部分(如医院电子病历数据、医疗索赔、医保数据等)电子数据[2]。真实世界研究是基于现实临床诊疗环境下收集的患者数据,因此外部真实性更高[3],产生的证据有助于弥补指南外部有效性不足,缩短指南与临床决策之间的距离,可为临床决策或医疗保健决策提供更符合临床实际的依据[4]。真实世界证据(real world evidence,RWE)越来越多地用于生成关于医疗产品或干预措施的安全性和有效性的支持性证据,但由于RWS常缺乏严格的条件控制,与前瞻性收集数据的临床试验和非实验研究相比,使用常规收集的电子医疗数据的研究在设计和数据分析方面具有更大的可变性,其结果更容易受到混杂因素和偏倚风险的影响,有可能导致产生高主观偏倚的结果和质量偏低的RWE,因此,推动RWS透明化十分必要[5]。
规范报告研究结果是真实世界研究透明化的关键环节[5],规范的报告可提高RWE研究结果的透明度、可重复性和准确性。许多研究者意识到这个问题,并为研究报告制订了指南和检查清单,如RECORD(reporting of studies conducted using routinely collected data)清单和GRACEG(good research for comparative effectiveness)清单[6],现有的指南和清单已经对报告哪些主要要素及重要性达成了强有力的共识。然而,这些报告清单采用通用模板,但在计划和实施RWE研究时,它们可能导致操作时的模棱两可或错误解读。近些年来,利用电子健康记录(electronic health records,EHR)等常规收集的卫生数据开展真实世界有效性与安全性的研究越来越多地影响药品上市后再评价、医保报销和医疗保健决策[7]。因此,为了有一个基础模板来评估和区分有用的、严格设计的研究和涉及有效性问题的研究,国际人用药品注册技术协调会(the International Council for Harmonization,ICH)为RWE研究的安全性和有效性报告推出了RWE研究实施计划和报告的结构化模板(structured template and reporting tool for real world evidence,STaRT-RWE)[8]。该模板是由美国哈佛大学医学院附属布莱根和妇女医院Wang教授带领的团队与国际范围内的利益相关方广泛合作制订,于2021年1月发表在BMJ杂志,该模板拓展了SPACE(structured pre-approval and post-approval comparative study design framework to generate valid and transparent real-world evidence)框架的功能,提供了详细化的模板来规范展示最终的研究设计和实施细节,有助于设计和开展可靠的RWE研究,解决RWE研究方法的透明度差距,提高特异性,实现数据的可获得性,并帮助阅读者快速查找关键信息。它旨在用于医疗产品的有效性和安全性研究。该模板适用于多个研究设计、数据来源、报告指南和偏倚评估方法。本文将对STaRT-RWE 的所有要点进行解读和介绍,并结合实例进行分析,旨在帮助研究人员更好地理解和应用该报告规范,促进RWE研究的可重现性及有效进行科学评估和证据的合成,以期提高RWE研究的报告质量。
1 制订
关于RWE研究实施的结构化模板中要求的详细研究参数来自于国际药物流行病学会(International Society for Pharmacoepidemiology,ISPE)和国际药物经济学和结局研究协会(International Society for Pharmacoeconomics and Outcome Research,ISPOR)成立的联合工作组所制订的一份共识文件[9],这份文件中包括了具体参数的详细目录,详细报告参数是RWE研究可重复的必要条件,可提高透明度并促进对有效性的评估。这些参数很多作为研究人员应该提供细节的部分,已被纳入现有的报告清单中。Wang等引用了ISPE-ISPOR联合工作组制订的共识文件中目录部分,总结分析既往发布的报告清单如RECORD-PE[10]和欧洲药物流行病学和药物警戒中心网络(European Network of Centres for Pharmacoepidemiology and Pharmacovigilance,ENCePP)发布的指导文件[11],针对已发布的质量评估工具[12-14]提出了一个新的结构化模板,以确保涵盖了评估有效性的所有关键要素,并与利益相关者和专家进行了焦点小组访谈,向ISPE和透明度倡议组织的成员们(由ISPE-ISPOR联合工作组、马戈利斯健康政策中心和美国国家医药委员会合作组成的多方利益相关者小组)寻求意见,得到了ISPE和透明度倡议组织的认可,最终确定了STaRT-RWE模板的内容。
2 STaRT-RWE模板的特点
该模板详细描述了研究参数,以及纵向研究设计的图形,即如何将研究设计过程中的细节被可视化地总结在一个图形内。使用该模板有助于增加RWE研究的严谨性,并有利于决策者对RWE方法的理解和对结果的解释。STaRT-RWE目的包括:① 用作设计和开展良好可重复RWE研究的指导工具;② 为RWE方法的沟通树立明确的期望;③ 减少对缺乏特异性的错误解释;④ 允许审阅者快速找到关键信息;⑤ 促进研究可重复性,有效性评估和证据合成。如果在注册RWE研究方案时使用或公开发表了相应的STaRT-RWE模板,研究发表时可以在文章中引用,也可以作为补充材料发表。
STaRT-RWE模板的原作者也从价值、挑战以及主要可用性的问题等方面对STaRT-RWE模板进行了解析,以帮助研究者了解该模板究竟能解决什么问题。例如,在研究者与监管者之间的沟通中,该模板被监管者视为一种教学工具,可以帮助研究者明确研究目的,并帮助双方达成一致。
3 STaRT-RWE要点解读与实例
为了与联合ISPE-ISPOR特别工作组共识文件中确定的要素紧密一致,该模板包括了下面详细介绍的几个表格(见附件)及同时带有示例条目的模板表,以显示如何完成这些表,从而进行药物流行病学中从时间到结局事件的比较队列研究。在实践过程中,模板表格条目将取决于研究设计类型和分析参数。在填写完成模板表格之后,可以删除模板表头详细的文本说明。模板表格内容主要包括管理信息、研究设计、研究人群参数(数据源和软件的元数据、索引日期、纳入和排除标准、预定义和经验定义的协变量、结果、随访)、数据分析(主要分析、次要分析、亚组分析)、敏感性分析、损耗以及功率和样本量计算。本研究以2021年BMJ发表的“early initiation of prophylactic anticoagulation for prevention of coronavirus disease 2019 mortality in patients admitted to hospital in the United States: cohort study”研究[15]为例(以下简称“案例”),针对每个条目进行案例解读,便于读者理解。
3.1 管理信息
包括研究方案标题、研究的主要目标和次要目标(研究对象、干预措施、对照措施、结果、时间范围、研究设计)、研究方案注册(注册号、注册日期、注册网址)、研究方案(版本号、版本日期)、研究方案贡献者(姓名、职称、单位)、基金支持(编号、来源)、数据使用协议(数据使用协议标识符、数据提供者、数据提供者联系方式)、人体受试者伦理批准(批件文号、批准日期、伦理审查委员会名称)。如果对先前研究方案进行了修订,需要记录更改内容、更改原因以及更改时间(见附件表1)。
案例没有报告研究方案相关描述。
3.2 研究设计
案例提供了队列研究设计图,明确报告了索引日期、随访时间、纳入/排除标准评估窗口、协变量评估窗口、联合用药时间窗口以及暴露时间窗。
使用Schneeweiss等[16]提出的框架创建研究设计图,研究设计图以直观的方式展示了从纵向医疗保健数据库中创建分析性队列研究的过程,见图1。垂直箭头表示第0天,即研究设计所需明确规定的起始点。并围绕该主要时间锚点定位基线和后续时间窗口。水平条形图的大小和位置直观地显示了洗脱窗口、纳入/排除标准评估窗口、协变量评估窗口以及随访的评估时间窗口,第0天是否包含在某个评估窗口中,也可以通过它是否与代表队列开始日期的垂直箭头重叠来直观地区分。每个条形图内的数字使用标准的数学符号来明确表示时间范围。该图还可以有脚注,来方便提供关于在每个评估窗口中定义的内容细节。图1可清晰地说明患者如何以及何时纳入队列研究、基线特征的定义以及随访时间何时开始和结束。
3.3 研究人群
选择研究人群的数据源、研究周期、数据提取日期、数据链接、以及用于创建队列研究的数据管理软件或元数据的版本等内容。还包括统计软件程序以及所应用的抽样方法(例如,数据分割仅包括被诊断为糖尿病的患者)。如果涉及到数据链接,对链接方法以及数据链接的性能特征等信息需提供参考文献或附录加以描述(见附件表2)。
案例旨在纳入所有在2020年3月1日至7月31日期间入院的新冠肺炎患者,数据为美国退伍军人事务部的电子健康记录数据,采用软件SQL Server Management Studio(SSMS)v17.4进行数据管理,没有提供数据提取日期和数据链接。
3.4 模板剩余部分内容
本模板的其余部分详细说明了索引日期、暴露因素、纳入或排除标准、协变量、研究结局以及随访时间。表格下面的题注总结了测量内容、测量时间、场所(如住院、门诊、急诊科)、用于识别变量的编码类型(如药物、诊断、程序或实验室编码),以及算法的来源(如参考文献、临床医生调查)。对于基于诊断代码的算法,该模板有专门的部分以供研究人员决定是否限制主要诊断编码(表明该编码是患者就诊的主要原因)。
3.4.1 索引日期
索引日期定义为受试者被纳入队列研究人群的日期(见附件3B。一般是第0天为确定纳入研究人群的日期。本部分还包括研究人群名称、第0天描述、指定患者入组次数、参加人数、类型(说明纳入研究人群的标准是否反映了新发病、现患病或其他情况)、事件(事件被定义为研究人群被纳入研究)发生的洗脱窗口,以及定义事件发生(例如,使用药物的研究对象或新诊断为特定疾病的研究对象)。
案例定义索引日期为住院日期。
3.4.2 纳入和排除标准
描述纳入和排除标准,明确纳入和排除标准是在选择研究人群入组的日期之前还是之后应用。某些情况下,研究对象可能存在多个时间点均能符合纳入或排除标准。当使用医疗保健数据源时,常将患者观察时间作为一个纳入标准。当使用行政索赔数据时,可以考虑用保险覆盖范围内的登记日期。当使用电子健康记录数据时,定义患者观察时间可能需要做出一些强有力的假设。例如,假设患者的接触总是可观察的,患者在记录中第一次和最后一次记录之间可观察到,患者在任何有记录的接触之前和之后都可观察某段时间(见附件3C~3D)。
案例中描述了纳入和排除标准,纳入所有在2020年3月1日至7月31日期间入院,并在入院前14天内通过实验室SARS-CoV-2检测结果为阳性的患者。排除没有护理史(定义为2020年3月1日前两年至少有一次门诊或住院患者),在入院前30天接受抗凝治疗(以减轻抗凝药物普遍使用的效果),在入院后24小时内接受红细胞输血(活动性出血或严重贫血可能是使用抗凝药物的禁忌症),或在入院后24小时内出现任何结果(在本研究中没有机会被归类为接受抗凝治疗的患者)。
3.4.3 协变量
定义变量类型(例如连续变量、分类变量及二分类变量等),提供关于数据转换的更多细节的选项。该模板包括预先定义的协变量(基于先前知识预先定义的,由研究者在方案中预先指定和定义的变量,如年龄、性别等)和依据经验定义的协变量(没有由研究者预先指定的,而是基于对数据应用算法的变量),其中提供了源代码或通过数据驱动进行协变量筛选的算法(例如高维倾向评分算法)。在整个表中,字段表示研究参数是否预先指定,以及在敏感性分析中是否不同(见附件3E~3F)。
案例详细列出了协变量,包括年龄、种族、民族、性别、城市或农村居住、美国人口普查地区、临床共病、查尔森合并症指数和药物使用等。
3.4.4 结果
定义主要结果与结果测量特征(敏感性、特异性)。结果测量性能可通过已发表分析性队列研究结果的文献直接验证,研究人员也可以明确地指出没有关于结果确定的准确性的信息。本节还规定了结果类型、医疗场所和诊断人员。任何针对选择研究人群编码或算法进行的验证研究均应标注引用的参考文献。需提供已发表文献中的结果算法特征(如PPV、敏感性、特异性)或研究人群中的结果验证(病例回顾)。如果为本研究实施的验证方法没有在其他地方发表,则需要提供验证方法的细节和结果(见附件3G)。
案例详细说明主要结果为入院后30天内的死亡率,其中包括住院死亡(住院期间的死亡)和出院后发生的死亡,次要结果是住院患者死亡率和开始抗凝治疗。
3.4.5 随访
在随访部分中,研究人员确定了相对于索引日期(第0天)的随访时间是何时开始以及如何结束的,这可以指导研究人员考虑每个选项,并让审查人员清楚什么适合用作审查标准。如果随访停止,表单内容需要包括暴露持续时间、暴露结束时间、具体决定如何处理早期填补,或为暴露效应假设的生物窗口建立一个诱导窗口,或在暴露结束后对药物效应的延续效应(见附件3H)。
案例将随访截止时间设为结果事件发生时间(最多30天或2020年8月30日)
3.4.6 数据分析
数据分析方法,包括假设检验、主要结果分析、亚组分析、分析软件、模型拟合、调整混杂的方法、缺失数据处理方法(例如,排除性别缺失或未知的患者,以及对缺失的总胆固醇值的多重推断)。并说明一些参数(如匹配比和卡尺、权重公式、修剪和截断规则),见附件表4。
案例采用倾向性评分模型进行数据分析,数据分析工具为SAS和Stata统计软件,同时报告了假设检验、主要结果分析、调整混杂的方法和缺失数据处理方法。
3.4.7 敏感性分析
提供了一个单独的敏感性分析表格,研究人员可以指定哪些参数改变,为它们的变化提供了理论基础,研究人员将敏感性分析结果与主要分析结果相比从而得到结论是否稳健(见附件表5)。
案例进行了敏感性分析。
3.4.8 其他表
损耗表展示了运用每项纳入或排除标准后保留的患者数量(见附件表6),损耗表的确切内容可能根据计算的类型而不同。功效和样本量估算表(见附件表7),选择合适的样本量和计算功效对于科学研究的可行性和准确性至关重要。术语表可以统一术语,有助于避免误解和混淆,有利于调查人员和审查员使用的术语标准化(见附件表8)。还包括一个缩略表(见附件表9)。
案例中未提供损耗表、功效和样本量估算表和术语表的相关内容。
模板表格应始终附带附件,其中包含特定的临床代码列表(例如国际疾病分类第九次修订版临床修改版、当前程序术语、临床术语)用于定义研究入选标准或暴露、纳入或排除、混杂因素、结果,代码是结构化的为机器可读或可写。如果相关,这些表还可以另外附带附件,详细说明从源数据到公共数据模型转换过程中做出的决定,提供关于数据链接或其他数据处理步骤的更多信息,以及包含或提供用于创建和分析研究人群的代码链接。
4 清单
模板主要侧重于研究实施决策,可以根据不同的研究设计、数据来源灵活使用表中的一些内容。可以按照STaRT-RWE清单表(见表1)综合系统评估一系列真实世界研究内容报告的完整性,可以分为全部报告、部分报告和没有报告,也可以报告一项真实世界研究的具体内容。Khambholja等[17]已使用STaRT-RWE清单表对54项真实世界研究文献报告质量进行评估,大多数研究中最常见的报告条目是伦理和基金,最常见的未报告条目包括研究设计图、敏感性分析、损耗表和样本量估算。

5 讨论
RWE研究决策者考虑医疗产品的有效性和安全性的一个关键障碍是缺乏复杂设计、实施过程和数据分析的细节。STaRT-RWE为研究人员提供了研究设计、实施和审查的结构化流程模板,有助于研究人员就判断RWD是否适合决策目的达成一致,从而为研究人员、赞助者、审查员和医疗保健决策者提供了有力工具。STaRT-RWE附有详细的表格,通过提供一种结构化的方式来展示复杂的RWE研究设计和实施细节,从而与试验设计相平行。该模板的目标不是将如何进行RWE研究的方式标准化,而是为研究人员提供一个框架,通过细化研究设计和数据分析内容,对决策达到一致认同。STaRT-RWE不仅是一个报告规范检查表,还可以通过提供指导和共同结构来补充现有的检查表,以帮助研究团队在规划和传达预期科学决策的关键细节时保持清晰和全面。
除STaRT-RWE外,目前还有5个与提高RWE研究透明度和可重复性相关的实践指南和检查清单:① 2008年ISPE发布的良好的药物流行病学实践规范中的方案制定指南(ISPE-GPP)[18],规范药物RWS的研究标准和流程;② 2012年欧洲药品管理局发布的良好的药物警戒规范指南模块Ⅷ-上市后安全性研究模板(EMA-GVP Module Ⅷ-PASS)[19],用于指导非干预性PASS研究方案;③ 2019年美国辉瑞公司联合哥伦比亚大学梅尔曼公共卫生学院流行病学系等发布的为产生有效和透明的RWE而制定的结构化的涵盖审批前和审批后的比较研究设计框架[20],为审批前和审批后比较研究设计提供框架;④ 2020年美国国家卫生技术评估系统方案制定指南[21],可为采纳RWE用于支持FDA监管产品上市许省时间和成本;⑤ 2021年美国 Aetion公司联合美国杜兰公共卫生和热带医学学院等发布的识别适合研究目的的结构化流程[22],用于RWS可行性评估。STaRT-RWE补充了SPACE遗漏的方面,相比于其他标准化模板,其提供了更为详细的模板用以获取最终研究设计和实施细节(例如每个研究变量的特定算法)。
Wang等[23,24]带领的研究团队一直致力于提高RWE研究透明化的研究,在该领域具有丰富的研究经验。现有报告规范未对电子健康医疗记录、登记数据或其他医疗保健数据源中所包含的结构化和非结构化信息加以区分。Wang等[25]提出并制订《使用非结构化电子健康数据开展真实世界比较效果和安全性研究的报告规范》,旨在鼓励适当使用基于自然语言处理或机器学习算法从电子健康记录数据提取的非结构化文本信息进行RWE研究,提高研究报告的透明度。2022年该团队在总结既往发布的方案模板基础上(包括ISPE-GPP、EMA-GVP Module Ⅷ-PASS、NEST和STaRT-RWE)又提出了一个新的综合模板,即增强可重复性的草案模板(the harmonized protocol template to enhance reproducibility,HARPER)[26],以提高RWE研究的可重复性。
STaRT-RWE模板主要侧重于研究实施决策。表单中罗列的结构可能不适用于全部案例,使用者可以根据研究目的和设计灵活选择表单中的内容。值得一提的是,强调使用研究实施模板来指导研究计划并提供明确的科学决策并不能保证这些决策将产生没有偏倚的结果。但可提高医疗保健决策者有效评估RWE研究的能力。该模板研究设计和实施细节详细,但不能替代药物流行病学家和方法学家,研究者依旧需要培训和学习专业知识。