期刊检索:
  中国药事   2019, Vol. 33 Issue (12): 1371-1376.  DOI: 10.16153/j.1002-7777.2019.12.006
0

监督管理

引用本文 [复制中英文]

毛歆, 王青, 蔡海燕, 王春仁. 层次分析法在“两品一械”监管重点实验室评价指标权重确定中的应用[J]. 中国药事, 2019, 33(12): 1371-1376. DOI: 10.16153/j.1002-7777.2019.12.006.
[复制中文]
Mao Xin, Wang Qing, Cai Haiyan, Wang Chunren. Application of Analytic Hierarchy Process in Determining the Weights of Evaluation Indicators of Key Laboratories for the Regulation of Pharmaceuticals Cosmetics and Medical Devices[J]. Chinese Pharmaceutical Affairs, 2019, 33(12): 1371-1376. DOI: 10.16153/j.1002-7777.2019.12.006.
[复制英文]

作者简介

毛歆, 博士研究生, 副主任药师; 研究方向:实验室质量管理; Tel:(010)53852595;E-mail:maoxin@nifdc.org.cn

文章历史

收稿日期:2019-05-05
层次分析法在“两品一械”监管重点实验室评价指标权重确定中的应用
毛歆 , 王青 , 蔡海燕 , 王春仁     
中国食品药品检定研究院, 北京 102629
摘要目的 应用层次分析法(Analytic Hierarchy Process,AHP)确定国家药品监督管理局药品、化妆品和医疗器械监管重点实验室评价体系各指标权重,为评价提供基础数据支撑。方法 在现有评价指标体系的基础上,依据评分细则中对各指标的重要性评分,构建判断矩阵,运用层次分析法确定一、二级指标权重。结果 基础条件、人才队伍、近五年内科学研究及成果、服务监管能力和社会贡献5个一级指标的权重分别为0.0646、0.0646、0.3579、0.3579和0.1549,模型具有较好的一致性和满意度,一级指标CI为0.014,CR为0.01,二级指标各项CI和CR值均小于0.1。结论 指标权重合理体现了各指标在重点实验室综合能力组成中的相对重要程度,为国家药品监督管理局重点实验室评估提供了量化的评价依据,也为统一专家评分和实验室自评尺度以及机构间的横向比较奠定了基础,具有较高实践应用价值。
关键词重点实验室    评价    指标    层次分析法    权重    
Application of Analytic Hierarchy Process in Determining the Weights of Evaluation Indicators of Key Laboratories for the Regulation of Pharmaceuticals Cosmetics and Medical Devices
Mao Xin , Wang Qing , Cai Haiyan , Wang Chunren     
National Institutes for Food and Drug Control, Beijing 102629, China
Abstract: Objective To determine the weights of the indicators in the evaluation system of the key laboratories for the regulation of pharmaceuticals, cosmetics and medical devices of National Medical Products Administration (NMPA) by applying analytic hierarchy process (AHP), so as to provide basic data support for evaluation. Methods Based on the existing evaluation indicator system, and the importance scores of each indicator in the rubrics, judgment matrixes were constructed, and the weights of the primary and secondary indicators were determined by AHP. Results The weights for the primary indicators, such as basic conditions, the talent team, the scientific research and achievements in the past five years, the capability for serving regulation and the social contribution were 0.0646, 0.0646, 0.3579, 0.3579 and 0.1549, respectively. The model had good consistency and satisfaction. CI was 0.014 and CR was 0.01 for the primary indicator, and the CI and CR values of the secondary indicators were both less than 0.1. Conclusion The weights for the indicators reasonably reflect the relative importance of each indicator in the comprehensive competence evaluation for key laboratories, and provide a quantitative evaluation basis for the evaluation of key laboratories of NMPA. They also lay the foundation for unified expert scoring and laboratory self-evaluation scales and the horizontal comparison between institutions and have high practical application value.
Keywords: key laboratories    evaluation    indicator    AHP    weight    

重点实验室是科学技术创新的重要基地,是开展高水平基础研究和应用研究、促进科技成果转化、聚集和培养优秀人才、全面提升科学技术能力的平台。为进一步强化食品药品监管工作的技术支撑和技术储备,2017年10月,原国家食品药品监督管理总局发布了《国家食品药品监督管理总局重点实验室管理办法》(食药监科〔2017〕86号)[1],并于2018年1月发布了《国家食品药品监督管理总局重点实验室总体规划(2018-2020年)》(食药监科〔2018〕8号)[2],明确了药品、化妆品及医疗器械(以下简称“两品一械”)监管重点实验室规划建设的指导思想、基本原则、阶段目标、建设任务等,提出了各类重点实验室的设置领域和研究重点。

国家药品监督管理局本着“公平、公正、公开”的原则推进重点实验室评定工作,程序:依托单位自愿申请→省级药监局对申请材料进行初审→重点实验室管理办公室秘书处对材料进行终审→专家对拟申请重点实验室的答辩进行评议→专家对拟申请的重点实验室进行现场核查→评定委员会进行评定→国家药监局进行公示、公布。

对重点实验室的评定本质上是对拟申报的实验室的综合能力进行评定。目前,国内各行业的重点实验室评定都采用设置权重化评估指标体系对评估要点进行直接打分的形式,如:科技部的国家重点实验室评估指标体系共包括研究水平与贡献、队伍建设与人才培养、开放交流与运行管理三个方面,分别占50%、30%和20%的权重。在“两品一械”监管重点实验室评价过程中,为建立更加科学合理且标准量化的评价方式,本研究采用目前使用较多的层次分析法来细化每个指标的权重。层次分析法是美国著名运筹学家萨迪(A.L.Saaty)在20世纪70年代提出的,是一种在处理复杂的决策问题时进行方案比较排序的系统分析方法,是一种定性和定量相结合、主观与客观相结合、系统化、层次化的分析方法[3-4]。该方法从专家的主观判断出发,在数据处理过程中又逐步剔除主观性,将结果定量化地表达和处理,因此,较其他评价方法有较大的优势。

1 对象与方法 1.1 对象

本研究使用的“两品一械”监管重点实验室评价指标体系是依据《国家食品药品监督管理总局重点实验室评定条件》(《国家食品药品监督管理总局重点实验室管理办法》附件1)中所设置的指标而建立的,由基础条件、人才队伍、近五年内科学研究及成果、服务监管能力和社会贡献5个一级指标及所辖的实验场所、仪器设备等30个二级指标构成。

1.2 方法 1.2.1 专家咨询[5-6]

遴选20名来自国内“两品一械”监管部门的专家,均从事监管工作10年以上,熟悉专业领域且具有副高以上职称,在评定条件所设置的指标体系的基础上,通过两轮专家咨询建立了现场核查评分表。一、二级指标的赋值均采用层次分析法,按照评分表中各指标的满分,采用两两比较的方法,用Saaty 1~9标度评分标准进行评估赋分[7],见表 1

表 1 层次分析法判断矩阵标度及含义
1.2.2 指标权重的确定

以评分表中各指标的满分为基础,构建比较判断矩阵,按照公式计算初始权重系数,再根据公式计算指标的归一化权重系数。其中aij表示矩阵第i行的第j个数字,n为矩阵列数。

1.3 统计学处理

采用EXCEL进行双录入核查并建立数据库,权重的逻辑性检验采用一致性检验指标为判断矩阵的最大特征根值)来进行,矩阵的一致性检验采用评价随机一致性指标CR=CI/RI,RI值详见表 2。当CR≤0.1时,说明判断矩阵一致性较好,所得的指标权重是可以接受的。

表 2 平均随机一致性指标RI值
2 结果 2.1 指标权重

根据专家咨询后构建的评分表中各指标的分值,构建5个一级指标权重的判断矩阵,进而得到各指标权重系数。基础条件、人才队伍、近五年内科学研究及成果、服务监管能力和社会贡献5个一级指标的权重分别为0.0646、0.0646、0.3579、0.3579和0.1549,具体判断矩阵见图 1。运用同样的方法,可计算各个一级指标所辖的二级指标的归一化权重系数。以一级指标“基础条件”所辖的二级指标为例,其权重系数判断矩阵见图 2。通过计算得到一级和二级指标的权重系数,见表 3

图 1 一级指标权重判断矩阵

图 2 二级指标权重判断矩阵

表 3 重点实验室能力评价指标体系一、二级指标权重
2.2 权重系数一致性检验

根据一致性计算公式,求得一级指标权重系数判断的一致性指数CI为0.014,随机一致性比率CR为0.01;5个一级指标所辖的二级指标权重判断一致性指数CI取值范围为0~0.016,随机一致性比率CR取值范围为0~0.01。各级指标权重CI和CR值均小于0.1,说明判断矩阵具有满意的一致性,专家对各指标权重的判断较可靠。

3 讨论 3.1 确定指标权重的方法

确定评价指标的权重是建立评价方法的一个重要环节。权重,也称权重系数,是指在一个领域中对目标值起权衡作用的数值,它是以某种数量形式,权衡被评价对象中各个要素相对重要程度的量值[8],是指标差异的调节筹码。权重的赋值合理与否,直接影响评价结果的科学合理性。目前,用于确定指标权重的方法大致可分为主观赋权法和客观赋权法两大类。主观赋权法是由专家依据自身经验进行主观判断而得到权重,可采用的分析方法有层次分析法、德尔菲法、模糊分析法等;客观赋权法则是根据历史数据研究指标之间的相关关系或指标与评估结果的关系来进行综合评估,主要有最大熵技术法、主成分分析法、相关系数法等[9]方法。上述两种方法都有相对合理的一面,又有局限的一面,主观赋权法依照经验确定权重系数,容易受到人为因素的影响;客观赋权法完全依赖于数理运算确定权重的大小,又可能会与客观实际脱节[10]。因此,在实际评价工作中,要根据具体的问题采用合理适宜的方法,但无论采用哪种方法,都不能脱离实际情况。

3.2 关于层次分析法在方法学上的优势

本文采用层次分析法确定评估体系指标的权重,在一级指标中,权重大小依次是A3近五年内科学研究及结果和A4服务监管能力、A5社会贡献、A1基础条件和A2人才队伍。权重最大的A3和A4指标权重(0.3579)是权重最小的A1和A2指标权重(0.0646)的5.54倍。在一个实验室中,人员、设备、设施等资源是与依托单位的投入有关,而利用这些资源所取得的成绩或成果,如科研课题等,才是实验室运用和转化资源能力的真实反映。国家药品监督管理局“两品一械”重点实验室的设立目标是通过组织开展该领域的基础研究和应用该研究,带动检验检测水平和技术支撑能力的提升,最终服务于监管。因此,服务监管能力这一指标必然是指标体系中最重要的一级指标之一。在二级指标的组合权重中,权重最大的是B11国家级、省部级项目及经费和B13科技奖励,其次是B25科研成果转化应用,这与设立重点实验室的初衷相吻合,也说明在评估体系中,实验室过去五年所获得的项目课题和取得的科研成果是评估实验室的重点和核心。组合权重次之的是标准制修订和一级指标A3服务监管能力项下的所有二级指标。对“两品一械”标准的制修订是监管部门的重要职能之一,也是提高技术能力、提升整个行业产品水平的重要手段,该项指标权重较高也说明由层次分析法得到的结果与实际情况相吻合。在初始的评分表中,B11国家级、省部级项目及经费,B13科技奖励和B25科研成果转化应用满分均为6分,在达到得分上限的基础上还可能有不同程度的加分,如果实验室的基础分达到了6分,用该评分表是看不出差距的;同样,标准制修订和服务监管能力项下的所有二级指标满分均为5分,但该研究得出的权重,可以明显看出这些指标之间的差距,因此,利用该权重进行评价时也会更科学、更合理。

本文通过层次分析法计算出服务监管能力项下的各个二级指标,其权重均为0.0597,总体排到第四位,与排位第一的项目课题和科技奖励的权重(0.0927)尚有一定的差距。建设药监系统的重点实验室,最终目的就是要让重点实验室“服务于监管、为我所用”。因此,为体现该项指标的重要性,后续可考虑通过专家咨询的方式调整指标权重,以期对申报的实验室有一定的政策引导性。

3.3 本研究的下一步研究方向

从二级指标的涵义来看,B11国家级、省部级项目及经费,B18主要代表性学术成就与B25科研成果转化应用,B20指导和承担检验检测任务与B24承担监管重点任务情况,这几个指标之间涵义略有交叉,导致实验室在准备申请材料时不明确某一份材料该如何归属,也给专家打分评审带来了困难。因此,如何厘清这几个指标之间的关系,如何更加科学、合理地分配权重,也是下一步工作需要关注的问题。

本研究采用层次分析法确定“两品一械”重点实验室评估体系的指标权重,权重分配更为合理,评价起来更为可行有效。构建的一套量化的重点实验室评估体系,可以用于指导和规范未来重点实验室的申报、评估以及建设工作,也为下一步的工作奠定了实践基础。

参考文献
[1]
国家食品药品监督管理总局.食药监科[2017] 86号总局关于印发国家食品药品监督管理总局重点实验室管理办法的通知[EB/OL].(2017-10-10)[2019-04-10]. http://samr.cfda.gov.cn/WS01/CL0852/178487.html.
[2]
国家食品药品监督管理总局.食药监科[2018] 8号总局关于印发国家食品药品监督管理总局重点实验室总体规划(2018-2020年)的通知[EB/OL].(2018-01-19)[2019-04-10]. http://samr.cfda.gov.cn/WS01/CL0852/223265.html.
[3]
胡晓.医院补偿能力评价指标体系研究[D].合肥: 安徽医科大学, 2012.
[4]
乡志忠, 郭删, 赵鹏图, 等. 层次分析法在医疗高危模式与结果分析风险评估的运用[J]. 中国医院管理, 2009, 8(29): 13-14.
[5]
夏萍, 汪凯, 李宁秀, 等. 层次分析法中求权重的一种改进[J]. 中国卫生统计, 2011, 28(2): 151-154. DOI:10.3969/j.issn.1002-3674.2011.02.011
[6]
漆莉, 贾庆良, 孙军, 等. 疾病控制系统应对突发公共卫生事件应急能力评价指标体系研究[J]. 检验医学与临床, 2010, 7(22): 2443-2445. DOI:10.3969/j.issn.1672-9455.2010.22.005
[7]
Saaty TL, Wong MM. Projecting Average Family Size in Rural India by the Analytic Hierarchy Process[J]. J Math Sociol, 1983, 9(3): 181-209. DOI:10.1080/0022250X.1983.9989942
[8]
杨风.突发公共卫生事件医务人员应对能力评价指标选择和初步模型构建[D].广州: 南方医科大学, 2009.
[9]
陈卓敏.大规模伤亡事件过负荷医院护理质量评价指标体系研究[D].上海: 第二军医大学, 2013.
[10]
韦余东, 张人杰, 张新卫, 等. 层次分析法在疾控机构应急能力评价指标权重确定中的应用[J]. 中国预防医学杂志, 2015, 16(10): 770-773.