Kappa一致性检验 :两种诊断方法的结果是否一致?

一、基础知识

在数据分析或临床工作中,我们会经常遇到检验一致性的问题,如判断不同模型或者诊断方法在预测结果上是否具有一致性,如模型预测的结果与实际结果是否具有一致性,又如两名或多名医生对同一病人的诊断结论是否一致,又如一名医生多次诊断结论是否一致。

 

不同诊断方法诊断得出的结果,除了专业知识外,还有可能是机遇因素导致的。Cohen于1960年提出Kappa分析,Kappa系数是一个用于一致性检验的指标,在考虑了机遇因素对诊断结果一致性的影响。

 

二、软件操作

 

数据准备
下面我们通过一组模拟数据来进行演示。

某医生用a、b两种方法诊断结石,想检验这两种方法的诊断结果是否一致,

此时需要用Kappa一致性检验。

 

 

查看数据

 

 

整理数据

 

 

数据复制粘贴进SPSS(需要SPSS版本在25.0以上)

 

 

修改小数位数,均为0;修改数据类型a、b均为名义,freq频数为标度。

 

数据加权,把freq变量选入加权框。

 

 

分析-描述统计-交叉表

 

a选入行,b选入列,点开统计模块,勾选Kappa;接着点开单元格模块,勾选实测、行、列。

 

 

结果:

 

 

 

 

三、结果解读

 

Kappa=0.534,p<0.001,提示两种方法诊断结果具有一致性,一致性中等。

 

Kappa值判断标准:

 

对kappa的一致性解释是[0,1]之间的,0表示只是因随机而发生的一致,1表示完全一致;那么对kappa取值在[-1,0]之间时,可将其定义为不一致,0表示只是因随机而发生的不一致,-1表示完全不一致。如果遇到kappa为负的情况,就进行不一致性的解释,如“两位医生对200例超声检查结果进行是否结石的诊断存在不一致性,不一致性中等(kappa=-0.509)”。

 

一致性的情况(最常见):

kappa≥0.75,可以认为一致性较好;

0.4<kappa<0.75,说明一致性中等;

kappa≤0.4,则表明一致性较差。

 

不一致性的情况:

kappa≤-0.75,可以认为不一致性明显;

-0.75<kappa<-0.4,说明不一致性中等;

kappa≥-0.4,则表明不一致性较弱。

 

四、知识拓展

 

1、kappa系数考虑了机遇一致率对结果的影响,kappa的取值可以为[-1,1]。若kappa系数小于0,说明观察一致率小于机遇一致率,在实际研究中很少出现。若kappa系数等于0,说明观察一致率等于机遇一致率,结果完全由机遇因素导致。若kappa系数大于0,说明研究对象之间存在一定的一致性,kappa系数越接近1,一致性越大。

2、SPSS软件导入数据的问题

本例中,是把汇总好的数据导入SPSS,之后还要对频数列进行加权,才能接着进行Kappa一致性检验,其实普通卡方检验和配对卡方检验也需要进行一样的操作。
可能有的人会问,这些数据怎么汇总,一个个去数?如果真是一个个数,还真是有点统计学大家的风范,当时有几位统计学金字塔尖的人物为了研究大数定律,分别抛了成千上万次的硬币并记录结果。
上面是开个玩笑哈,其实,不用一个个数,也不用非得以汇总的数据导入软件,完全可以以原始数据的方式,导入SPSS软件,在这种情况,就不用加权了,直接可以进行Kappa一致性检验和卡方检验,而且软件会自动把汇总好的表格呈现出来,我们可以直接用,进一步计算准确率、灵敏度、特异度、阳性预测值和阴性预测值等指标,非常方便。
进行数据导入的时候,赋值最好为数字,无论是0和1,还是1和2,都可以,不要以汉字的形式导入,SPSS软件不支持这种,导入后汉字会显示成缺失值,但变量名可以是中文。

参考资料:

https://baike.sogou.com/v70024376.htm?fromTitle=kappa%E7%B3%BB%E6%95%B0

https://zhuanlan.zhihu.com/p/67844308

https://blog.csdn.net/huipingx/article/details/85019294

统计咨询. kappa还有负值?

王军. Kappa系数在一致性评价中的应用研究[D]. 四川大学, 2006.

宇传华. SPSS与统计分析[M]. 电子工业出版社, 2014.

医咖会. SPSS操作:一致性检验,如何计算Kappa值?

医咖会. 诊断试验之Kappa值该怎么算?

统计与绘图

关于均值95%置信区间的几点说明

2020-9-30 22:59:49

统计与绘图

罕见(零)事件系列方法学研究

2020-9-30 23:08:22

加入Q群
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索