Kappa系数,在列联表分析中评价一致性(agreement)程度的指标,适用于行与列有相同的分类,分为未加权和加权两种。
例:共40例数据,A和B两个观察者判断其结果阴性或者阳性,分析A与B判断的一致性。
据我说知,一般用于2人评价的契合度,若是3人及以上高维的数据很少见,可以考虑分别每次2人的对比,当然这样会引入误差。
参考资料:
Jacob Cohen (1960), A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37–46.
B. S. Everitt, (1968), Moments of statistics kappa and weighted kappa. The British Journal of Mathematical and Statistical Psychology, 21, 97–103.