Hvordan beregne en Inter - Rater Avtale

En inter - rater avtalen er et mål på hvor konsekvente målinger er mellom to eller flere observatører (eller " raters ") . For eksempel medisinske forskere bruker ofte en gruppe av leger for å observere og kategorisere effekten av en behandling eksperiment. Måling av konsistens mellom observatører er viktig fordi vi ønsker å være sikker på at eventuelle effekter vi ser er på grunn av vår eksperiment og ikke til store forskjeller mellom observatører . Den primære statistikken brukes til å måle inter- rater avtalen er kalt " kappa . " Instruksjoner
en

Beregn prosent avtalen ved å dividere antall observasjoner som er enige i den totale antall observasjoner . Vurdere eksempel på et eksperiment som involverer 100 pasienter som fikk behandling for astma . To leger blir bedt om å kategorisere pasientene inn i to kategorier: kontrollerte ( Ja) eller ikke kontrollert ( ingen ) astmasymptomer . Resultatene kan se slik ut : arkiv

Begge raters Ja 70

Begge besvarere No 15

Rater # 1 Ja /Rater # 2 No 10

Rater # 1 Nei /Rater # 2 Ja 5 arkiv

antall observasjoner: 100

i dette eksempelet ville prosent avtalen ( Pa ) være antall observasjoner der raters enig ( 70 15 ) delt på de totale observasjoner ( 100 ) , eller 85 prosent . Dette vil bli brukt i telleren i den endelige ligning .
2

Beregn den forventede avtale på grunn av tilfeldigheter . Noen av de observerte avtalen vil være på grunn av ren flaks . Vi kan beregne hvor mye avtalen ville bli sett hvis observasjonene var helt tilfeldig

I vårt eksempel : .

Både Ja 70

Både No 15

# 1Yes /# 2 No 10

# 1 Nei /# 2 Ja 5 arkiv

Antall observasjoner: 100

Dr. # 1 vurdert Yes 80/100 eller 80 prosent av tiden ( 0,80 ) .

Dr. # 1 rangerte nr. 20/100 eller 20 prosent av tiden ( 0,20 ) .

Dr. # 2 rangert Ja 75/100 eller 75 prosent av tiden ( 0,75 ) .

Dr. # 2 rangert nr. ​​25/100 eller 25 prosent av tiden ( 0,25 ) .
P Hvis observasjonene var tilfeldig , ville sannsynligheten for både vurdering Ja være ( 0,80 ) x ( 0,75 ) , eller 60 prosent , og sannsynligheten for både karakter Ikke noe ville være ( 0,15 ) x ( 0,25 ), eller 4 prosent

Så den totale sannsynligheten for enighet skyldes tilfeldigheter ( Pe ) vil være summen av disse. : ( 0,60 ) + ( 0,04 ) , eller 64 prosent . Dette vil bli brukt i telleren og nevneren av den endelige ligningen
3

Beregn kappa ved hjelp av følgende ligning : .

K = ( Pa ) - ( Pe )

---------------

1 - ( Pe )

I vårt eksempel , etter

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) eller 58 prosent arkiv 4

Vurdere kappa å avgjøre om inter- rater avtalen er sterk . En god tommelfingerregel er at Kappas over 80 prosent er utmerket og over 60 prosent er bra. Alt under 60 prosent er vurdert som mindre enn optimal avtale .

I vårt eksempel , er 58 prosent på grensen av god inter - rater reliabilitet , og studere resultatene bør tolkes med dette i tankene .

5

Evaluer kappa for mer enn to raters ved hjelp Fleiss ' beregninger kappa . Dette er en mye mer komplisert beregning som bør gjøres av datamaskinen .