Hva gjør du når testen overrasker?

koronatest ligger på en pakke mundbind
Hvilke konsekvenser har feil resultat på testen?Foto: Guido Hofmann fra Unsplash

MARKEDSFØRING ENKELT FORKLART: Når testen overrasker 

Når vi tar en test, forventer vi at testen viser riktig resultat. Det er ikke alltid tilfelle. Vi kan alle ta feil, iblant. 

I den siste tiden er det mange som tar koronatester. Er vi syke, så bør vi holde oss hjemme. Er vi friske kan vi gå på jobb, skole eller trening. 

Hva skjer når testen viser feil resultat? Noen ganger når vi tar en medisinsk test, så viser testen at du er syk, mens du i virkeligheten er frisk. Det blir omtalt som en falsk positiv test. Andre ganger er det slik at vi faktisk er syke, men testen slår ikke ut. Da er testen falsk negativ.  

Falske positive og falske negative tester 

Den samme utfordringen har vi som jobber med statistikk. Når vi tester en hypotese, tester vi om tallgrunnlaget som vi har samlet inn, støtter eller forkaster hypotesen. I samfunnsvitenskapen er det vanlig å bruke 95 % konfidensintervall. Det betyr at hypotesetesten i 95 % av tilfellene viser riktig resultat. I 5 % av tilfellene tillater vi at testen tar feil. Sagt med andre ord: én av 20 tester er feil. 

I statistikk smakker vi om feil av type 1og type 2. Type 1-feil får vi når testen forkaster en sann hypotese. Det er det samme som en falsk negativ test. Type 2-feil oppstår når testen bekrefter en hypotese som er usann. Det er det samme som en falsk positiv test.  

Det kan være vanskelig å huske hva som er type 1- og type 2-feil. Det er mye lettere å forstå begrepene falsk positiv og falsk negativ test. Derfor foreslår jeg at vi begynner å bruke disse begrepene i stedet for type 1- og type 2-feil.  

7 grunner til at det er lurt å teste antagelsene dine

7 grunner til at det er lurt å teste antagelsene dine

Hva med signifikanstesting?  

Når du tar et kurs i statistikk, er noe av det første du lærer hypotesetesting med t-test, som er en statistisk metode man bruker for å teste om det er signifikant forskjell mellom gjennomsnittet av to datasett. 

Som forsker tester jeg også hypoteser, som oftest når jeg har gjennomført et eksperiment og sjekker om det er forskjell på eksperiment- og kontrollgruppen. Som markedsanalytiker gjorde jeg få t-tester. Det var ikke så vanlig å gjøre eksperimenter og teste hypoteser.  

Betyr det at markedsanalytikere ikke opplever falske positive eller falske negative resultater? 

Jo, det forekommer ganske ofte. Vi gjennomførte mange signifikanstester, for eksempel på gjentakende merkevaremålinger eller politiske meningsmålinger. Et eksempel kan være at det er en endring i andelen som foretrekker Telenor. Vi lurer på om endringen er signifikant. Har reklamekampanjen klart å gjøre målgruppen mer positive til Telenor? Andre ganger er det spørsmål om et parti faktisk har fått økt oppslutning, eller om det bare er tilfeldig variasjon i målingen.  

Når vi signifikanstester, uttaler vi oss med 95 % sannsynlighet for at det faktisk er en endring. Da er det også slik at vi tar feil i én av 20 tilfeller. Vi som tolker data, og sier at merkepreferansen til Telenor har økt, eller at et politisk parti har fremgang på målingene, må være åpne for at vi kan ta feil.  

Hvilke konsekvenser har feilen? 

Det er viktig for Telenor å øke preferansen for merkevaren fordi det bidrar til økt salg av mobilabonnement. Før et politisk valg, er det viktig å vite om et politisk parti har fremgang eller ikke. På samme måte er det viktig å få riktig resultat på testen hvis du er syk, slik at du kan få riktig behandling. Resultatet av testene er viktige. 

Likevel tillater vi i samfunnsvitenskapen at én av 20 tester viser feil resultat. Hvis en test er viktig, holder det ikke med én test.  

I forskning får vi sjelden publisert resultater som kun baserer seg på et enkeltstående eksperiment. Vi må gjennomføre flere studier, i ulike situasjoner, for å finne om konklusjonen faktisk holder.  

De mest interessante funnene er ofte falske positive, enten det gjelder endringer i merkepreferanse, fremgang for et politisk parti, eller et forskningseksperiment.  

Det er kanskje ikke så tilfeldig som du tror?

Det er kanskje ikke så tilfeldig som du tror?

Fem tips til deg som tolker tall og statistiske tester 

Her er fem tips til deg som opplever at en test gir overraskende resultater. 

  1. Overraskende resultater er ofte feil. I medisinske tester kan det være spesielt problematisk hvis du får et falskt positivt svar. Hver gang jeg gir blod, blir jeg testet for HIV. Hvis jeg får et falskt positivt svar på HIV-testen, blir jeg bekymret, for jeg kan ikke være sikker på at det er et falskt positivt svar.  
  2. Hvis du får et overraskende svar, bør du gjennomføre testen på nytt. Hvis jeg får en positiv HIV-test, blir jeg testet på nytt. Da håper jeg virkelig at den neste testen er negativ. På samme måte bør du som markedsanalytiker, hvis du har mulighet til det, gjøre en ny datainnsamling.  
  3. Hvis du finner et overraskende svar, bør du analysere data grundig. Er det unormale observasjoner (uteliggere), tastefeil eller feil ved utvalget? Bør du vekte resultatene i analysen? Det kan være krevende å gjøre alle analysene, men hvis du finner et overraskende svar, bør du bruke tid på å forsikre deg om at du har gjort alt metodisk riktig.  
  4. Bruk sunn fornuft og relevant teori til å belyse svaret. Reflektér over resultatet. Er det logisk? Er det i samsvar med tidligere funn? Finner du teori som støtter resultatet?  
  5. Det er sjelden lurt å være skråsikker. Professor Philip Tetlock og forfatter Dan Gardner undersøker i boken Superforecasting om det er de skråsikre eller tvilerne som er best er i stand til å spå riktig utfall av politiske hendelser. De som er skråsikre, er tydelige og kommer med klare anbefalinger. Men det viser seg at de oftere tar feil. Tvilerne ønsker å belyse saken fra flere sider og er generelt usikre på svaret. Det er de tvilende som i størst grad er i stand til å spå riktig resultat. 

          Referanser:  

          • Field, A. (2018). Discovering statistics using IBM SPSS statistics 5th ed., side 82. 
          • Neyman, J., & Pearson, E. S. (1933). IX. On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 231(694-706), 289-337. 
          • Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155. 
          • Newbold, P. (2013). Statistics for business and economics. Pearson, kapittel 9, spesielt side 346 – 354. 
          • Tetlock, Philip E. og Dan Gardner (2015): Superforecasting: The Art and Science of Prediction. Crown Publishers‎.  

          Denne artikkelen er først publisert som kommentarartikkel i Analysen 9. mars 2022 med overskriften «Vi tar alle feil – iblant». Analysen utgis av Strategi- og analyseforeningen.  

          Tekst: Høyskolelektor Anders Mamen, Institutt for markedsføring ved Høyskolen Kristiania.   

          Vi vil gjerne høre fra deg!       

          Send dine spørsmål og kommentarer til denne artikkelen på E-post til kunnskap@kristiania.no.  

          Meld deg på vårt nyhetsbrev

          Kunnskap Kristiania er Kristianias kunnskapsmagasin. Vi gir deg nytt om forskning, fag, kunstnerisk utviklingsarbeid og aktuell samfunnsdebatt. Nyhetsbrevet sendes ut to ganger i måneden.
          Abonnér

          N

          • Ingeniører diskuterer foran en PC-skjerm.

            Eksperimenter gir økt innovasjonssuksess

            Både offentlige og private virksomheter kan lykkes bedre med innovasjon om de gjør eksperimenter til en del av hverdagen.
            Les mer
          • Tre kolleger snakker sammen

            Små handlinger på jobben kan gjøre stor forskjell

            Gjennom små bekreftelser og mikroløft kan vi skape en mer inkluderende, rausere og vennligere arbeidsplass. Det er en enkel og effektiv oppskrift på økt arbeidsglede.
            Les mer

          N2

          • I likestillingslandet Norge er kun én av ti styreledere i næringslivet kvinner

            Glansbildet av Norge som foregangsland for kvinner i toppen av næringslivet slår sprekker.
            Les mer
          • Kundene opplever at bedriftene satser mindre på sosial innovasjon

            For tredje år på rad faller indeksen som måler innovasjoner innen samfunnsansvar og miljø, viser Norsk innovasjonsindeks 2021.
            Les mer