Måleinstrumenter i spørreskjemaundersøkelser

På Internett finnes det en rekke programmer som kan brukes til å lage elektroniske spørreskjemaer. Mange av dem er gratis. Men skal man lage gode skjemaer, kreves det fagkunnskap, erfaring og talent

Illustrasjonsfoto Istockphoto

Slå opp på nettstedet Web Survey Methodology (1). Der vil du finne 364 programmer som kan brukes til å lage spørreskjemaer. I tillegg vil du finne henvisninger til faglitteratur som viser at skjemautvikling byr på mange utfordringer. Aller først er det viktig å huske på at skjemaet bare er måleinstrumentet i spørreskjemaundersøkelsen. I tillegg trenger vi «pasienter», vanligvis et utvalg personer, bedrifter eller andre enheter som gir et representativt bilde av helheten. Utvalgstrekking er basert på sannsynlighetsregning. En av de mest seiglivede mytene om trekkemetodene er at det er størrelsen som teller. Men – som ellers i livet – er teknikken det viktigste. Dessuten er problemet ofte at trekkegrunnlaget er uklart eller ufullstendig. I tillegg vil utvalgskvaliteten være påvirket av frafall. Det refereres ofte til feilmarginer i utvalgsundersøkelser, mens betydningen av dårlig trekkegrunnlag og frafall forbigås i stillhet. Det er å avlede oppmerksomheten fra de viktigste kildene til utvalgsfeil.

Oppgaven med å planlegge en spørreskjemaundersøkelse kan sammenliknes med det å være trener for et fotballag – den viktigste jobben gjøres før kampen starter. Når den er i gang, er det vanskelig å rette opp det som går galt. Dette gjelder særlig for spørsmål som ikke fungerer. Derfor lønner det seg alltid å sette av god tid til planlegging og bruke mer tid på å utvikle spørreskjemaet enn på andre planleggingsoppgaver. Skjemaplanlegging kan deles inn i fire hovedaktiviteter:

Legg merke til at det å formulere spørsmålene er tredje aktivitet på denne listen. En vanlig årsak til at spørreskjemaer blir dårlige, er at man begynner å skrive spørsmålene før man egentlig vet hva man skal spørre om, og før man har disponert samtalen med dem som skal besvare skjemaet.

Samfunnsfenomener som velvære eller levekår er ikke direkte målbare. Likevel kan de studeres ved at vi stiller spørsmål om konkrete forhold som har med velvære og levekår å gjøre. Det første som må avgjøres, er derfor hvilke forhold det er relevant å stille spørsmål om. Hvis dette ikke er tilstrekkelig avklart, risikerer vi å stille mange spørsmål som overlapper hverandre, samtidig som viktige sider av det aktuelle fenomenet ikke blir belyst. Teknikkene som brukes i denne fasen har talende navn som begrepskartlegging og dimensjonsanalyse.

Mens blikket i første planleggingsfase er rettet mot forskernes problemstilling, skal det i de neste fasene rettes mot dem som skal besvare spørsmålene. Fordi forskernes tankemodeller sjelden er allemannseie kan deres begreper og talemåter vanligvis ikke brukes til spørsmål. Skjemasnekkerens rolle likner derfor journalistens – å formidle forskerens informasjonsbehov i et språk og i en form som menigmann kan forstå og forholde seg til. Da er det viktig at forskeren ikke har kastet bort tid på å lage spørreskjemaer på fagseminar.

«Vil du si at din helse er utmerket, god, ikke så god eller dårlig?» Tilsynelatende et enkelt og anvendelig spørsmål. I et eksperiment stilte man dette oppfølgingsspørsmålet: «Da du svarte på spørsmålet, tenkte du da på helsen din sammenliknet med andre på din alder, på helsen din sammenliknet med da du var ung eller på helsen din den siste tiden sammenliknet med tidligere?» Svarene fordelte seg med omtrent en tredel på hvert av alternativene. Det betyr at dersom oppgaven er å spørre om hvordan man vurderer sin helsetilstand i forhold til andres, vil et spørsmål basert på det første alternativet i oppfølgingsspørsmålet være bedre. Men det går også an å stille begge spørsmål, for eksempel for å kartlegge hvilke referansepunkter folk i ulike aldre bruker om helsen. Poenget er at da er problemstillingen en annen.

Eksemplet illustrerer også hvor lett det er å overse at dagligdagse begreper kan tolkes på ulike måter. I dette tilfellet er det uklart om spørsmålsstilleren både tenker på fysisk og psykisk helse. Det bør tydeliggjøres med to separate spørsmål istedenfor egentlig å stille to spørsmål i ett.

Å svare på to spørsmål samtidig er vanskelig. Eksempler på andre vanskelige oppgaver er å be folk gjengi ting som er vanskelig å huske eller utføre beregninger før de svarer. Unnlater vi å forenkle oppgaver som disse, risikerer vi at svarpersonene forenkler dem selv. En type spørsmål som nærmest ber om forenkling, er spørsmål som består av utsagn som man skal si seg mer eller mindre enig i. Det viktigste problemet er at det ikke er noen åpenbar sammenheng mellom spørsmål og svaralternativer. Den som skal besvare spørsmålet må for eksempel selv finne ut hva det betyr å være delvis uenig i at «helsen min er ikke så god som den pleier å være». Den enkleste løsningen er å være enig. Da slipper man å tenke gjennom motargumenter. Denne typen spørsmål bør derfor unngås.

I dette tilfellet var det ingen naturlig sammenheng mellom spørsmål og svaralternativer. I andre tilfeller er sammenhengen mellom tekst og utformingen av svarfelt dårlig – for eksempel hvis vi ber om kommentarer, men bare tilbyr et ørlite svarfelt. I gode spørreskjemaer skal både tekst og presentasjon formidle samme budskap (2).

Deltakerne i spørreundersøkelser forventer som oftest at spørsmålssekvensene følger de samme reglene som gjelder i vanlige samtaler. Det skaper utfordringer, blant annet i tilfeller der man spør om psykiske tilstander. Mange av disse spørsmålene er hentet fra personlighetstester som ellers brukes til diagnosesetting, altså en helt annen situasjon. I vanlige samtaler er det god tone å la være å spørre om samme ting flere ganger. Derfor vil deltakere i spørreundersøkelser gjerne tolke spørsmål som likner hverandre på forskjellig måte, selv om de egentlig er ment å måle samme fenomen. Hos psykologen vil det sannsynligvis være mer åpenbart at en slik spørsmålsrekke dreier seg om samme tema. At samme spørsmål tolkes forskjellig i forskjellige samtalesituasjoner, er kanskje den vanskeligste utfordringen i skjemaarbeid.

Til slutt et sitat fra en kjent metodeforsker: «Hvis du ikke har ressurser til å forhåndsteste spørreskjemaet ditt, ikke gjennomfør undersøkelsen» (3). Hvis dette rådet var blitt fulgt, ville det vært gjennomført færre undersøkelser, men flere gode. Det finnes metoder både for å teste hvert ledd i utviklingsarbeidet og for å forhåndsteste det ferdige skjemaet (4). Ingen er så gode til å lage skjemaer at de kan være disse metodene foruten.