Kyselylomakkeen suunnittelu

Ehkä tärkein osa kyselyprosessia on sellaisten kysymysten luominen, jotka mittaavat tarkasti yleisön mielipiteitä, kokemuksia ja käyttäytymistä. Tarkka satunnainen näytteenotto ja korkeat vasteprosentit menevät hukkaan, jos kerätyt tiedot perustuvat epämääräisten tai puolueellisten kysymysten epävakaalle perustalle. Hyvien toimenpiteiden luominen edellyttää sekä hyvien kysymysten kirjoittamista että niiden järjestämistä kyselylomakkeen muodostamiseksi.

Kyselylomakkeiden suunnittelu on monivaiheinen prosessi, joka vaatii huomiota moniin yksityiskohtiin kerralla. Kyselylomakkeen suunnittelu on monimutkaista, koska kyselyissä voidaan kysyä aiheista eriasteisesti, kysymyksiä voidaan esittää eri tavoin, ja aiemmin kyselyssä esitetyt kysymykset voivat vaikuttaa siihen, miten ihmiset vastaavat myöhempiin kysymyksiin. Tutkijat ovat myös kiinnostuneita mittaamaan muutosta ajan myötä, ja siksi heidän on oltava tarkkaavaisia ​​siitä, miten mielipiteitä tai käyttäytymistä on mitattu aikaisemmissa tutkimuksissa.

Maanmittaajat voivat tehdä kokeiluja tai kohderyhmiä kyselylomakkeen kehittämisen alkuvaiheessa saadakseen paremman käsityksen siitä, miten ihmiset ajattelevat asiaa tai ymmärtävät kysymyksen. Kyselyn ennakkotestaus on tärkeä vaihe kyselylomakkeen suunnitteluprosessissa sen arvioimiseksi, miten ihmiset vastaavat yleiseen kyselyyn ja tiettyihin kysymyksiin.

Useiden vuosien ajan tutkijat lähestyivät kyselylomaketta taiteena, mutta viimeisten kolmenkymmenen vuoden aikana tehty huomattava tutkimus on osoittanut, että hyvän kyselylomakkeen laatimiseen liittyy paljon tiedettä. Tässä keskustelemme kyselylomakkeiden suunnittelun sudenkuopista ja parhaista käytännöistä.

Kysymyksen kehitys

Kyselylomakkeen kehittämisessä on useita vaiheita. Ensimmäinen on selvittää, mitä aiheita kyselyssä käsitellään. Pew Research Center -tutkimuksissa tämä tarkoittaa ajattelua siitä, mitä tapahtuu kansakunnassamme ja maailmassa ja mikä on merkitystä yleisölle, päättäjille ja tiedotusvälineille. Seuraamme myös mielipiteitä useista asioista ajan myötä, joten varmistamme usein, että päivitämme nämä suuntaukset säännöllisesti, jotta voimme ymmärtää, muuttuvatko ihmisten mielipiteet.

Pew Research Centerissä kyselylomakkeiden kehittäminen on yhteistyöhön perustuva ja iteratiivinen prosessi, jossa henkilökunta kokoontuu keskustelemaan kyselyluonnoksista useita kertoja sen kehittämisen aikana. Kun kyselylomake on laadittu ja tarkistettu, esitarkastamme jokaisen kyselylomakkeen ja teemme lopulliset muutokset ennen kyselyn aloittamista.



Mittaa muutosta ajan myötä

Monet maanmittaajat haluavat seurata ihmisten asenteiden, mielipiteiden ja käyttäytymisen muutoksia ajan myötä. Muutoksen mittaamiseksi kysymyksiä kysytään kahdesta tai useammasta ajankohdasta. Julkisen mielipiteen tutkimuksessa yleisimmin käytetty poikkileikkaussuunnitelma tutkii saman väestön ihmisiä eri aikoina. Paneeli tai pitkittäinen muotoilu, jota käytetään usein muun tyyppisessä sosiaalisessa tutkimuksessa, tutkii samoja ihmisiä ajan myötä. Pew Research Center käynnisti oman satunnaisotantatutkimuksen vuonna 2014; lisätietoja on American Trends -paneelin osiossa.

Monet Pew Research -tutkimusten kysymyksistä on esitetty aikaisemmissa kyselyissä. Samojen kysymysten esittäminen eri ajankohtina antaa meille mahdollisuuden raportoida muutoksista yleisön (tai yleisön, kuten rekisteröityjen äänestäjien, miesten tai afrikkalaisten amerikkalaisten) kokonaisnäkemyksissä.

Ajan muutosta mitattaessa on tärkeää käyttää samaa kysymyksen sanamuotoa ja olla herkkä kyselylomakkeessa esitettävälle kysymykselle säilyttääksesi samanlaisen kontekstin kuin silloin, kun kysymys esitettiin aikaisemmin (katso lisätietoja kysymyksen sanamuodosta ja kysymysjärjestyksestä) ). Kaikki kyselyraporttimme sisältävät ylälinjakyselylomakkeen, joka antaa tarkan kysymyksen sanamuodon ja sekvensoinnin sekä tulokset nykyisestä kyselystä ja aiemmista kyselyistä, joissa kysymys esitettiin.

Avoimet ja suljetut kysymykset

Yksi merkittävimmistä päätöksistä, jotka voivat vaikuttaa siihen, miten ihmiset vastaavat kysymyksiin, on se, asetetaanko kysymys avoimeksi kysymykseksi, jossa vastaaja antaa vastauksen omin sanoin vai suljettuun kysymykseen, jossa heitä pyydetään valitsemaan luettelo vastausvaihtoehdoista.

Esimerkiksi vuoden 2008 presidentinvaalien jälkeen toteutetussa kyselyssä ihmiset vastasivat hyvin eri tavalla tämän kysymyksen kahteen versioon: 'Mikä yksi asia oli sinulle tärkein päättäessäsi, kuinka äänestit presidentin puolesta?' Yksi oli suljettu ja toinen avoin. Suljetussa versiossa vastaajille tarjottiin viisi vaihtoehtoa (ja he voivat vapaaehtoisesti valita vaihtoehdon, jota ei ole luettelossa).

Kun yli puolet (58%) vastaajista tarjosi nimenomaisesti talouden vastaukseksi, valitsi tämän vastauksen. vain 35% avoimeen versioon vastanneista ilmoitti vapaaehtoisena taloutta. Lisäksi suljetuista versioista kysyttyjen joukossa alle yksi kymmenestä (8%) antoi vastauksen lukuun ottamatta viittä. sitä vastoin täysin 43% avoimesta versiosta kysyneistä antoi vastauksen, jota ei ole mainittu kysymyksen suljetussa versiossa. Kaikki muut kysymykset valittiin ainakin hieman useammin, kun ne tarjotaan nimenomaisesti suljetussa versiossa kuin avoimessa versiossa. (Katso myös lisätietoja kohdasta ”Kampanjan korkeat merkinnät, Obaman korkea baari”.)

Tutkijat tekevät joskus pilottitutkimuksen avoimilla kysymyksillä selvittääkseen, mitkä vastaukset ovat yleisimpiä. Sitten he kehittävät suljettuja kysymyksiä, jotka sisältävät yleisimmät vastaukset vastausvaihtoehtoina. Tällä tavalla kysymykset voivat paremmin kuvastaa sitä, mitä yleisö ajattelee tai miten he suhtautuvat tiettyyn asiaan.

Kun kysytään suljettuja kysymyksiä, annettujen vaihtoehtojen valinta, kunkin vaihtoehdon kuvaus, tarjottujen vastausvaihtoehtojen lukumäärä ja järjestys, jossa vaihtoehdot luetaan, voivat kaikki vaikuttaa siihen, miten ihmiset vastaavat. Yksi esimerkki luokkien määrittelyn vaikutuksista löytyy Pew Research -kyselystä, joka tehtiin tammikuussa 2002: Kun puolelta otoksesta kysyttiin, oliko presidentti Bushin kannalta tärkeämpää keskittyä sisä- tai ulkopolitiikkaan 52, % valitsi sisäpolitiikan, kun taas vain 34% sanoi ulkopolitiikkaa. Kun luokka 'ulkopolitiikka' kavennettiin tiettyyn näkökohtaan - 'sota terrorismia vastaan' -, monet ihmiset valitsivat sen; vain 33% valitsi sisäpolitiikan, kun taas 52% valitsi terrorismin vastaisen sodan.

Useimmissa tapauksissa vastausvaihtoehtojen lukumäärä tulisi pitää suhteellisen pienessä määrässä - vain neljä tai korkeintaan viisi - varsinkin puhelintutkimuksissa. Psykologinen tutkimus osoittaa, että ihmisillä on vaikea pitää enemmän kuin tämä määrä valintoja mielessä kerralla. Kun kysymys koskee objektiivista tosiasiaa, kuten vastaajan uskonnollista kuuluvuutta, voidaan käyttää useampia luokkia. Esimerkiksi Pew Research Centerin uskonnon vakiokysymys sisältää 12 erilaista luokkaa, alkaen yleisimmistä (protestanttisista ja katolisista) sukulaisuuksista. Suurimmalla osalla vastaajista ei ole ongelmia tämän kysymyksen kanssa, koska he voivat vain odottaa, kunnes kuulevat uskonnollisen perinteen lukevan vastaukseksi.

Mikä on nykyinen uskontosi, jos sellaista on?Oletko protestantti, roomalaiskatolinen, mormoni, ortodoksi, kuten kreikkalainen tai venäläinen ortodoksi, juutalainen, muslimi, buddhalainen, hindu, ateisti, agnostikko, jokin muu tai ei mitään erityistä?

Tarjottujen vastausvaihtoehtojen lukumäärän ja valinnan lisäksi vastausluokkien järjestys voi vaikuttaa siihen, miten ihmiset vastaavat suljettuihin kysymyksiin. Tutkimukset viittaavat siihen, että puhelinkyselyissä vastaajat valitsevat useammin myöhemmin kuultavat kohteet luettelosta ('äskeisyysvaikutus').

Koska luokkajärjestyksen vaikutuksista suljettujen kysymysten vastauksiin on huolta, monet Pew Research Centerin kyselyjen vastausvaihtoehdot on ohjelmoitu satunnaistamaan (kun kysymyksillä on kaksi tai useampia vastausvaihtoehtoja) sen varmistamiseksi, että vaihtoehtoja ei kysytä samassa järjestyksessä jokaiselle vastaajalle. Esimerkiksi edellä käsitellyssä esimerkissä siitä, mikä asia oli tärkein ihmisten äänestyksessä, kysymyksen suljetun version viiden numeron järjestys satunnaistettiin siten, että kukaan numero ei ilmestynyt aikaisin tai myöhään kaikkien vastaajien luettelossa. Vastausten kohteiden satunnaistaminen ei poista järjestysvaikutuksia, mutta se varmistaa, että tämän tyyppinen puolueellisuus leviää satunnaisesti.

Kysymyksiä, joilla on järjestyskategorioita - kysymyksiä, joiden järjestys on alla (esim. Erinomainen, hyvä, vain oikeudenmukainen, huono TAI erittäin suotuisa, enimmäkseen suotuisa, enimmäkseen epäsuotuisa, erittäin epäsuotuisa) - ei yleensä satunnaisteta, koska luokkien järjestys välittää tärkeitä tietoja auttaa vastaajia vastaamaan kysymykseen. Yleensä tämän tyyppiset asteikot tulisi esittää järjestyksessä, jotta vastaajat voivat helposti sijoittaa vastauksensa jatkumoon, mutta joillekin vastaajille järjestys voidaan muuttaa. Esimerkiksi yhdessä Pew Research Centerin kysymyksestä abortista puolelle otoksesta kysytään, olisiko abortin oltava 'laillista kaikissa tapauksissa, laillista useimmissa tapauksissa, laittomia useimmissa tapauksissa, laitonta kaikissa tapauksissa', kun taas toinen puoli näytteelle kysytään sama kysymys, ja vastausluokat luetaan päinvastaisessa järjestyksessä alkaen 'laittomasta kaikissa tapauksissa'. Jälleen järjestyksen kääntäminen ei poista uusintavaikutusta, vaan jakaa sen satunnaisesti populaatiolle.

Kysymyksen sanamuoto

Sanan ja lauseen valinta kysymyksessä on kriittinen, kun ilmaistaan ​​kysymyksen tarkoitus ja tarkoitus vastaajalle ja varmistetaan, että kaikki vastaajat tulkitsevat kysymystä samalla tavalla. Jopa pienet sanamuodon erot voivat vaikuttaa merkittävästi ihmisten antamiin vastauksiin.

Esimerkki sanamuodon erosta, jolla oli merkittävä vaikutus vastauksiin, tulee tammikuussa 2003 julkaistusta Pew Research Center -tutkimuksesta. Kun ihmisiltä kysyttiin, suosisivatko he 'sotatoimien toteuttamista Irakissa vai vastustaisivatko ne Irdissa Saddam Husseinin vallan lopettamista', 68% kertoi kannattavansa sotatoimia, kun taas 25% sanoi vastustavansa sotatoimia. Kuitenkin, kun heiltä kysytään, suosisivatko vai vastustaisivatko sotatoimet Irakissa Saddam Husseinin hallinnon lopettamistavaikka se tarkoittaisi, että Yhdysvaltain joukot saattavat kärsiä tuhansia uhreja,”Vastaukset olivat dramaattisesti erilaisia; vain 43% sanoi kannattavansa sotatoimia, kun taas 48% sanoi vastustavansa sitä. Yhdysvaltain uhrien käyttöönotto muutti kysymyksen kontekstia ja vaikutti siihen, kannattivatko vai vastustivatko sotilaalliset toimet Irakissa.

Tutkimuksia on tehty huomattavasti, jotta voidaan arvioida kysymysten esittämistapojen vaikutuksia ja miten minimoida erot tavoissa, joissa vastaajat tulkitsevat kysyttävää. Kysymysten sanamuotoon liittyviä kysymyksiä on enemmän kuin niitä voidaan käsitellä riittävästi tässä lyhyessä tilassa. Tässä on muutamia tärkeitä asioita, jotka on otettava huomioon kyselykysymyksissä:

Ensinnäkin on tärkeää esittää selkeitä ja tarkkoja kysymyksiä, joihin kukin vastaaja pystyy vastaamaan. Jos kysymys on avoin, vastaajien tulisi olla selvää, että he voivat vastata omin sanoin ja minkä tyyppisen vastauksen heidän tulisi antaa (kysymys tai ongelma, kuukausi, päivien lukumäärä jne.). Suljettujen kysymysten tulisi sisältää kaikki kohtuulliset vastaukset (ts. Vaihtoehtoluettelo on tyhjentävä), ja vastausluokkien ei tulisi olla päällekkäisiä (ts. Vastausvaihtoehtojen tulisi olla toisiaan poissulkevia).

On myös tärkeää kysyä vain yksi kysymys kerrallaan. Kysymykset, joissa kysytään vastaajilta useamman kuin yhden käsitteen arviointia (tunnetaan kaksoisputkikysymyksinä) - kuten 'Kuinka paljon luotat presidentti Obamaan sisä- ja ulkopolitiikan hoidossa?' - vastaajien on vaikea vastata ja johtavat usein vaikeasti tulkittaviin vastauksiin. Tässä esimerkissä olisi tehokkaampaa esittää kaksi erillistä kysymystä, yksi sisäpolitiikasta ja toinen ulkopolitiikasta.

Vastaajat ymmärtävät yleensä yksinkertaista ja konkreettista kieltä käyttävät kysymykset. On erityisen tärkeää ottaa huomioon kyselyväestön koulutustaso ajatellessaan sitä, kuinka helppoa vastaajien on tulkita ja vastata kysymykseen. Kaksoisnegatiivit (esim. Kannatatko vai vastustatkoeihomojen ja lesbojen salliminen lailliseen avioliittoon) tai tuntemattomat lyhenteet tai ammattikieltä (esim. ANWR arktisen kansallisen villieläinten suojelupaikan sijasta) voivat aiheuttaa vastaajaan sekaannusta ja niitä tulisi välttää.

Vastaavasti on tärkeää pohtia, voidaanko tiettyjä sanoja pitää puolueellisina tai mahdollisesti loukkaavia joillekin vastaajille, samoin kuin emotionaalinen reaktio, jonka jotkut sanat voivat aiheuttaa. Esimerkiksi vuonna 2005 Pew Research -tutkimuksessa 51% vastaajista sanoi kannattavansa 'lääkärin lailliseksi antamista kuolemattomasti sairaille potilaille keinoja lopettaa elämä', mutta vain 44% sanoi kannattavansa 'lääkäreiden lailliseksi auttaa parantumattomasti sairaita potilaita itsemurhassa. ' Vaikka kysymyksen molemmat versiot kysyvät samasta asiasta, vastaajien reaktio oli erilainen. Toisessa esimerkissä vastaajat ovat reagoineet kysymyksiin eri tavalla sanalla 'hyvinvointi' toisin kuin yleisempi 'köyhille annettava apu'. Useat kokeet ovat osoittaneet, että 'köyhille annettavan avun' laajentamiselle on paljon enemmän julkista tukea kuin 'hyvinvoinnin' laajentamiselle.

Yksi yleisimmistä kyselykysymyksissä käytetyistä muodoista on ”samaa mieltä” -muoto. Tämän tyyppisissä kysymyksissä vastaajilta kysytään, ovatko he samaa mieltä tietyn väitteen kanssa vai eivät. Tutkimus on osoittanut, että verrattuna paremmin koulutettuihin ja paremmin tietoisiin, vähemmän koulutetuilla ja vähemmän tietoisilla vastaajilla on suurempi taipumus hyväksyä tällaiset lausunnot. Tätä kutsutaan joskus ”suostumuksen puolueellisuudeksi” (koska tietyntyyppiset vastaajat suostuvat todennäköisemmin väitteeseen kuin toiset). Parempi käytäntö on tarjota vastaajille mahdollisuus valita vaihtoehtoisten lausuntojen välillä. Pew Research Center -kokeilu yhdellä sen rutiininomaisesti esitetyistä arvokysymyksistä havainnollistaa eroa, jonka kysymysmuoto voi tehdä. Pakotetun valinnan muoto antaa paitsi hyvin erilaisen tuloksen kuin sopimus-eri mieltä -formaatti, mutta myös paremmin ja vähemmän koulutettujen vastaajien vastausten malli on yleensä erilainen.

Yksi toinen haaste kyselylomakkeiden kehittämisessä on niin kutsuttu sosiaalinen haluttavuus. Ihmisillä on luonnollinen taipumus haluta, että heidät hyväksytään ja pidetään, ja tämä voi saada ihmiset antamaan epätarkkoja vastauksia arkaluontoisia aiheita koskeviin kysymyksiin. Tutkimukset ovat osoittaneet, että vastaajat aliarvioivat alkoholin ja huumeiden käytön, veronkierron ja rodullisen puolueellisuuden; he voivat myös yliarvioida kirkon läsnäoloa, hyväntekeväisyystapoja ja todennäköisyyttä, että he äänestävät vaaleissa. Tutkijat yrittävät ottaa huomioon tämän mahdollisen ennakkoluulon muotoillessaan näitä aiheita koskevia kysymyksiä. Esimerkiksi kun Pew Research Center -tutkimuksissa kysytään aikaisemmasta äänestyskäyttäytymisestä, on tärkeää huomata, että olosuhteet ovat saattaneet estää vastustajaa äänestämästä: '' Barack Obaman ja Mitt Romneyn välillä vuonna 2012 pidetyissä presidentinvaaleissa tuli esiin asioita, jotka estivät sinua äänestätkö vai sattuinko äänestämään? Vastausvaihtoehtojen valinta voi myös helpottaa ihmisten rehellisyyttä; esimerkiksi kysymys kirkon läsnäolosta saattaa sisältää kolme kuudesta vastausvaihtoehdosta, jotka osoittavat harvoin käymistä. Tutkimus on myös osoittanut, että sosiaalisen toivottavuuden puolueellisuus voi olla suurempi, kun haastattelija on läsnä (esim. Puhelin- ja kasvotutkimukset) kuin silloin, kun vastaajat täyttävät kyselyn itse (esim. Paperiset ja verkkokyselyt).

Lopuksi, koska kysymyksen sanamuodon pienet muutokset voivat vaikuttaa vastauksiin, kysymyksen sanamuotoa on käytettävä identtisenä, kun tarkoituksena on verrata aikaisempien tutkimusten tuloksia (katso lisätietoja ajan muutoksen mittaamisesta). Vastaavasti, koska kysymysten sanamuodot ja vastaukset voivat vaihdella vastaajien kyselyyn käytetyn muodon mukaan, tutkijoiden tulisi arvioida huolellisesti todennäköiset vaikutukset trendimittauksiin, jos eri kyselytapaa käytetään mielipiteen muutoksen arviointiin ajan myötä (katso lisätietoja kyselytutkimuksen keräämisestä). tiedot).

Kysymysjärjestys

Kun kyselykysymykset on kehitetty, on kiinnitettävä erityistä huomiota kyselylomakkeen järjestykseen. Kysymyksen sijoittamisella voi olla suurempi vaikutus tulokseen kuin kysymyksessä käytettyyn sanavalintaan.

Määritellessään kyselyjärjestystä kyselylomakkeessa tutkijoiden tulee olla tarkkaavaisia ​​siitä, miten kyselyn alkuvaiheessa olevilla kysymyksillä voi olla tahattomia vaikutuksia siihen, miten vastaajat vastaavat seuraaviin kysymyksiin. Tutkijat ovat osoittaneet, että kysymysten esitysjärjestys voi vaikuttaa ihmisten reaktioihin; aikaisemmat kysymykset - erityisesti ne, jotka edeltävät suoraan muita kysymyksiä - voivat tarjota kontekstin seuraaville kysymyksille (näitä vaikutuksia kutsutaan 'järjestysvaikutuksiksi').

Yhden tyyppinen järjestysvaikutus näkyy vastauksissa avoimiin kysymyksiin. Pew Research -tutkimuksissa kysytään yleensä kyselylomakkeen alussa avoimia kysymyksiä kansallisista ongelmista, mielipiteitä johtajista ja vastaavista aiheista. Jos aiheeseen liittyvät suljetut kysymykset asetetaan ennen avointa kysymystä, vastaajat mainitsevat paljon todennäköisemmin aikaisemmissa kysymyksissä esitetyt käsitteet tai näkökohdat vastatessaan avoimeen kysymykseen.

Suljetuissa lausuntokysymyksissä on kaksi päätyyppiä järjestysvaikutuksista: kontrastivaikutukset, joissa järjestys johtaa suurempiin eroihin vastauksissa, ja assimilaatioefektit, joissa vastaukset ovat samanlaisia ​​niiden järjestyksen seurauksena.

Esimerkki kontrastivaikutuksesta voidaan nähdä Pew Research Centerin lokakuussa 2003 tekemässä kyselyssä, jonka mukaan ihmiset suosivat todennäköisemmin homojen ja lesbojen sallimista tehdä oikeudellisia sopimuksia, jotka antavat heille samat oikeudet kuin aviopareille, kun tämä kysymys esitettiin. kysyi toisensa jälkeen siitä, kannattivatko he homojen ja lesbojen naimisiin menemistä vai vastustivatko he (45% suosi laillisia sopimuksia avioliittokysymyksen jälkeen, mutta 37% suosi laillisia sopimuksia ilman välittömästi edeltävää homoavioliittoa koskevan kysymyksen asiayhteyttä). Sitä vastoin homoavioliittoa koskevaan kysymykseen ei ollut merkittävää vaikutusta avioliiton asettamiseen ennen tai jälkeen laillisten sopimusten kysymyksen.

Toinen joulukuun 2008 Pew Research -kyselyyn upotettu koe johti myös kontrastivaikutukseen. Kun ihmisiltä kysyttiin 'Oletko kaiken kaikkiaan tyytyväinen tai tyytymätön siihen, miten asiat menevät tänään tässä maassa?' heti kysyttyään 'Hyväksytkö vai hylkäätkö sen, miten George W. Bush hoitaa presidenttityötään?'; 88% sanoi olevansa tyytymättömiä verrattuna vain 78%: iin ilman edellisen kysymyksen asiayhteyttä. Vastaukset presidentin hyväksyntään pysyivät suhteellisen muuttumattomina riippumatta siitä, kysytkökö kansallinen tyytyväisyys ennen sitä vai sen jälkeen. Samanlainen havainto tapahtui joulukuussa 2004, jolloin sekä tyytyväisyys että presidentin hyväksyntä olivat paljon korkeammat (57% oli tyytymätön, kun Bushin hyväksyntää pyydettiin ensin, ja 51%, kun ensin kysyttiin yleistä tyytyväisyyttä).

Useat tutkimukset ovat myös osoittaneet, että tarkemman kysymyksen esittäminen ennen yleisempää kysymystä (esim. Kysyminen avioliiton onnellisuudesta ennen kuin kysytään koko onnellisuudesta) voi johtaa kontrastivaikutukseen. Vaikka joitain poikkeuksia on löydetty, ihmiset pyrkivät välttämään irtisanomisia sulkemalla tarkemman kysymyksen yleisestä luokituksesta.

Assimilaatiovaikutuksia esiintyy, kun vastaukset kahteen kysymykseen ovat johdonmukaisempia tai lähempänä toisiaan, koska ne on sijoitettu kyselyyn. Löysimme esimerkin assimilaatiovaikutuksesta Pew Research -kyselyssä, joka tehtiin marraskuussa 2008, kun kysyimme, pitäisikö republikaanien johtajien työskennellä Obaman kanssa vai vastustaako häntä tärkeissä asioissa ja pitäisikö demokraattisten johtajien työskennellä republikaanien johtajien kanssa vai vastustaako he niitä tärkeitä asioita. Ihmiset sanovat todennäköisemmin, että republikaanien johtajien tulisi työskennellä Obaman kanssa, kun kysymystä edeltää kysymys, jonka demokraattisten johtajien tulisi tehdä työskennellessään republikaanien johtajien kanssa (81% vs. 66%). Kuitenkin, kun ihmisiltä kysyttiin ensin Obaman kanssa työskentelevistä republikaanien johtajista, harvemmat sanoivat, että demokraattisten johtajien tulisi työskennellä republikaanien johtajien kanssa (71% vs. 82%).

Tilauskysymykset ovat erityisen tärkeitä seurattaessa trendejä ajan myötä. Tämän seurauksena on huolehdittava siitä, että asiayhteys on samanlainen joka kerta, kun kysymys esitetään. Kysymyksen kontekstin muokkaaminen saattaa kyseenalaistaa havaitut ajan mittaan tapahtuneet muutokset (katso lisätietoja ajan muutoksen mittaamisesta).

Kysely, kuten keskustelu, on ryhmiteltävä aiheen mukaan ja avattava loogisessa järjestyksessä. Usein on hyödyllistä aloittaa kysely yksinkertaisilla kysymyksillä, jotka vastaajat pitävät mielenkiintoisina ja kiinnostavina, jotta ne voisivat luoda yhteyden ja motivoida heitä jatkamaan osallistumista kyselyyn. Koko kyselyn ajan on pyrittävä pitämään kysely mielenkiintoisena, eikä vastaajaa ylikuormiteta useilla vaikeilla kysymyksillä heti toisensa jälkeen. Väestötietokysymyksiä, kuten tuloja, koulutusta tai ikää, ei tule esittää kyselyn alussa, ellei niitä tarvita kyselykelpoisuuden määrittämiseen tai vastaajien ohjaamiseksi kyselylomakkeen tiettyjen osien kautta. Silloinkin on parasta edeltää tällaisia ​​kohteita mielenkiintoisemmilla ja kiinnostavammilla kysymyksillä.

Pilottitestit ja kohderyhmät

Samoin kuin ennakkotesteissä, pilottitestejä käytetään arvioimaan, kuinka kyselyväestön joukko ihmisiä vastaa kyselyyn. Pilottitestiä varten maanmittaajat ottavat yleensä yhteyttä suureen määrään ihmisiä, jotta potentiaaliset erot väestöryhmissä ja niiden välillä voidaan analysoida. Lisäksi monien tutkimusten pilottitesteillä testataan täydelliset toteutusmenettelyt (esim. Yhteyskirjeet, kannustimet, soittopyynnöt jne.). Pilottikokeet suoritetaan yleensä hyvissä ajoin ennen tutkimuksen aloittamista, jotta kyselyyn tai menettelyihin voidaan tehdä merkittävämpiä muutoksia. Pilottitestit ovat erityisen hyödyllisiä, kun katsastajat testaavat uusia kysymyksiä tai tekevät merkittäviä muutoksia kyselylomakkeeseen, testaavat uusia menettelyjä tai erilaisia ​​tapoja toteuttaa kyselyä, ja laajamittaisiin kyselyihin, kuten Yhdysvaltain väestönlaskenta.

Kohderyhmät eroavat suuresti kokeilutesteistä, koska ihmiset keskustelevat kyselyn aiheesta tai vastaavat tiettyihin kysymyksiin ryhmäympäristössä usein kasvotusten (vaikka joskus käytetään online-kohderyhmiä). Kohderyhmiä suorittaessaan maanmittaaja kokoaa tyypillisesti ryhmän ihmisiä ja kysyy heiltä kysymyksiä sekä ryhmänä että erikseen. Kohderyhmän moderaattorit voivat kysyä tiettyjä kyselykysymyksiä, mutta usein kohderyhmäkysymykset ovat vähemmän erityisiä ja antavat osallistujien antaa pidempiä vastauksia ja keskustella aiheesta muiden kanssa. Kohderyhmistä voi olla apua tiedon keräämisessä ennen kyselylomakkeen laatimista, jotta voidaan nähdä, mitkä aiheet ovat merkittäviä väestön jäsenille, miten ihmiset ymmärtävät aihealueen ja miten ihmiset tulkitsevat kysymyksiä (erityisesti kuinka aihetta tai kysymystä muotoillaan eri tavoin) voi vaikuttaa vastauksiin). Tämäntyyppisille kohderyhmille moderaattori kysyy yleensä laajoja kysymyksiä, jotta ryhmän jäsenet saisivat muokkaamattomia reaktioita, ja voi sitten esittää tarkempia seurantakysymyksiä.

Joissakin hankkeissa kohderyhmiä voidaan käyttää yhdessä kyselylomakkeen kanssa, jotta ihmisillä olisi mahdollisuus keskustella aiheista yksityiskohtaisemmin tai perusteellisemmin kuin haastattelussa on mahdollista. Tärkeä kohderyhmien näkökohta on osallistujien välinen vuorovaikutus. Kohderyhmät voivat olla arvokas osa tutkimusprosessia, ja ne tarjoavat laadullisen käsityksen tutkimuksessa kvantifioiduista aiheista, mutta kohderyhmien tuloksia on tulkittava varoen. Koska ihmiset vastaavat ryhmässä asettamalla vastauksensa, voivat vaikuttaa ryhmän muiden mielipiteet ja koska osallistujien kokonaismäärä on usein pieni (eikä satunnaisesti valittu väestön osajoukko), kohderyhmien tulosten tulisi olla ei tule käyttää yleistämään laajempaa väestöä.

Esitestit

Yksi tärkeimmistä tavoista selvittää, tulkitsevatko vastaajat kysymyksiä tarkoitetulla tavalla ja voiko kysymysten järjestys vaikuttaa vastauksiin, on suorittaa ennakkotesti käyttämällä pientä otosta kyselyväestöstä. Esitesti suoritetaan käyttäen samaa protokollaa ja asetusta kuin kysely, ja se suoritetaan tyypillisesti kyselylomakkeen ja menettelyjen valmistuttua.

Puhelinkyselyihin haastattelijat soittavat vastaajille kuten he tekisivätkin varsinaisessa kyselyssä. Maanmittaajat kuuntelevat usein vastaajia täytettäessä kyselyä saadakseen selville, onko ongelmia tiettyjen kysymysten kanssa tai kysytäänkö tilauskysymyksiä. Lisäksi maanmittaajat saavat haastattelijoilta palautetta kysymyksistä ja arvion siitä, kuinka kauan ihmisillä kestää kyselyyn vastaaminen.

Pew Research Center esitarkistaa kaikki kyselykoodinsa, yleensä illalla ennen kyselyn alkamista. Sitten henkilökunta kokoontuu seuraavana päivänä keskustelemaan ennakkoarvioinnista ja tekemään kyselylomakkeeseen muutoksia ennen kyselyn siirtymistä kentälle. Ennakkotestauksesta saatu tieto on korvaamatonta, kun tehdään lopullisia päätöksiä kyselylomakkeesta.

Facebook   twitter