• Menetelmiä

Matkapuhelimen toimintaliput

Kirjoittanut Kyley McGeeney ja Courtney Kennedy

Kun puhelinhaastattelukustannukset kasvavat edelleen ja matkapuhelimet edustavat kasvavaa osuutta kyselynäytteistä, tutkijat tutkivat tapoja tehdä näistä malleista kustannustehokkaampia. Äskettäinen edistysaskel puhelintutkimuksissa (random-digit-dial-dial, RDD)¹on kyky tunnistaa toimimattomat matkapuhelinnumerot ns. toimintalippuina. Toimintalippujen avulla tutkijat voivat poistaa ilmoitetut matkapuhelinnumerot näytteestä ennen niiden valitsemista, mikä auttaa hillitsemään kasvavia haastattelukustannuksia.

Yksi huolenaihe näiden lippujen käytöstä on kuitenkin se, että ne saattavat myös virheellisesti merkitä kelvolliset matkapuhelinnumerot otoksesta poistamiseksi ja puolestaan ​​vähentää tutkimuksen populaation kattavuutta. Tämä kattavuuden väheneminen voi johtaa ennakkoluuloihin tuloksena olevissa kyselyarvioissa.

Pew Research Center tutki äskettäin näiden lippujen suorituskykyä keskuksen 10 000 tapauksessa, Yhdysvaltain aikuisten kaksikehyksisessä RDD-tutkimuksessa, joka tehtiin vuoden 2014 alussa. Ensisijainen havainto on, että vaikka väestön kattavuus pieneni mitattavasti, vaikutus lopulliseen painotetut arviot olivat pieniä.

Suuri osa matkapuhelimen RDD-numeroista ei toimi

Puhelintutkimuksen tutkijat ovat hyvin kiinnostuneita käyttämään aktiviteettilippuja työkaluna torjumaan nousevia tiedonkeruukustannuksia. Yksi tekijä, joka nostaa matkapuhelinhaastattelujen kustannuksia, on huomattava osuus ei-toimivista numeroista haastattelijoiden valitsemassa näytteessä. Tämä johtaa haastattelijan ajanhukkaan. Työttömien numeroiden ilmaantuvuus Yhdysvaltain matkapuhelimen RDD-kehyksessä oli noin 38% vuonna 2015 Pew Research Center -tutkimusten tulosten perusteella.

Kyselynäytteen toimittajat alkoivat tarjota toimintalippuja vuonna 2012 keinona lisätä haastattelun tehokkuutta. Kuinka lippu luodaan, vaihtelee toimittajien mukaan. Toimittajasta riippuen lippu heijastaa joko tietyn numeron aikaisempaa soittotoimintaa tai reaaliaikaista numeron tilan testausta palveluna tai ei. Pew Research Center arvioi molempia aktiviteettilipputyyppejä liittämällä ne kansallista RDD-tutkimusta varten valittuun matkapuhelinnäytteeseen. Yhdenmukainen muun tutkimuksen kanssa²tutkijat havaitsivat, että reaaliaikaiseen testiin luottava lippu toimi paremmin kuin lippu aikaisemman kutsutoiminnan perusteella. Raportin analyysi perustuu yksinomaan reaaliaikaiseen testilippuun.

Toimintaliput johtavat toimimattomien matkapuhelinnumeroiden, mutta myös joidenkin toimivien, poistamiseen

Täällä tutkittujen vuoden 2014 Pew Research Center -tutkimuksessa valittujen 124 811 matkapuhelinnumeron joukosta noin kuusi kymmenestä (62%) ilmoitettiin aktiivisiksi, lähes kolmasosa (32%) passiivisiksi ja loput (6%) oli tuntematon tila.

Vertaamalla aktiviteettilippuja haastattelijoiden määrittelemiin loppukäyttökohteisiin paljastuu, että vaikka lippu on tarkka useimmissa tapauksissa, on olemassa sekä vääriä positiivisia (aktiivisiksi merkittyjä lukuja, jotka ovat tosiasiallisesti työtön tai ei-asunnossa) että vääriä negatiivisia (numerot merkitty) työvoiman ulkopuolella olevat, jotka ovat tosiasiallisesti työskenteleviä ja

Ilmoitetuista ei-aktiivisista tapauksista 15 prosenttia todettiin työskenteleviksi ja asumiseksi (vääriä negatiivisia). Merkittyjen aktiivisten tapausten joukossa 10 prosenttia todettiin työttömiksi tai asumattomiksi (väärät positiiviset).

Kahden kehyksen puhelinnäytemallien peittoaste pienenee

Väärät positiiviset ovat periaatteessa vaarattomia, lukuun ottamatta tehokkuuden menetystä. Väärät negatiiviset tekijät voivat kuitenkin vähentää tutkimuksen kattavuutta. Tämä lisää kattamattomuusvirheiden riskiä, ​​jolloin ihmiset, joilla on mahdollisuus ottaa otos tutkimukseen, eroavat niistä, joilla ei ole mahdollisuutta tulla valituksi, mikä johtaa puolueellisuuteen tutkimuksen arvioissa.

Pew Research Center arvioi, että 8% kaikista Yhdysvalloissa toimivista asumispuhelimista on virheellisesti merkitty passiivisiksi, mikä on useita pisteitä korkeampi kuin edellisessä raportissa kerrottiin.³Yhdessä sen tosiasian kanssa, että 91% yhdysvaltalaisista aikuisista omistaa matkapuhelimen, tulos on seitsemän prosenttiyksikköä pienempi Yhdysvaltain aikuisten näytteen peitto. Kansallisen matkapuhelinnäytteen kohdalla tämä vähentää yhdysvaltalaisten aikuisten arvioitua kattavuutta noin 91 prosentista 83 prosenttiin.⁴

Nämä nettoprosentit perustuvat tautien torjunnan ja ennaltaehkäisyn keskusten tammikuusta kesäkuuhun 2015 tekemän kansallisen terveyshaastattelututkimuksen arvioihin, joiden mukaan 3 prosentilla aikuisista ei ole puhelinta ja toisella 6 prosentilla on kiinteä puhelin mutta ei matkapuhelinta. Aikuisten kansallisten RDD-tutkimusten osalta kiinteän verkon otoksen sisällyttäminen vähentää huomattavasti kattavuuden vähenemistä ilmoittamattomien passiivisten lukujen poissulkemisesta (97 prosentista 93 prosenttiin eikä 83 prosenttiin).

On mahdollista välttää kattavuuden vähentäminen käyttämällä aktiviteettilippuja ilmoittaaksesi ei-aktiiviset numerot sen sijaan, että ne kokonaan suljettaisiin pois. Toisin sanoen, huolimatta siitä, että ne on merkitty passiivisiksi, tutkijat valitsevat 50% näistä numeroista ja painottavat sitten tuloksiaan kompensoidakseen pienemmän näytteenottotaajuuden. Heikentynyt tarkkuus ja lisääntyneet kustannukset ovat näiden haittojen alinäytteenoton kaksi haittapuolta - ainakin teoriassa. Alinäytteen korjaamiseksi tapahtuva painotuksen säätö voi lisätä varianssia (heijastuu lisääntyneessä suunnitteluvaikutuksessa⁵) ja vähentää siten arvioiden tarkkuutta. Alinäytteeseen sisältyy myös jonkin osan ilmoitettujen passiivisten numeroiden pitäminen näytteessä, mikä vähentää haastattelijoiden tuottavuutta verrattuna poissulkemismenetelmään. Ottaen huomioon, että aktiviteettilipun liittäminen maksaa tällä hetkellä 7 senttiä numeroa kohden, nettokustannussäästöt voivat parhaimmillaan olla osittaisen otantamenetelmän mukaan marginaalisia.

Vastaajat, joilla oli ilmoitettu ei-aktiivisista numeroista, olivat yleensä nuorempia, vähemmän koulutettuja, rodullisesti monimuotoisempia

Liputtamattomat ei-aktiiviset vastaajat ovat nuorempia, vähemmän koulutettuja ja alhaisempia tuloja kuin ilmoitetut-aktiiviset vastaajat. He ovat myös todennäköisemmin mustia ei-latinalaisamerikkalaisia ​​ja vähemmän todennäköisesti rekisteröityneet äänestämään tai naimisiin kuin ilmoittautuneet aktiiviset vastaajat.

Kaikkia näitä väestöryhmiä pidetään vaikeasti saavutettavissa tutkimuksissa, koska ne eivät todennäköisesti vastaa. Tyypillisesti niitä joko ei löydy tuloksena olevasta vastaajan otoksesta samoilla tasoilla kuin populaatiossa, tai tutkijat kärsivät suurista vaikeuksista ajan tai kustannusten suhteen saadakseen heidät riittävästi edustettua. Merkittyjen ei-aktiivisten tapausten poissulkeminen tai alinäytteistäminen tarkoittaa sitä, että vähennetään niitä vastaajia, joita tutkijoilla on vaikein haastattelu.

Ilmoitettujen passiivisten numeroiden poistaminen ei yleensä vaikuta kyselyarvioihin

Vaikka ilmoitettujen passiivisten matkapuhelinten poissulkeminen vähentää tutkimuksen kattavuutta ja jättää suhteettomasti pois vaikeasti tavoitettavat väestöryhmät, sillä ei näytä olevan merkityksellistä vaikutusta ennakkoluuloihin, ainakin yleisen mielipiteen kyselyissä. Aikuiset, joiden matkapuhelimet on virheellisesti merkitty passiivisiksi, eroavat järjestelmällisesti useista ulottuvuuksista kuin ne, joilla on aktiivisesti merkitty matkapuhelimet, kuten yllä on kuvattu, mutta ne muodostavat liian pienen osan populaatiosta arvioiden tarkoituksenmukaiseen siirtämiseen. Tutkimuksessa 2% kaikista matkapuhelinnäytehaastatteluista ja 1% yhdistetyistä (matkapuhelin plus lankapuhelin) haastatteluista oli aikuisten kanssa, joiden lukumäärä oli virheellisesti merkitty passiiviseksi aktiivisuuslippua käyttämällä.

Arvioidakseen, olisiko ilmoitettujen passiivisten puhelimien poissulkeminen vai alinäytteenotto muuttanut tutkimuksen arvioita, tutkijat loivat kokeellisia painoja, jotka simuloivat kutakin skenaariota. Poissulkemista simuloiva paino seurasi tarkasti kyselyn painotusprotokollaa, mutta heitti 101 haastattelua ilmoitettujen passiivisten matkapuhelinten kanssa. Alinäytteenottoa simuloiva paino (50%: n nopeudella) noudatti myös tutkimuksen painotusprotokollaa, mutta heitti satunnaisen puolet 101 haastattelusta, jossa oli ilmoitettu ei-aktiivisia matkapuhelimia, ja punnitsi tapaukset hylätyssä puoliskossa simuloidun alinäytteen käänteisellä (1/50% = 2).

Analysoitujen 11 yleisen mielipidekyselykysymyksen osalta painotettu estimaatti, joka simuloi liputtamattomien passiivisten matkapuhelinten poissulkemista tai alinäytteistämistä, oli käytännöllisesti katsoen erottamaton lopullisista painotetuista kyselyarvioista. Keskimääräinen ero lopulliseen tutkimuksen arvioon oli lähellä nollaa sekä poissulkemisessa että alinäytteenottosimulaatioissa.

Vaikka täydelliset otosarviot olivat periaatteessa immuuneja aktiivisuuslippujen käytölle, ei ollut selvää, pitäisikö tämä tulos alaryhmiä - varsinkin alaryhmiä, joissa todennäköisemmin matkapuhelimet on virheellisesti merkitty passiivisiksi. Tämän testaamiseksi keskus toisti mustien ja 18–29-vuotiaiden aikuisten analyysin. Mustiin perustuvien arvioiden keskimääräinen ero täydellisistä otosluvuista kohosi hieman 0,4 prosenttiin ja alinäytteenottosimulaatioihin 0,2 prosenttiyksikköön.

Arvioissa, jotka perustuvat 18--29-vuotiaisiin aikuisiin, keskimääräinen ero koko otoslukuun kohosi hieman 0,2 ja 0,1 prosenttiyksikköön poissulkemis- ja alinäytteenottosimulaatioissa. Kokonaispäätelmät eivät kuitenkaan muuttuneet. Monissa yleisen mielipiteen kyselyissä, mukaan lukien suurin osa Pew Research Centerin tekemästä työstä, tämän suuruuserot (eli alle puoli prosenttiyksikköä) ovat liian pieniä aiheuttamaan vakavia huolia puolueellisuudesta.

Kustannus

Tutkimuksen suunnittelijat voivat sulkea pois tai ottaa näytteeksi ilmoitetut passiiviset tapaukset näytteistään ja puolestaan ​​säästää rahaa vähentämällä aikaa, jonka haastattelijat käyttävät manuaalisesti tuottamattomien numeroiden valitsemiseen. Yksi tutkijaryhmä⁶arvioi, että liputtamattomien passiivisten numeroiden pois jättäminen vähensi puhelinhaastatteluihin tarvittavien työtuntien määrää jopa 20 prosenttia. Jotkut kyselytutkimusyritykset sulkevat nyt rutiininomaisesti ilmoitetut passiiviset matkapuhelinnumerot näytteistään tehokkuuden lisäämiseksi.

Tämän analyysin perusteella Pew Research Center päätti luopua aktiivisuuslippujen käytöstä tavanomaisena käytäntönä kyselyssä - ei huolestuneisuuden vuoksi (tutkijat löysivät hyvin vähän), vaan huolestuneesta väestön kattavuudesta. Korkeimman mahdollisen kattavuusasteen ylläpitäminen on aina ollut prioriteetti keskuksen työssä. Toistaiseksi potentiaaliset tehokkuuden lisäykset eivät oikeuta tutkimusten kattavuuden alenemista.