Kyselemällä kaseikkoon

9.3.2009    Jari Parantainen   8 kommenttia

Kun tapaat mainosmyyjän, hän levittää eteesi vakuuttavia piirakoita ja käyriä. Vain hölmö uskoo niitä. Tulokset on kehitetty tavalla, joka ei kestä kriittistä tarkastelua.

Sain helmikuussa sähköpostin, joka rekrytoi tilaajia Talentumin lehtien ilmoitustesteihin, bränditutkimuksiin ja lehden sisältöön koskeviin selvityksiin.

Liityin heti mukaan. Olin utelias näkemään, miten esimerkiksi Talouselämä-lehti testaa mainoksiaan.

Kuten arvelinkin, verkkokyselyt ovat olleet melkoista höttöä.

Olen napannut tähän näytteitä 2.3.2009 tehdystä tutkimuksesta. Sen ensimmäinen kohta varmistaa, että olen lukenut lehden.

Totta Mooses olen aviisini selannut – tämähän alkoi helposti!

Seuraavaksi ruudulle pätkähtää Avensiksen kuva. Kysymys kuuluu: ”Huomasitko ilmoituksen lehteä aiemmin lukiessasi?” 

Huomasitko ilmotuksen lehteä aiemmin lukiessasi?

Talouselämä-lehden "tutkimus" 2.3.2009, kysymys 2

Sorry vain Toyotan mimmit & poitsut: mainos oli lipunut silmieni editse muistijälkeä jättämättä. Joudun vastaamaan kielteisesti.

Eteenpäin: ”Mitä ajatuksia tämä ilmoitus sinussa herätti?”

Jos näkisin pelkän kysymyksen, ajattelisin, että tutkimus on vain niin tyhmä, ettei se osaa tulkita edellistä vastaustani. Ei liene mitään järkeä kysellä ajatuksiani, jollen havainnut koko ilmoitusta.

Tilanne on kuitenkin mutkikkaampi. Kysymyksen yläpuolella on ilmoituksen kuva uudelleen tähän tapaan: 

Mitä ajatuksia ilmoitus sinussa herätti?

Talouselämä-lehden "tutkimus" 2.3.2009, kysymys 3

Haluaako tutkija oikeastaan selvittää, mitä mieltä olen ilmoituksesta tuon kuvan perusteella? Siis vaikken aukeamaa alun perin lehdestä äkännytkään.

Jos tarkoitus on udella näkemystäni ilman originaalia, homma menee entistä pahemmin kaseikkoon. Mainoksen kuva on niin pieni, ettei ilmoituksen tekstiä pysty lukemaan.

No, ehkä vain ajattelen liian mutkikkaasti. En jää Toyotan eteen makaamaan. Vuorossa on neljäs kysymys:

Miten hyvin seuraavat väittämät kuvaavat mielestäsi ilmoitusta?

Talouselämä-lehden "tutkimus" 2.3.2009, kysymys 4

Tutkija utelee mielipiteitäni: ”Miten hyvin seuraavat väittämät kuvaavat mielestäsi ilmoitusta?”

  • Mainos sai minut kiinnostumaan tuotteesta/palvelusta
  • Onnistunut ulkoasu
  • Antaa luotettavan kuvan tuotteesta / palvelusta
  • Antaa olennaista tietoa tuotteesta / palvelusta
  • Lisää ostokiinnostusta tuotetta / palvelua kohtaan
  • Luo positiivisen kuvan tuotteesta / palvelusta
  • Pidin mainoksesta
  • Mainos ärsytti minua

Kuhunkin kohtaan on tarjolla kolme vaihtoehtoa (3 = hyvin, 2 = kohtalaisesti, 1 = huonosti). Tilanne muuttuu aina vain hämyisemmäksi.

On huolestuttavaa, että mainostaja utelee mainosta koskevia mielipiteitäni. Niillä kun on hyvin vähän tekemistä ilmoituksen maksajan tavoitteiden kanssa.

Mainoksen pitäisi lisätä myyntiä. Sillä ei pitäisi olla merkitystä, mitä mieltä olen taittajan, copywriterin tai valokuvaajan taidoista. Näillä asioilla ei ole suoraa yhteyttä.

Marketin hyllynreunassa on iso keltainen hintaräiskäle. Yksikään asiakas ei myönnä pitävänsä sen ulkonäöstä. Kuitenkin se saattaa lisätä murojen myyntiä enemmän kuin yksikään tyylikäs taidepläjäys ikinä.

Lisäksi viimeinen kohta (”Mainos ärsytti minua”) on mainio esimerkki, miten kyselyjä tehtailevat säheltävät.

Oletetaan, että mainos otti pannuun. Pitäisikö siis vastata, että se ärsytti hyvin? Vai että se ärsytti huonosti?

Viides kysymys koskee itse tuotetta: ”Millaisen mielikuvan mainos antoi tuotteesta/palvelusta?” Tähän pitäisi päättää pisteet yhdestä seitsemään, asteikolla erittäin huonosta erittäin hyvään.

Rasti on vaikea. Haluaako kysyjä todella tietää, kuinka hyvin reklaami onnistui muuttamaan tuotetta koskevia näkemyksiäni (omasta mielestäni)? Vai kenties sitä, tekikö se oikeutta hyväksi tai huonoksi tietämälleni/olettamalleni tuotteelle? Vai jotain muuta?

Entä jos en pysty muodostamaan mielipidettäni, koska en ymmärrä kysymyksen tarkoitusta? Vaihtoehtoa ”en osaa sanoa” ei tietenkään ole tarjolla.

Vastaan siis jotain summamutikassa.

Lopuksi kysely vielä selvittää, päätänkö tuotteen hankinnasta, olenko ylipäätään kiinnostunut tuotealueesta ja onko ilmoitus saanut piipahtamaan mainostajan kotisivulla. Nämä ovat sentään selkeitä asioita, joihin on helppo vastata.

Se yksityiskohdista. Lisäksi koko tutkimusasetelma mättää.

Mitä luulisit tapahtuvan, kun olen vastannut samanlaiseen selvitykseen kerran tai pari? 

Alan tietenkin tarkkailla Talouselämän sivuilla esiintyviä mainoksia jo etukäteen!

En oikeastaan haluaisi tehdä niin. Mutta toisaalta tiedän, että pian joudun asiasta tilille. Houkutus on vastustamaton. Tutkimus alkaa vaikuttaa itse omiin tuloksiinsa.

Mainostaja tulee näkemään tilastolukuja, jotka todistavat, että hänen ilmoituksensa jäävät lukijoiden mieliin viikko viikolta aina vain paremmin!

Lopuksi vielä näyte saman kyselytutkimussarjan Tekniikka & Talous -lehden osuudesta, joka kysyy näkemystäni työpaikkailmoituksesta:

Puuttuuko kyseisestä työpaikkailmoituksesta jotain?

Tekniikka & Talous -lehden "tutkimus" 4.3.2009

Mitä mainoksesta sinun mielestäsi puuttuu?

Huomaa, että jos klikkaat kuvan täyteen kokoonsa, se on edelleen lukukelvottoman pieni. Näyte on tässä juuri samassa koossa kuin se esiintyi alkuperäisessä yhteydessään.

Näistä ”tutkimuksista” lehtiyhtiön ilmoitusmyyjä aikanaan repii piirakoita ja käyriä, joilla hän todistaa tuotteidensa kiistattoman tehon.

Koska valtaosa mainoksista on pelkkää rahan haaskausta, ne menevät kaupaksi vain riittävän hyväuskoisille hölmöille.

 (0)



8 kommenttia

  1. Katleena kirjoitti:

    Kiitos Jari mainiosta tekstistä, joka käsitteli sydäntäni lähellä olevaa aihetta, tutkimuksia ja niiden kysymyksenasetteluja.

    Haastattelututkimusten kysymyksissä on aivan liian usein kielellisiä ja loogisia vaikeaselkoisuuksia, joihin ei pysty vastaamaan. Niinpä useimmat vastaajat tekevät kuten sinä ja minä: "Roiskaisenpa tähän jotakin."

    Loppujen lopuksi tutkimusyritys ja sen asiakas saavat käyttöönsä epävalideja tuloksia - ja aivan ansaitusti.

    1) Jos tulokset ovat toivotunlaisia, ne tietenkin hyväksytään ja niitä esitellään asiakkaille.

    2) Jos taas tulokset ovat ei-toivottuja, voidaan todeta kimpassa, että tulokset ovat itse asiassa epäluotettavia, koska vastaajat ovat käsittäneet meidät väärin. Epäloogiset kysymykset nimittäin tuottavat epäloogisia vastauksia, mikä on nähtävissä tuloksissa.

    Tätä voidaan kutsua myös itsepetokseksi.

     (0)
     (0)
  2. Anssi kirjoitti:

    Aikanaan vastailin noihin tutkimuksiin ja tulin samaan lopputulokseen, ettei niiden lopputuloksilla voi olla tutkijalle mitään arvoa. Olenko naiivi vai kyyninen, kun mieleeni on juolahtanut, että yhden lahjalehtitilauksen kustannuksella saadaan hyvin potentiaalinen asiakaskunta selaamaan ko. lehtien mainokset viikosta toiseen läpi hyvin suurella pieteetillä?

    Jari, kiitokset erinomaisista blogeista!

     (1)
     (0)
    • Jari Parantainen kirjoitti:

      Kiitos Anssi,

      Saattaapa olla, että olen itse lapsellinen (tai tietenkin olenkin), kun en tullut edes ajatelleeksi tuollaisen mainosten ohjatun luetuttamisen mahdollisuutta. Joka tapauksessa toistuvat kyselyt vaikuttavat aivan varmasti niin, että lukijan tilanne on kaukana spontaanista.

       (0)
       (0)
  3. Anne kirjoitti:

    Ainoa syy, miksi vastaan noihin tutkimuksiin on, että ahkeruuteni palkitaan jossain vaiheessa ja voin saamallani lahjakortilla viedä penskat mäkkäriin syömään. Muutoin edellä on tyhjentävästi kerrottu mielipiteissä moisten tutkimusten merkitys.

     (0)
     (0)
    • Jari Parantainen kirjoitti:

      Anne,

      Luultavasti meistä aika moni toimii juuri noin. Kun tutkimus alkaa vaikuttaa aivan sekavalta, helpointa on vain lätkiä ruutuun jotain ja painaa enteriä. Todennäköisesti etenkin pitkien kyselyjen loppupuolen vastaukset ovat valtaosin tuota "joko tämä pian loppuu" -tyyppisiä huitaisuja.

       (0)
       (0)
  4. Milli Magia kirjoitti:

    Kiitos Jari taas pätevästä kommentoinnista ja blogista. Itsekin olen kuulunut jo usean vuoden vastaavaan raatiin. Välillä oikein naurattaa, tai hymyilyttää nyt ainakin, kun vasta raadin kyselyn kautta huomaan jonkun lehden ilmoituksen. Oikeasti, ketä kiinnostaa automainokset, jos et ole vaihtamassa entistä tai silmalasimainos- jos et sellaisia käytä?

    Ehdottomasti olen samaa mieltä, että kysymyksen asettelut ovat naiiveja. Entisessä työpaikassani sainkin noiden tutkimusten tuloksia yrityksemme ilmoituksista nähtäväkseni. Yllättäen ei kovinkaan kriittisiä avoimia vastauksia tullut esiin.

    Sanoisin niiden olevan rahastusta maksavilta ilmoitusasiakkailta, muka vakuuttelua siitä että ilmoituksia luetaan ja toisaalta olen samaa mieltä siitä, että raadin kautta saadaan siihen osallistuneita kiinnittämään edes niihin ilmoituksiin tarkempaa huomiota.

    Nimimerkki; ässä-arpaa taas odotellessa

     (0)
     (0)
  5. jonne kirjoitti:

    Hyvä artikkeli aiheesta. Oman kysymykseni mukaan näissä tutkimuksissa syyllistytään haastattelun/kyselyiden kuolemansynteihin ihan poikkeuksetta. Munimista tapahtuu ainakin seuraavissa asioissa:

    1. Skaala - tuollainen kolmiportainen systeemi ei kerro mitään mistään ja lisäksi arvojen välistä suhdetta on hankala todentaa (Esim hyvän ja kohtalaisesti välinen ero ei välttämättä ole sama kuin huonon ja keskiverron). Hyvissä kyselyissä skaala on vähintään 1-5 + eos, toinenvaihtoehto 1-7 + eos.

    2. Johdattalevat kysymykset - osa kysymyksistä asetetaan johdttelevasti, jopa painostavasti. Kauppakorkeasta valmistunut markkinointi-Niilo voi toki näin paukuttaa henskeleitään, mutta useinpa näin varmistetaan se ettei kysely kerää sitä tärkeintä tietoa.

    3. Ladatut kysymykset - utelut asetetaan niin että vastaaja tuntee itsensä miltein syylliseksi jossei vastaa tietyllä tavalla.

    4. Arvausleikit - kysymyksissä aletaan jossittelemaan ja esittämään arvailuja kyselyyn osallistujan mieltymyksiä tilanteissa joista vastaajalla ei ole kokemusta tai tosiasiallista tuntumaa.

    Eniten ehkä harmittaa siksi, että "brändin" arvoa on hankala mitata ja toisaalta mainoskamppisten vaikutusta siihen pitäisi jollakin tapaa kuitenkin pysytä todentamaan (suoraa myyntiä tietysti lasketaan kassakoneesta). Suuntaus on oikea, mutta kyselijöiden tutkimustaidot nähtävästi lähellä nollaa :(.

     (0)
     (0)
    • Jari Parantainen kirjoitti:

      Jonne,

      Kiitos kommentistasi, osut naulan kantaan! Huvittavaa kyllä, tuon tutkimuksen laatineen firman (Kuulas Millward Brown) verkkosivuilla sanotaan näin: "Älykkäästi rakennettu tutkimus voi avata huikeita näköaloja uusiin bisnesmahdollisuuksiin. Uutta ja arvokasta voi syntyä ainoastaan siitä, että ymmärretään liiketoimintaa ja ihmistä ja mietitään tältä pohjalta, mitä itse asiassa pitäisi tutkia ja miten. Muutoin vain ylläpidetään vanhaa."

      Työn tulokset eivät mielestäni nyt vastaa näitä yleviä päämääriä kovin hyvin.

       (0)
       (0)

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *