De villedende bilundersøkelsene

KOMMENTAR: De tallrike kvalitets- og kundetilfredshets-undersøkelsene er mer egnet til å villede enn til å veilede. Dette er bakgrunnen for at vi i DinSide Motor i utgangspunktet ikke uttaler oss om kvalitet i våre biltester.

DinSide Motor har opp gjennom årene mottatt hundrevis av eposter og leserinnlegg som oppfordrer oss til inkludere kvalitetsvurderinger i våre biltester.

Vi forstår svært godt at våre lesere hungrer etter slike vurderinger - en bilmodells kvalitet er selvsagt avgjørende for hvordan eierskapet vil oppleves. En bil av dårlig kvalitet vil kunne medføre frustrasjon, tidkrevende telefonsamtaler og verkstedbesøk og - i verste fall - farlige situasjoner. Når garantitiden går ut, vil dårlig kvalitet i tillegg koste penger, både i form av reparasjonsutgifter og risiko for svak annenhåndsverdi.

Eieren av en kvalitetsbil derimot, vil kunne nyte et problemfritt og avslappende bileierskap.

Til tross for dette inneholder altså ikke DinSide Motors biltester et kapittel om kvalitet. Hvorfor?

Upresis kunst

ILLUSTRASJON: Per Ervland Vis mer
«Men for nesten alle de andre bilmerkenes vedkommende, så er resultatene forvirrende, fragmenterte og svært vanskelige å forholde seg til.»


Vel, DinSide Motor tester nye biler. Det betyr at vi rett og slett ikke kan si noe sikkert om testbilenes kvalitet.

Årsaken er at kvalitetsbegrepet har en innebygget problemstilling - graden av kvalitet lar seg kun avdekke over tid. Og fordi vår redaksjon verken omfatter spåmenn eller -kvinner, er det umulig for oss å komme med påstander om hvordan den aktuelle testbilen vil arte seg ett, to eller fem år frem i tid.

De som hevder at de kan si noe vektig om en ny bils kvalitet, hevder nødvendigvis at de kan spå - en kunst de fleste av oss forholder oss skeptiske til.

Gode grunner til å la være

Men det finnes jo haugevis av kvalitets- og kundetilfredshetsundersøkelser knyttet til bil. Kan ikke DinSide Motor lese disse, beregne seg frem til de ulike merkenes kvalitet og deretter si noe om antatt fremtidig kvalitet også for nye modeller?

Vel, det finnes en rekke medier som velger å gjøre nettopp dette. Vi har imidlertid mange og gode begrunnelser for å la være.

Nedtur

For det første har erfaring vist oss at kvalitet ikke er noe statisk begrep i bilindustrien. Mercedes-Benz gjorde det i mange tiår svært godt i de fleste kvalitets- og kundetilfredshetsundersøkelser. Men så kom problemene. Blant annet kan nok tusenvis av Vito-eiere bekrefte at kvalitet ikke var noe kjennetegn ved deres biler.

Opptur

Vi finner også eksempler på det motsatte. De koreanske bilmerkene gjorde det for eksempel svakt i de fleste kvalitetstester og -undersøkelser de første årene. Men det siste tiåret har både Daewoo og Kia oppnådd bedre resultater. Dette gjelder ikke minst Hyundai, som har klatret stadig høyere på mange målinger. Mange Hyundai-eiere har derfor sannsynligvis opplevd et mer problemfritt bilhold enn forståsegpåere hadde forventet.

Vårt poeng er følgende: Det faktum at et bilmerke tidligere har gjort det godt i en kvalitets- eller kundetilfredshets-undersøkelse, er ingen garanti for at merket vil gjøre det godt også i fremtiden.
Og omvendt: Det faktum at et merke tidligere har gjort det dårlig, betyr ikke nødvendigvis at det vil gjøre det dårlig i all fremtid.

Sprikende resultater

«Hyundai tok førsteplassen (av 37) på Reliability Index USA, tredjeplassen (av 15) på Svenskt kvalitetsindex og femteplassen (av 22) på tyske Auto Bilds Qualitätsreport 2008. I NAFs kvalitetsindex ble det bare en 19.-plass (av 22).»
«Hyundai tok førsteplassen (av 37) på Reliability Index USA, tredjeplassen (av 15) på Svenskt kvalitetsindex og femteplassen (av 22) på tyske Auto Bilds Qualitätsreport 2008. I NAFs kvalitetsindex ble det bare en 19.-plass (av 22).»


Et annet stort problem ved disse undersøkelsene, er at resultatene spriker i alle retninger. Riktignok er det enkelte merker som gjennomgående gjør det godt. Toyota er det mest fremtredende blant disse. Dette er årsaken til at vi i enkelte Toyota-tester har gjort unntak fra vår regel om ikke å uttale oss om kvalitet.

Samtidig finnes det merker som gjennomgående gjør det svakt, noe Renault ser ut til å være det beste eksempelet på.

Men for nesten alle de andre bilmerkenes vedkommende, så er resultatene forvirrende, fragmenterte og svært vanskelige å forholde seg til.

Lexus

Ta for eksempel Toyota-merket Lexus. I 2008 gikk Lexus ut som vinner av amerikanske J. D. Powers store kundetilfredshets-undersøkelse. Samme år havnet merket på en respektabel femteplass i Reliability Index Storbritannia.

I Reliability Index USA derimot, havnet Lexus på en ydmykende 33.-plass blant 37 deltakere. Begge undersøkelsene er utført av forsikringsselskapet Warranty Direct og er basert på innmeldte feil fra deres store base av forsikringskunder.

Kia

Eller hva med Kia? En imponerende tredjeplass (av 37) på Reliability Index USA - men 35.-plass (av 37) hos J. D. Power. Og jumboplass (22.) i den nordiske kundetilfredshetsundersøkelsen Autoindex som i Norge publiseres av NAF og organisasjonens medlemsblad Motor.

Cadillac og Isuzu

Cadillac? Andreplass hos J. D. Power, 34.-plass (av 37) på Reliability Index USA.

Isuzu mottok like spredte resultater, men i motsatt rekkefølge: 34.-plass hos J. D. Power, 6.-plass på Reliability Index USA.

Hyundai og BMW

Hyundai tok førsteplassen (av 37) på Reliability Index USA, tredjeplassen (av 15) på Svenskt kvalitetsindex og femteplassen (av 22) på tyske Auto Bilds Qualitätsreport 2008. I NAFs kvalitetsindex ble det bare en 19.-plass (av 22).

Også BMW er et interessant eksempel. Merket oppnådde i 2008 førsteplass både på Autoindex og Svenskt kvalitetsindex. Merket gjorde det også brukbart hos J. D. Power (7 av 37), Reliability Index UK (9 av 30) og Auto Bilds Qualitätsreport (10 av 22).

I Reliability Index USA derimot, som er basert på hele 450.000 kunders bilproblemer, endte merket opp med en ydmykende 30.-plass.

Vi kunne skrevet side opp og side ned med eksempler på hvor ulike resultater de ulike undersøkelsene presenterer. Vi antar imidlertid at overnevnte eksempler holder for å underbygge vårt poeng:

Det er så store sprik de ulike undersøkelsene i mellom, at de samlet sett er langt mer egnet til å forvirre enn til å veilede.

Stor forsinkelse

Også hvis vi går de enkelte undersøkelsene etter i sømmene, avsløres store svakheter. For det første vil undersøkelsene alltid være belemret med en relativt stor forsinkelse i tid. Både undersøkelsene som baserer seg på intervjuer og de som baseres på nødstopp, bruktbilforsikring og periodiske kjørtøykontroller er - som vi understreket tidligere - avhengig av at det går tid før det foreligger meningsfulle data.

De aller fleste undersøkelser tar derfor utgangspunkt i minimum tre år gamle biler. Det betyr at det oppstår et stort tidsgap mellom bilene som er undersøkt på den ene siden - og bilene merkene faktisk produserer og selger i dag på den andre.

Statistisk grunnlag

Også klassiske statistiske problemstillinger er interessante i denne sammenhengen. Hvor stort er for eksempel det statistiske grunnlaget for de mindre bilmerkene?

Enkelte produsenter av undersøkelser utelater mange bilmerker grunnet svakt statistisk grunnlag. Vi har imidlertid ingen garanti for at alle som gjennomfører bilundersøkelser er like etterrettelige på dette området.

Det er også verdt å merke seg at noen kundetilfredshetsundersøkelser kun inkluderer merkene til importører/produsenter som er villige til å betale for å delta i undersøkelsen.

Feilenes alvorlighetsgrad


Når det gjelder undersøkelsene som baserer seg på periodiske kjøretøykontroller, er også feilenes alvorlighetsgrad en interessant problemstilling. Fikk merket en dårlig score fordi en stor andel eierne hadde glemt å skifte baklyspære? Eller fordi det var alvorlige feil med bremseslangene?

Også undersøkelsene som baserer seg på innrapportering av feil til selskaper som tilbyr betalt bruktbilgaranti, kan være problematiske. I prosenttallene som oppgis til media, fremgår det ikke alltid hvilken hvor stor del av de negative prosenttallene som skyldes feil på hanskeromslokk - eller hvor stor andel som skyldes motorhavari.

Kjørelengde

Et annet, viktig fenomen som ofte overses, er kjørelengde. Den svenske Bilprovningen er blant dem som sender ut store feilprosent-rapporter uten å korrigere for kjørelengde. En bil med svært høy kjørelengde vil åpenbart ha større sannsynlighet for feil enn en bil med lav kjørelengde.

Forventninger og følelser

Og hva med eierne? Hadde de høye eller moderate forventninger da bilen ble kjøpt? Hvordan vil disse forventningene påvirke svarene når de blir intervjuet av ulike kundetilfredshetsundersøkelser?

Vil for eksempel Subaru-eieren ha høye forventninger, og dermed være streng i sin dom hvis vedkommende opplever problemer?

Og hva med italofile Alfa Romeo-eierne? Har de like høye forventninger til kvalitet? Eller vil de gi positive tilbakemeldinger så lenge problemene med deres elskede Alfa ikke blir altfor kostbare?

Og hva med intervjuobjektet som har umiddelbare planer om å selge bilen sin? Vil vedkommende være ærlig å fortelle at eierskapet har vært preget av feil og problemer? Eller vil et slikt ærlig svar føre til negative resultater for merket - noe som vil gjøre det vanskeligere å selge bilen?

Service og vedlikehold

Er Fiat- og Kia-eierene like flinke som Audi- og BMW-eierne til å vaske, polere og å følge foreskrevet serviceprogram?

Biler som har fått godt stell og som har fulgt alle servicer vil normalt ha få feil når de kalles inn til periodisk kjøretøykontroll. I hvert fall færre feil enn bilene til eiere som sluttet å gjennomføre service da nybilgarantien gikk ut. Biler som følger service vil også ha redusert risiko for nødstopp og dermed komme bedre ut på nødstopp-statistikkene.

Ingen undersøkelser vi har vært borti tar hensyn til denne problemstillingen.

Kjørestil

« Og hva med intervjuobjektet som har umiddelbare planer om å selge bilen sin? Vil vedkommende være ærlig å fortelle at eierskapet har vært preget av feil og problemer?»


Hvor hardt kjører eieren bilen? Det er ikke unaturlig å anta at eiere av dyrere, tyske premiumbiler belaster disse hardere enn den gjennomsnittlige Mazda-, Suzuki- eller Toyota-eieren.

Men ingen undersøkelser har mulighet til å ta kjørestil med i beregningen.

Hvilke mennesker svarer?

Og når det gjelder kundetilfredshets-undersøkelsene spesifikt - hvilken type mennesker er det som tar seg tid til å svare på disse? Og hvilke legger på røret?

Vi som leser statistikkene vet ingen ting om dette, men slike problemstillinger kan ha betydning for de ulike bilmerkenes resultater.

Ville vært fint

Vi har et realistisk forhold til de mange undersøkelsene som forsøker å si noe om de ulike merkenes kvalitet. Selvsagt ville det vært fantastisk å kunne gi sikre uttalelser om den fremtidige kvaliteten på bilmodellene vi tester. Du som leser ville selvsagt opplevd slike uttalelser som særdeles verdifulle råd.

Men som vi her har forsøkt å fortelle, så er ikke dette mulig. De mange kvalitets- og kundetilfredshetsundersøkelsene er rett og slett ikke så meningsfulle og interessante som de utgir seg for å være.

I stedet har vi valgt å legge stor vekt på nybilgaranti her på DinSide Motor. I dag selges de fleste bilmerker i Norge med tre år garanti. Ja, det finnes til og med merker som tilbyr fem år. Nybilgarantien gir deg sikkerhet mot overraskende utgifter de første årene - i motsetning til de mange bilundersøkelsene.

OPPSUMMERING:
  • Vi tester nye biler. Kun tiden kan avsløre om disse er av god eller dårlig kvalitet.
  •  
  • Bedømming av nye bilmodeller ut fra hvordan merket har gjort det i tidligere undersøkelser er problematisk. Dette fordi de aller fleste undersøkelsene til enhver tid vil være minst 3 år på etterskudd. Fordi det finnes flere eksempler på at de ulike merkenes kvalitet varierer over tid, vil gamle resultater ikke nødvendigvis ha gyldighet for dagens modeller.
  •  
  • Resultatene fra de ulike undersøkelsene er ikke konsistente. De fleste merkene bedømmes ulikt i ulike undersøkelser. Enkelte merker gjør det til og med svært godt i noen undersøkelser og svært dårlig i andre.
  •  
  • Det statistiske grunnlaget kan i enkelte undersøkelser være svært tynt for enkelte merkers vedkommende.
  •  
  • Vi vet ikke alltid så mye om bilene eller feilene:
  • 1. Hvor langt har de kjørt? Er det signifikante variasjoner merkene i mellom?
    2. Hvor hardt er de kjørt? Er det signifikante variasjoner merkene i mellom?
    3. Er service-programmet fulgt? Har bilen ellers fått god pleie? Er det signifikante variasjoner merkene i mellom?
    4. Er den avslørte feilen alvorlig eller bagatellmessig?
     
  • Vi vet lite om intervjuobjektene i kundetilfredshetsmålinger:
  • 1. Hvorfor er noen eiere villige til å svare og andre ikke? Er det signifikante variasjoner merkene i mellom?
    2. Hadde de høye eller lave forventninger til kvaliteten da de kjøpte bilen? Hvordan påvirker disse forventningene deres svar? Er det signifikante variasjoner merkene i mellom.
    3. Hvilke motivasjon har eieren for å gi et ærlig svar? Er det signifikante variasjoner merkene i mellom?
     



    Her finner du en fullstendig liste over nybilgarantiene som tilbys i Norge.

    Her er noen av de bilundersøkelsene vi har omtalt:
    J. D. Power
    Warranty Direct
    Norsk Kundebarometer (forhandlere)