Consumenten beoordelingen vaak gekleurd en ongenuanceerd
Er stond een intrigerend bericht in de Telegraaf afgelopen vrijdag (26 oktober). Het ging over het feit dat consumenten steeds meer wantrouwen hebben ten opzichte van de beoordelingen van hun mede consumenten. Juist nu er uit allerlei onderzoeken blijkt dat de consumenten wel veel waarde hechten aan de meningen van anderen. Eerder schreef ik al over de noodzaak om de integriteit van het referentie systeem te bewaken. Het blijkt nu dat partijen als Vergelijk.nl erachter komen dat de meningen van de consumenten gekleurd zijn. Alleen degenen die extreem zijn in hun oordeel blijken hun mening te geven (positief of negatief) en proberen bovendien elkaars mening te neutraliseren.
Uit onderzoek van Vergelijk.nl blijkt dat de meningen pas waardevol zijn wanneer het er meer dan 20 zijn, en wanneer de consument van tevoren de mening van de ander niet heeft gezien. Vergelijk.nl gaat nu de mening van experts meewegen in de beoordeling. Daarbij maakt ze gebruik van Hetbesteproduct.nl. Vergelijk.nl krijgt dagelijks 100.000 bezoekers.
Ook Kieskeurig.nl gaat zijn referentiesysteem wijzigen. In de toekomst wil zij de mening van terzake deskundige bezoekers zwaarder laten meewegen dan van ‘gewone’ consumenten. Hoe zij dat wil gaan doen is overigens (mij) nog niet duidelijk.
Ik ben benieuwd wat hierbij een best practice wordt. De fysieke producten sites zijn hierbij voorloper. Lastiger is het voor de sites die dienstverleners aanbiedt. Hoe beoordeel je immers op een objectieve manier de kwaliteit van een dienstverlener? Dat kost veel geld. Overigens denk ik dat een gesloten systeem hier aanzienlijke voordelen biedt. Daarmee bedoel ik dat diegene die een mening geeft bekend is bij de site. Door de anonimiteit weg te halen zal er een groot deel van de extremiteit in de meningen verdwijnen. Wat dat betreft is het wel triest om te zien hoe mensen reageren onder de dekmantel van anonimiteit.
Ebay heeft een gesloten systeem dat (volgens mij) goed werkt. Ook bij de grote sites in de VS zie je dat dienstverleningssites als Elance en Servicemagic.com een referentiesysteem hebben dat goed werkt. Hierbij denk ik overigens ook dat Business to Business minder vervuiling oplevert dan Business to Consumer.
Reacties op dit bericht:
Ik ben ook bezig een vergelijkingssite op te zetten. So far is ons plan om alleen met volledige naam geregistreerde bezoekers reviews en ratings te laten plaatsen. Omdat het product zich niet makkelijk op objectieve factoren laat vergelijken, willen we relatief veel van de bezoeker weten over zijn ervaring. Dat maakt de drempel ook hoger om te reviewen, en daarmee hopelijk de kwaliteit.
Voor de aanbieders die op de site te vinden zullen zijn, is het dus zaak om snel mee te doen, zodat ze veel (positieve) reviews kunnen verzamelen.
Ik kan me goed voorstellen dat de mening van experts nu ook weer belangrijker wordt gevonden. Maar de waarde zit hem toch echt in de mix. Als een expert alleen genoeg was, was de consumentenbond de machtigste online vergelijker, en dat zijn ze bij lange na niet.
Volgens mij is het ook van belang om rekening te houden met bedrijven. Ik heb de indruk dat sommige bedrijven zichzelf d.m.v. commentaren in een positief daglicht proberen te zetten terwijl ze hun concurrenten juist in een negatief daglicht proberen te stellen.
Is een schandpaal, indien het bekend wordt, té radicaal of wellicht een handig middel om misbruik te voorkomen?
alaTEST (
http://alatest.nl) berekent een maat voor de kwaliteit van een produkt gebaseerd op alle expert reviewcontent en beoordelingen in de database. Resultaat is een beoordeling van het produkt, relatief aan alle andere produkten uit dezelfde produktcategorie. Dit is de meest objectieve manier om een kwaliteitsoordeel te verbinden aan een produkt. De beoordeling die alaTEST geeft moet als volgt geinterpreteerd worden: Het produkt met de hoogste score is het beste produkt vergeleken met de andere produkten uit dezelfde categorie. Dit is dus niet een absoluut oordeel maar altijd relatief aan alle andere produkten in die categorie.
alaTEST geeft ook de mogelijkheid voor shops en agents de reviewcontent te tonen op de site.
Ik heb de indruk dat de waarde van deze informatie begint door te dringen binnen ecommerce en vooral shops minder bang zijn om het oordeel van gebruikers en experts over de geboden produkten rechtstreeks aan te bieden aan de klant.
De informatie is toch vrij beschikbaar, waarom deze dan
niet rechtstreeks aan je klanten aanbieden? Ook de transtitie van prijsvergelijkingssites naar produktvergelijkingssites begint zich af te tekenen. De toevoeging van expert reviews door sites als Vergelijk wijst hierop. Ook hier wordt zoveel als mogelijk informatie op een plek aangeboden.
Komt bij dat dmv het aanbieden van de mening van expert je de bezoekers stimuleert zelf ook hun gefundeerde mening te geven en zo de UGC.
Wellicht ten overvloede alaTEST voorziet hierin,
http://alatest.nl
Erik: Interessant, maar je verhaal doet wat spammerig aan als je nergens een directe link legt met het artikel.
Hoe werkt dit als je productcategorieen niet bestaan: i.e. het is moeilijk te bepalen in welke categorie een product zit. Dat is immers de transitie waar je het over hebt, een product heeft meer variabelen die niet matchen dan een prijs. (denk aan opleidingen bijvoorbeeld)
En wat gebeurt er als er uit een categorie maar een paar producten een beoordeling hebben? Is er dan altijd 1 "de beste" of "goed", ook als de beoordelingen allemaal negatief waren?
En wat doen jullie met het verschil tussen expert en gebruikersreviews? Hoe wegen die tegen elkaar?
Volgens mij is de link met het artikel overduidelijk. De link ligt hem in het feit er een mijns inziens waardevol alternatief is voor gebruikersmeningen en wel die van de experts en alaTEST stelt zich tot doel op basis van de verzamelde beoordelingen een zo objectief mogelijk oordeel voor de kwaliteit van het produkt vast te stellen.
Mbt tot je vragen, Ruben:
De produktcategorieen waar ik op doel zijn die waar veel review informatie beschikbaar is. Automatisch kom je dan bij produktcategorieen als digitale camera's, GPS sytemen, mp3 spelers, consumentenelektronica. Dit zijn dan ook in eerste instantie de categorieen waar prijsvergelijkers de mogelijkheid hebben expert reviews te tonen. Ik verwijs ook naar hetbesteproduct die zich ook op dit soort categorieen concentreert. Vergelijk toont ook reviews in dergelijke categorieen.
Aangezien we een RELATIEVE beoordeling berekenen, komt er altijd een product als beste uit de bus. Stel dat alle mp3 spelers slecht beoordeeld worden, dan is toch minstens een aan te wijzen die beter is dan alle andere. Dit is wat wij doen.
Op het gevaar af dat dit een te lang verhaal wordt wil ik toch even toelichten de wijze waarop wij de score berekenen. Bij voorbaat mijn excuses, Eduard.
Expert reviews worden eerst geanalyseerd per bron. Een bron die in een bepaalde categorie veel testen heeft is doorgaans meer geloofwaardig dan een bron met weinig testen in die categorie. Daarnaast is er nogal verschil in het "beoordelings patroon" van een bepaalde bron in een bepaalde categorie, vergeleken met het algemene beoordelingspatroon van alle wereldwijde bronnen in die categorie. Wij normalizeren dit gedrag, zodat een over-positieve of over-negatieve bron ook op dezelfde beoordelings-verdelings-curve komen.
Daarnaast zijn er nog een aantal andere gequantificeerde faktoren die rol spelen in de relatieve beoordeling per bron per categorie.
Consumenten Reviews worden geanalyseerd zonder dat de "bron" enige rol speelt. Het is nl. niet te zeggen dat een consument bij Kieskeurig een ander patroon zou hebben dan eventueel dezelfde consument bij ciao.de. alaTEST heeft momenteel meer dan 1,1 Miljoen CR's en die worden als geheel, per categorie, geanalyseerd en ook weer op dezelfde gemiddelde experten-beoordelings-patroon schaal genormaliseerd.
Daarnaast wegen professionele reviews minimaal 5 x zwaarder dan CR, nog voordat dit gewicht bij de ER's door de bovengenoemde faktoren verhoogd worden. Dus als een nieuwe Expert Bron slechts 1 review heeft gemaakt in een bepaalde categorie, weegt dit resultaat toch minimaal 5 x zwaarder dan een CR.
Daarnaast hebben we ook een datum-faktor per categorie ingebouwd, omdat sommige produkten sneller verouderen dan nieuwe (mobieltjes of tuinharken).
Om genoeg resultaten te hebben om een relatief betrouwbare alaSCORE te berekenen moeten minimaal 10 "Testpunten" behaald worden. Een ER met testresultaat telt voor 5 punten, een CR voor 1 punt.
Daarnaast hebben we een maximale alaSCORE voor produkten die enkel CR's hebben...
en daarnaast zijn er nog een 15 tal faktoren in deze gecompliceerde algorithmes. Het heeft meer dan 2,5 jaar werk en testen gekost voor een aantal mathematici, en het werk is natuurlijk nog steeds niet af en nog bijna maandelijks aan aanpassingen onderhevig.
We willen allemaal een waterdicht en 100% betrouwbaar advies over de kwaliteit van een produkt, vandaar al die reviews en de interesse erin.
Dit is het doel van alaTEST en de alaSCORE.
Ik ben zelf geen internet marketing expert, maar toch moet ik dit even melden. Inderdaad, heel vaak wantrouw ik de reviews bijvoorbeeld op kieskeurig, over een bepaald product waar ik juist goede ervaringen mee heb, dan den ik toch dat er iets mis is, msnhacken