Waarom zijn sommige mensen ontevreden over het nieuws? Om deze vraag op grote schaal te onderzoeken, mét de mogelijkheid om door te vragen, ontwikkelden we een grootschalige conversational survey met behulp van een large language model (LLM). Ruim 3.000 mensen spraken met chatbot Noa over waarom zij ontevreden zijn over lokaal, regionaal en landelijk nieuws.
Door Renée van der Nat, Sophie Duvekot, Winnifred Wijnker en Yael de Haan
Stel je voor dat een survey niet begint met een lijst met stellingen en invulvakjes, maar met een gesprek? Een gesprek waarin wordt doorgevraagd en de vraagstelling zich aanpast aan iemands manier van praten. In ons onderzoek naar ontevredenheid over het nieuws hebben 3.107 mensen in Nederland zo’n gesprek gevoerd – niet met een onderzoeker, maar met een chatbot die we speciaal voor dit onderzoek ontwikkelden.
Deze methode maakt het mogelijk op grote schaal inzicht te krijgen in waarom mensen ontevreden zijn over het nieuws. Naast nieuwe en rijke inzichten in hoe mensen nieuws ervaren, bracht deze onderzoeksmethode ook uitdagingen op het gebied van ethiek, ontwerp en techniek met zich mee.
We kozen voor een nieuwe soort onderzoeksmethode omdat we onderzoeksvragen hadden die niet goed konden worden beantwoord met bekendere methoden. We wilden namelijk niet alleen meten hoe ontevreden mensen waren over het nieuws, maar ook duiden waarover ze dan precies ontevreden zijn. Dit vraagt om zowel een kwantitatieve als kwalitatieve onderzoeksaanpak. We wilden dus een onderzoeksmethode ontwikkelen die op de schaal van een survey werkt, maar met de verdieping van kwalitatieve interviewmethoden.
Zoals je hieronder kunt lezen is dat niet helemaal gelukt, want de mogelijkheden om een echt gesprek met een taalmodel vorm te geven zijn vooralsnog beperkt. Wat wel is gelukt, is om de technologie zo in te zetten dat we beter begrijpen waarom deelnemers bepaalde scores geven aan variabelen. De data uit de gesprekken gaven meer details waardoor we de motivaties van deelnemers beter kunnen begrijpen: waarom mensen ontevreden zijn over het nieuws.
Daarnaast ontdekten we in de korte interviews met respondenten ook op welke manier het nieuws volgens hen kan worden verbeterd. Deze inzichten zijn, samen met inzichten uit het vervolgonderzoek, uitgewerkt in een praktische handreiking voor nieuwsredacties die binnenkort op deze website verschijnt.
Heb je vragen over het onderzoek, dan kun je mailen naar renee.vandernat[@]hu.nl.
Deze longread bestaat uit drie delen
Onderzoek naar nieuwsontevredenheid
Nieuwsontevredenheid als concept wordt vaak niet expliciet onder deze noemer onderzocht. Vaak gaat het bijvoorbeeld over mensen die de journalistiek niet vertrouwen, zich richten op alternatieve nieuwsmedia of ervoor kiezen om het nieuws te mijden. Publieksonderzoek laat zien dat mensen het nieuws vaak ingewikkeld vinden, hun leefwereld niet herkennen in het nieuws, of zich overladen voelen door het nieuws (Arguedas et al., 2022; Costera Meijer, 2021; de Bruin et al., 2024). Tegelijkertijd vertaalt ontevredenheid zich niet altijd in minder nieuwsgebruik of lager vertrouwen. Ook mensen die veel nieuws consumeren, zoals gebruikers van alternatieve nieuwsmedia, geven aan ontevreden te zijn (Schwarzenegger, 2022; Van der Nat & De Haan, 2023; Wilner et al., 2021).
Door ons specifiek te richten op nieuwsontevredenheid kunnen we onderzoeken welke factoren hieraan bijdragen. In de wetenschappelijke literatuur worden twee factoren genoemd die bijdragen aan interesse in nieuws en nieuwsconsumptie: de mate waarin mensen zich competent voelen om het nieuws te volgen en de mate waarin zij nieuws relevant vinden (Barchas-Lichtenstein et al., 2021; Schroder, 2019; Silvia, 2008). Deze factoren sluiten aan bij de drie redenen waarom mensen nieuws waardevol vinden: mensen willen iets nieuws leren, zich verdiepen in andere perspectieven, en erkenning voor hun leefwereld in het nieuws (Costera Meijer, 2021). Nieuwsontevredenheid ontstaat wanneer het nieuws onvoldoende in deze behoeftes voorziet.
Veel publieksonderzoek richt zich echter op nieuws in het algemeen, waardoor we weinig weten over hoe mensen nieuws ervaren op nationaal, regionaal of lokaal niveau. Dat onderscheid is relevant voor redacties, omdat het aanpakken van nieuwsontevredenheid op lokaal niveau mogelijk andere strategieën vraagt dan op nationaal niveau.
Hoewel we weten dat mensen die nieuws relevant vinden en zich competent voelen om het te volgen meer geïnteresseerd zijn in nieuws en het vaker gebruiken, is minder duidelijk hoe deze factoren samenhangen met nieuwsontevredenheid. Zo weten we bijvoorbeeld van iemand die aangeeft nieuws ingewikkeld te vinden nog niet wat er aan het nieuws precies ingewikkeld is. Is dat de taal of de inhoud? Of gaat het juist om de context waarin een nieuwsgebeurtenis plaatsvindt? Een vergelijkbare vraag geldt voor de ervaren relevantie van nieuws.
Resultaten
De mate waarin iemand (on)tevreden is over het nieuws hangt sterk samen met nieuwscompetentie en nieuwsrelevantie. Dat betekent dat de door ons gekozen variabelen niet alleen de drijvende kracht zijn achter interesse in het nieuws, maar ook factoren zijn die relevant zijn voor de mate waarin mensen (on)tevreden zijn over het nieuws. Daarnaast vertonen beide variabelen onderling samenhang: dus mensen die nieuws ingewikkeld vinden, vinden het nieuws ook minder relevant.
Verder laat de analyse zien dat nieuwstevredenheid afneemt naarmate mensen hoger zijn opgeleid, ouder zijn en aangeven een open persoonlijkheid te hebben. Daarnaast lijken vrouwen en mensen met een westerse migratieachtergrond minder tevreden over het nieuws. Dit zijn directe verbanden, wat betekent dat nieuwstevredenheid ook door andere factoren dan competentie en relevantie wordt beïnvloed.
Daarnaast ontdekten we dat nieuwscompetentie en nieuwsrelevantie ook verklarende factoren zijn voor nieuwstevredenheid. Mensen die meegaand zijn, voelen zich competenter om nieuws te volgen en zijn daarom tevredener over het nieuws. Mensen die extravert en consciëntieus zijn, vinden nieuws relevanter en zijn daardoor tevredener. Mensen die niet stemmen daarentegen voelen zich minder competent, vinden nieuws minder relevant en zijn daardoor ook minder tevreden. Nieuwstevredenheid hangt dus niet alleen rechtstreeks samen met demografische en persoonlijkheidskenmerken, maar wordt ook beïnvloed door nieuwscompetentie en nieuwsrelevantie.
Wanneer we kijken naar de samenhang tussen verschillende variabelen vinden we geen significante verschillen tussen mensen die vragen hebben beantwoord over lokaal, regionaal of landelijk nieuws. Toch blijken die verschillen wel degelijk te bestaan, zoals blijkt uit de gesprekken met het taalmodel. Uit deze gesprekken komt naar voren dat mensen om verschillende redenen nieuws ingewikkeld of niet relevant vinden.
Bij nieuws over iemands woonplaats of regio herkennen inwoners zich vaak onvoldoende in de berichtgeving. Voor hen is niet altijd duidelijk wat de urgentie van het nieuws is, waardoor ze zich minder verbonden voelen met het nieuws. Vaak geven inwoners dan ook aan zich niet erg verbonden te voelen met hun woonplaats.
Bij nieuws over Nederland ervaren inwoners het nieuws vaak als ingewikkeld en weinig herkenbaar. De berichtgeving is niet altijd eenduidig, waardoor onduidelijk blijft wat er precies aan de hand is. Ook hier geven inwoners aan zich weinig verbonden te voelen met het nieuws. Dit hangt samen met de zwaarte die veel mensen ervaren: nationaal nieuws wordt vaak genoemd wanneer inwoners aangeven zich machteloos of overladen te voelen door het nieuws.
Achter de schermen – het perspectief van onderzoekers
We ontwikkelden de conversational survey omdat we wilden onderzoeken hoe (on)tevreden Nederlanders zijn over het nieuws, hoe dit samenhangt met nieuwscompetentie en nieuwsrelevantie, en waarover zijn dan precies ontevreden zijn. Dit vraagt om een onderzoeksmethode die zowel kwantitatieve als kwalitatieve data kan verzamelen. Meestal lossen onderzoekers dit op door een survey te combineren met interviews – alleen kun je slechts met een kleine gedeelte van je steekproef praten. Wij wilden verkennen of het mogelijk is om mensen op grote schaal te interviewen met behulp van een taalmodel. Daarom ontwikkelden we een conversational survey waarin respondenten in gesprek gaan met chatbot Noa, gebaseerd op het taalmodel Meta Llama 3.
Omdat de onderzoeksmethode conversational survey nog relatief nieuw is – er zijn, zover we weten, slechts twee andere onderzoeken die ook een taalmodel gebruiken om respondenten te ondervragen (Celino & Re Calegari, 2020; Xiao et al., 2020), maar niet binnen een journalistieke context) – bespreken we hier de belangrijkste inhoudelijke, technologische en ethische overwegingen die we tegenkwamen bij het ontwikkelen van deze onderzoeksmethode.
Gesloten vragen combineren met kort AI-gedreven interviews
Elke respondent begon met een kort verkennend interview over hoe zij landelijk, regionaal of lokaal nieuws consumeren. Daarna volgden gesloten vragen over nieuwscompetentie (is nieuws duidelijk of verwarrend?) en nieuwsrelevantie (is nieuws belangrijk, nuttig, herkenbaar?). Wie laag scoorde op nieuwscompetentie of -relevantie werd doorgeleid naar één of twee aanvullende interviews waarin Noa doorvroeg naar de achterliggende redenen (zie figuur 1).
Omdat eerder onderzoek laat zien dat verschillen in nieuwsconsumptie niet uitsluitend door demografische gegevens zijn te verklaren (Gerber et al., 2011; Martin & Sharma, 2023; Sandy et al., 2013), vroeg Noa respondenten tot slot ook naar persoonlijkheidskenmerken, zoals openheid, meegaandheid en extraversie (Konstabel et al., 2012; Rammstedt & John, 2007).
Dataverzameling en -analyse
De conversational survey is afgenomen onder een representatieve steekproef van 3107 Nederlanders, via onderzoeksbureau Ipsos I&O. De gesprekken met de chatbot vonden plaats tussen september en oktober 2024. We ontwikkelden drie versies van de conversational survey: over landelijk, regionaal en lokaal nieuws. Het publieksperspectief op nieuws was hierbij leidend. Daarom vroegen niet wat de respondenten vonden van landelijk, regionale of lokale nieuwsmedia, maar gingen de vragen over ‘nieuws over je woonplaats’ ‘nieuws over de regio waar je woont’ en ‘nieuws over Nederland’. Door te kiezen voor deze formulering krijgt de respondent meer ruimte om zelf in te vullen wat dat betekent voor hen.
De data bestaat enerzijds uit kwantitatieve gegevens die we statistisch analyseerden in R. We verzamelden data over nieuwsontevredenheid, nieuwscompetentie en nieuwsrelevantie, en vroegen respondenten naar persoonlijkheidskenmerken zoals: openheid, meegaandheid, extraversie, consciëntieusheid en neuroticisme. Via Ipsos I&O kregen we daarnaast inzicht in de demografische kenmerken van onze steekproef (N=3.107), namelijk: gender, leeftijd, opleidingsniveau, etniciteit, woonregio en politieke voorkeur.
Om de samenhang tussen deze variabelen te analyseren, gebruikten we een Structural Equation Modelling in R (lavaan.mi package (Vermunt, 2022)). Hiermee konden we ontdekken welke variabelen directe en indirecte invloed hebben op nieuws(on)tevredenheid.
Anderzijds bestaat de data uit korte interviews met vragen van het taalmodel en antwoorden van respondenten. In totaal voerde het taalmodel 635 gesprekken over waarom nieuws ingewikkeld is en 278 gesprekken over waarom nieuws niet relevant is. Deze gesprekken analyseerden we met een protocol voor kwalitatieve inhoudsanalyse.
Keuze voor het taalmodel
In het onderzoek wilden we de dataprivacy voor onze respondenten kunnen garanderen. Daarom was het belangrijk dat een taalmodel op een lokale server kan draaien, zodat alle data die we verzamelen alleen voor ons toegankelijk zijn. Daarnaast is het belangrijk dat de kwaliteit van het Nederlands dat een taalmodel kan genereren goed is. We kozen daarom voor Llama3 van Meta omdat de kwaliteit van de Nederlandstalige output hoog is en bovendien open source beschikbaar is.
Het taalmodel goed laten werken
De volgende stap was om het model zich te laten gedragen zoals wij dat wilden. Taalmodellen zijn in essentie computerprogramma’s die een talige voorspelling doen in reactie op de input van een gebruiker. Met andere woorden, het model genereert taal die lijkt op taal die in de data is gebruikt om het model te trainen. Het is eigenlijk een waarschijnlijkheidsmachine.
Hoe die voorspelling tot stand komt, wordt bepaald door een combinatie van de prompt en de instellingen van het model. Onze prompts bestonden uit vier onderdelen:
1) de context waarin het gesprek plaatsvindt en de rol die het LLM daarbinnen moet aannemen (bijv. je bent een onderzoeker die een respondent interviewt over waarom hij of zij het nieuws ingewikkeld vindt);
2) hoe het model zich moet gedragen (bijv. stel alleen vragen, en vraag door);
3) instructies over taalgebruik en -niveau (bijv. spreek Nederlands op niveau B1);
4) wat het model over de respondent te weten moet komen (bijv. je wil er achter komen waarom de respondent ontevreden is, vraag ook naar voorbeelden).
Hoe het taalmodel tot output komt is een black box
Ondanks duidelijke instructies is het niet mogelijk om te achterhalen hoe het taalmodel tot alle vragen is gekomen, wat betekent dat op basis van identieke input het model niet per definitie tot dezelfde vraag komt. Om te onderzoeken of en hoe taalmodellen ons kunnen ondersteunen bij het uitvoeren van publieksonderzoek hebben we ten behoeve van methodologische innovatie toch besloten om deze onduidelijkheid voor lief te nemen – immers weet je bij een menselijke interviewer ook niet precies hoe iemand tot vragen komt.
Gebruikerservaring – perspectief van de respondenten
De onderzoeksmethode conversational survey was niet alleen nieuw voor ons als onderzoekers, maar ook voor de respondenten. Uit de evaluatie onder 2.256 respondenten blijkt dat zij overwegend positief waren over de ervaring met de conversational survey. Gemiddeld gaven respondenten een 7,7 aan hun ervaring. De meeste mensen gaven hun ervaring met de chatbot een 8 of hoger, en slechts 12% gaf een cijfer tussen de 1 en 5 (zie figuur 2).
We vroegen respondenten of zij een voorkeur zouden hebben voor een conversational survey of de meer gebruikelijke websurvey. De meeste respondenten hadden geen voorkeur (48%), terwijl de overige respondenten ongeveer gelijk verdeeld waren (25% websurvey, 27% conversational survey).
Respondenten met een positieve ervaring waardeerden vooral de snelheid, het gemak, en de helderheid van de antwoordopties. De interactie met chatbot Noa maakte het invullen van de survey dynamischer. Daarnaast vonden respondenten het prettig dat zij genuanceerder antwoord konden geven, waardoor open vragen uitnodigender werden.
Respondenten met een negatieve ervaring gaven vooral aan dat de interface vervelend was, met name op mobiele apparaten waar knoppen en tekstvakken kleiner zijn. Ook vonden sommige respondenten het vervelend dat het taalmodel twee vragen tegelijk stelde, waardoor twijfel ontstond of het model hun antwoorden goed interpreteerde. Tot slot gaven vijf respondenten aan zich gemanipuleerd te voelen, omdat zij de vragen te sturend vonden.
Referenties
Arguedas, A. R., Badrinathan, S., Mont’Alverne, C., Toff, B., Fletcher, R., & Nielsen, R. K. (2022). Snap Judgements: How Audiences Who Lack Trust in News Navigate Information on Digital Platforms. 46. https://doi.org/10.60625/risj-64ja-0s18
Barchas-Lichtenstein, J., Voiklis, J., Glasser, D. B., & Fraser, J. (2021). Finding relevance in the news: The scale of self-reference. Journal of Pragmatics, 171, 49–61. https://doi.org/10.1016/j.pragma.2020.10.001
Celino, I., & Re Calegari, G. (2020). Submitting surveys via a conversational interface: An evaluation of user acceptance and approach effectiveness. International Journal of Human-Computer Studies, 139, 102410. https://doi.org/10.1016/j.ijhcs.2020.102410
Costera Meijer, I. (2021). What is Valuable Journalism? Three Key Experiences and Their Challenges for Journalism Scholars and Practitioners*. Digital Journalism, 1–23. https://doi.org/10.1080/21670811.2021.1919537
de Bruin, K., Vliegenthart, R., Kruikemeier, S., & de Haan, Y. (2024). Who Are They? Different Types of News Avoiders Based on Motives, Values and Personality Traits. Journalism Studies, 25(12), 1404–1422. https://doi.org/10.1080/1461670X.2024.2321537
Gerber, A. S., Huber, G. A., Doherty, D., & Dowling, C. M. (2011). Personality Traits and the Consumption of Political Information. American Politics Research, 39(1), 32–84. https://doi.org/10.1177/1532673X10381466
Konstabel, Kenn, Lönnqvist, J., Walkowitz, G., Konstabel, Kätlin, & Verkasalo, M. (2012). The ‘Short Five’ (S5): Measuring Personality Traits Using Comprehensive Single Items. European Journal of Personality, 26(1), 13–29. https://doi.org/10.1002/per.813
Martin, J. D., & Sharma, K. (2023). Are Newsjunkies More Likely to Vote? Intrinsic Need for Orientation and Voter Registration, Intention to Vote, and Voter Conscientiousness. Political Psychology, 44(1), 197–214. https://doi.org/10.1111/pops.12834
Rammstedt, B., & John, O. P. (2007). Measuring personality in one minute or less: A 10-item short version of the Big Five Inventory in English and German. Journal of Research in Personality, 41(1), 203–212. https://doi.org/10.1016/j.jrp.2006.02.001
Sandy, C. J., Gosling, S. D., & Durant, J. (2013). Predicting Consumer Behavior and Media Preferences: The Comparative Validity of Personality Traits and Demographic Variables. Psychology & Marketing, 30(11), 937–949. https://doi.org/10.1002/mar.20657
Schroder, K. (2019). What do news readers really want to read about? : How relevance works for news audiences. Reuters Institute for the Study of Journalism. https://doi.org/10.60625/RISJ-N12Y-AZ27
Schwarzenegger, C. (2022). Understanding the Users of Alternative News Media—Media Epistemologies, News Consumption, and Media Practices. Digital Journalism, 1–19. https://doi.org/10.1080/21670811.2021.2000454
Silvia, P. J. (2008). Interest—The Curious Emotion. Current Directions in Psychological Science, 17(1), 57–60. https://doi.org/10.1111/j.1467-8721.2008.00548.x
Van der Nat, R., & De Haan, Y. (2023, May 10). Afgehaakte of kritische nieuwsgebruiker? De gebruikers van alternatieve nieuwsmedia in Nederland. Journalismlab. https://www.journalismlab.nl/de-gebruikers-van-alternatieve-nieuwsmedia-in-nederland/
Vermunt, J. K. (2022). “lavaan.mi: Multiple Imputation using lavaan” (0.5-6)
Wilner, T., Montiel Valle, D. A., & Masullo, G. M. (2021). “To Me, There’s Always a Bias”: Understanding the Public’s Folk Theories About Journalism. Journalism Studies, 1–17. https://doi.org/10.1080/1461670X.2021.1979422
Xiao, Z., Zhou, M. X., Liao, Q. V., Mark, G., Chi, C., Chen, W., & Yang, H. (2020). Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys with Open-ended Questions. ACM Transactions on Computer-Human Interaction, 27(3), 1–37. https://doi.org/10.1145/3381804
