Qualität in der Markt- und Sozialforschung

#8 | Transparenz und Datenkompetenz

Transparenz und Datenkompetenz haben nicht unmittelbar mit der Qualität des Forschungsprojektes zu tun, sind aber für die Beurteilung und die Beurteilungsfähigkeit von Studien unter anderem im Hinblick auf deren Qualität von großer Bedeutung.
Transparenz bedeutet dabei, dass Empfänger*innen der Studienergebnisse oder Nutzende von Daten (z. B. Journalist*innen, z. B. die breite Bevölkerung) die notwendigen Informationen zum Forschungsprozess erhalten.

Datenkompetenz bedarf es auf allen Ebenen: Bei der Bevölkerung, um veröffentlichte Daten einordnen und deren Seriosität bewerten, beziehungsweise Fakes erkennen zu können. Für Politik und Medien als Datennutzende, um qualitativ schlechte von qualitativ guten Studien unterscheiden zu können und gerade bei der medialen Verbreitung nur auf Qualitätsdaten und angemessene Interpretation zu achten. Und natürlich die Datenkompetenz der Fachleute, d.h. der Auftraggeber wie der Auftragnehmer.

8.1 Datentransparenz

Datentransparenz ist eine Voraussetzung, um die Angemessenheit des Forschungsansatzes, konkrete Umsetzung, Auswertung bis hin zur Interpretation nachvollziehen und besser bewerten zu können. Intransparenz, d. h. fehlende Informationen zu Ansatz und Vorgehensweise, zu genutzten Daten etc. öffnen schlechten Untersuchungen und Daten bis hin zu Fälschungen und Fakes Tür und Tor. Transparenz ist eine Voraussetzung für Kontrolle wie für Vertrauen.

Für Veröffentlichungen in Medien gibt es seit Jahrzehnten eine Vorgabe, die leider selbst sogenannte Qualitätsmedien oft nicht erfüllen. Werden Daten aus Markt- und Sozialforschungsprojekten genutzt, dargestellt oder gar interpretiert, so ist im Text oder in einer Fußnote anzugeben, wer Auftraggeber der Untersuchung war, welche Zielgruppe mit welcher Stichprobengröße befragt wurde (zum Beispiel 1000 Wahlberechtigte Bundesrepublik Deutschland ab 18 Jahren), mit welcher Methode befragt wurde (zum Beispiel CATI – Telefoninterviews) und wann die Interviews durchgeführt wurden.

Die Transparenzkriterien im wissenschaftlichen Bereich, also zwischen Auftragnehmer, Auftraggeber und potentiell Nutzenden im wissenschaftlichen Bereich müssen natürlich sehr viel weitergehen. Der ADM hat deshalb Transparenzkriterien, sogenannte Transparenzstandards für verschiedene etablierte Methoden der Markt- und Sozialforschung festgelegt: für quantitative Studien mit Interviewer*innen-Einsatz, qualitative Studien mit Interviewer*innen-Einsatz, selbst administrierte quantitative Studien, passive Messungen, Content-Analysen, Mystery-Research.

Ein entsprechender Bedarf besteht darüber hinaus auch für alle Studien, die mit vorhandenen Daten weitergehende Analysen durchführen, Algorithmen entwickeln, KI-basierte Lösungen anbieten. Auch hier ist selbstverständlich zu dokumentieren, warum welche Daten herangezogen, wie sie analysiert und wie die entsprechenden Algorithmen und Lösungen abgeleitet worden sind.

Für die angesprochenen Methoden umfassen die Qualitätsstandards der ADM-Kriterien zu den Bereichen Methode, Stichprobe, Interviewer*innen, Moderator*innen, Fragebogen, Durchführung, Verwendung von Standards, Qualitätskontrollen (Qualitätsstandards).

Auftraggeber sollten, werden entsprechende transparente Informationen vom Auftragnehmer nicht geliefert, diese bereits im Angebot und dann vor allem bei Ergebnislieferung anfordern und auf diesem Wege den Transparenzstandard der deutschen Markt- und Sozialforschung aktiv heben.

8.2 Datenkompetenz

Datenkompetenz in der Bevölkerung, in Politik und Medien und in der (angewandten) Wissenschaft ist die einzige Chance, Qualität zu sichern und Missbrauch zu verhindern.

Markt- und Sozialforschung erzeugt nicht zuletzt durch die neuen Möglichkeiten der Digitalisierung mehr und mehr Daten. Social-Media ist ein unerschöpflicher Datenfundus. Es fallen mehr und mehr Verhaltensdaten an. Neue und anspruchsvolle Verfahren der Datenanalyse bis hin zu Machine-Learning und künstlicher Intelligenz schaffen mehr und mehr Möglichkeiten. Meinungen, politische und wissenschaftliche Statements, tagtägliche Diskussionen nutzen häufiger denn je Daten – als Beleg und Beweis, als vertrauensbildende Maßnahme.

Gleichzeitig werden mehr denn je Daten gefälscht, künstlich erzeugt (Bots), werden Fake News mit scheinbar echten Daten und Belegen in die Welt gesetzt. Daten werden missbräuchlich selektiert und für eigene Zwecke und Ideologien genutzt. Dies schafft Zweifel und senkt das Vertrauen in Daten.

Je mehr Daten es gibt, je wichtiger Daten für Politik, Wirtschaft und Gesellschaft werden, desto leichter können Daten aber auch missbraucht werden – sei es aus Unkenntnis oder mit ideologischem oder kriminellem Hintergrund.

Umso wichtiger ist Datenkompetenz in der breiten Bevölkerung, bei professionell Nutzenden von Daten wie der Politik und den Medien, natürlich auch und vor allem im wissenschaftlichen Bereich, bei Auftraggebern und Auftragnehmern in der Markt- und Sozialforschung. Wer keine oder nur unzureichende Datenkompetenz besitzt, wird schlechte nicht von guten, gefälschte nicht von korrekten Daten, unsinnige Analysen nicht von sinnvollen unterscheiden können – und ist damit leichter mit Daten manipulierbar. Datenkompetenz ist folglich nicht nur für das Vertrauen in Markt- und Sozialforschung wichtig, sondern darüber hinaus gesellschaftspolitisch relevant.

#7 | Der Begriff im Wandel – ein erweitertes Qualitätsverständnis

#9 | Die wichtigsten Richtlinien, Standards und Normen