Qualität in der Markt- und Sozialforschung

#7 | Der Begriff im Wandel – ein erweitertes Qualitätsverständnis

Ein neues, erweitertes Qualitätsverständnis ist notwendig, um den wissenschaftlichen Notwendigkeiten wie auch den Erwartungen auf Auftraggeberseite gerecht zu werden. Qualität betrifft bei weitem nicht nur den Prozess der empirischen Markt- und Sozialforschung. Qualität setzt schon vorher beim Problemverständnis an und geht über Analyse und Zusammenfassung hinaus hinzu Empfehlungen und Implementierungsberatung.

ADM Beratung und Vertretung

Ein erweitertes Qualitätsverständnis berücksichtigt auch wichtige Zusammenhänge von Qualität mit Beratung, Transparenz und Datenkompetenz (s. Punkt 8). Beratung und Qualität sind zwei Seiten einer Medaille: ohne qualitativ hochwertige Daten keine sinnvolle Beratung, ohne Beratungskompetenz keine Qualität. Nur mit Transparenz lässt sich nachverfolgen, wann, wie, von wem beauftragt, welche Daten erhoben beziehungsweise genutzt wurden. Intransparenz öffnet Datenmissbrauch Tür und Tor. Qualität erkennen und bewerten zu können, Intransparenz zu erkennen und Transparenz zu fordern: All dies verlangt Datenkompetenz.

Selbst wenn der klassische Prozess der empirischen Markt- und Sozialforschung von der Operationalisierung und Methodenwahl über die Datenerhebung oder Auswahl der zu analysierenden Daten bis hin zur Analyse mit Verfahren der deskriptiven und schließenden Statistik weiterhin einen Kernbereich für Qualität darstellt, so kann die Qualität von Markt- und Sozialforschungsprojekten auch scheitern an unzureichendem Problemverständnis und damit einem völlig falschen Ansatz zu Beginn der Projekte oder auch an einer fehlenden oder falschen Umsetzung in Empfehlungen und Maßnahmen zum Abschluss der Projekte. Nicht zuletzt legen auch Auftraggeber bisher nicht ausreichend oder gar nicht beachtete Qualitätskriterien fest, z. B. Schnelligkeit oder auch Realtime-/Neartime-Daten, Preiswürdigkeit, Angemessenheit der Methode am Forschungsziel und ganz besonders Beratung über alle oder einzelne Projektschritte. Große Teile dieses erweiterten Verständnisses fließen in die überarbeiteten „Standards zur Qualitätssicherung in der Markt- und Sozialforschung“ ein . 

Zwei Klammern über alle Qualitätsstufen sind Voraussetzung in der Umsetzung: 

  • Wissen, Ausbildung und Erfahrung ist die eine Klammer.
  • Die zweite Klammer ist die der Transparenz.

Ein neuer, erweiterter Qualitätsbegriff

Problemverständnis, Operationalisierung und Datenqualität

  • Problemverständnis: exaktes Verständnis der Herausforderung
  • Forschungsdesign: Validität /Eignung der Methoden
  • Durchführung: Datenerhebung, u. a. Grundgesamtheit und Stichprobenqualität – die Frage der Repräsentativität
  • Daten-Analyse: Eignung der angewandten statistischen Verfahren

Ablaufqualität

  • Angemessenheit des Ansatzes
  • Schnelligkeit/Realtime/Neartime-Erhebungen
  • Flexibilität (Agilität)
  • Preiswürdigkeit

Ergebnisqualität und Beratung

  • objektive, korrekte Interpretation der Ergebnisse und Erkenntnisse
  • Handlungs- und lösungsrelevante Empfehlungen
  • Aktivierung und Implementierung
  • Relevanz, Impact, ROI
  • Erlebnisqualität ((Info-)Graphik, Dashboard, Cockpit)
Normen

7.1 Problemverständnis, Operationalisierung und Datenqualität

Dieser Teil des Qualitätskontinuums umfasst die originären Qualitätskriterien des Forschungsprozesses, ergänzt um das Problemverständnis. Mit „Problemverständnis“ wird die Fähigkeit verstanden – gegebenenfalls über Vorabgespräche, Nachfrage etc., die Herausforderung auf Kundenseite, die mit dem Forschungsprojekt gelöst werden soll, zu verstehen. So kann hinter der Durchführung eines Verpackungstests als wirkliche Herausforderung stehen, mit einer neuen Verpackung möglicherweise im neuen Produktumfeld den Umsatzverlust vergangener Jahre zu bremsen. Die Herausforderung ist also nicht die Verpackung, sondern der Umsatzverlust. Das Problemverständnis in dieser Definition verlangt folglich umfassende Kenntnisse der Geschäftsfelder/Branche/Arbeitsfelder des Auftraggebers, umfangreiche Kenntnisse in Richtung der Abläufe in Politik und Wirtschaft. Die Herausforderungen an dieser Stelle haben großen Einfluss auf die Qualität des gesamten Forschungsprojektes und gehen folglich weit über die Herausforderungen der klassischen Projektdurchführung hinaus.

Dies bedeutet keinesfalls, die Qualitätskriterien im originären Forschungsprozess geringer zu bewerten oder gar zu vernachlässigen. Die richtige Wahl der Methode(n), die begründete Auswahl der Grundgesamtheit, die Stichprobenziehung, die Fragenformulierung (Validität), die Wahl der geeigneten und zulässigen statistischen Verfahren: Alles bleibt unverändert wichtig. Gleiches gilt bei qualitativen Verfahren im Hinblick auf Beherrschung der Verfahren, entsprechende Ausbildung und Erfahrung. Und es gilt bei reinen Datenanalysen wie z. B. Social-Media-Analysen im Hinblick auf die Bewertung der geeigneten und sinnvollen Daten wie Analyseverfahren.

Wenn an dieser Stelle Qualitätsprobleme auftreten (zum Beispiel ungeeignete Stichprobe, nicht valide Fragenformulierung, schlechte Moderation bei Gruppendiskussionen, ungeeignete Datenquellen für eine Social-Media-Analyse), dann können bestes Problemverständnis und beste Interpretation diese Fehler nicht mehr beheben.

Deshalb bleibt es unverändert wichtig, im Rahmen der Qualitätsstandards die Anforderungen an Methode und alle Phasen des Forschungsprozesses hoch zu halten.

7.2 Ablaufqualität

In der Diskussion mit Auftraggebern wie in der öffentlichen Diskussion werden zunehmend neue und erweiterte Anforderungen an Forschung gestellt, die dann schnell auch zu Qualitätsanforderungen werden: Budget, Zeitbedarf, angemessene Problemlösung. 

Kosten- oder Zeitdruck dürfen natürlich nicht dazu führen, ungeeignete Methoden zu empfehlen. Aus Sicht der Auftraggeber ist es aber legitim zu fordern, dass Kriterien wie Kosten oder Zeitbedarf mitgedacht werden. Dazu gehört auch die Angemessenheit des Forschungsansatzes. 

Fragen der Sozialforschung, der Medien-Reichweitenforschung wie auch strategische Fragen zu Marke, Kommunikation, Innovationen und Produktpalette verlangen aufgrund der Relevanz und Tragweite darauf aufbauender Entscheidungen bestmögliche Forschung. Hier verbieten sich Kompromisse zum Beispiel in Richtung Methodik oder Stichprobe. 

fams_3

Daneben gibt es immer häufiger taktische Fragen, bei denen es nicht auf das ganz exakte Ergebnis, sondern auf erste Einblicke, Richtungsentscheidungen, Daten und Fakten für weitere Überlegungen geht. Hier spielen allein schon wegen der häufig schnellen, notwendigen Entscheidungsprozesse auf Auftraggeberseite Zeit und auch Kosten eine dominante Rolle und die Tragweite der aus den Daten abgeleiteten Entscheidungen erlaubt Kompromisse in der Forschungsanlage. Nicht mehr und nicht weniger ist mit Angemessenheit des Ansatzes gemeint, nie jedoch Qualitätskompromisse im gesamten Forschungsprozess bei Entscheidungen mit großer Tragweite. 

Ablaufqualität nimmt als Qualitätskriterien auch die Preiswürdigkeit, das Zeitargument, je nach Fragestellung die Notwendigkeit von Realtime- oder Neartime-Daten mit auf. 

Flexibilität oder Agilität im Forschungsprozess, d.h. die Fähigkeit auf Basis erster Erkenntnisse Forschungsprojekte abzubrechen, zu modifizieren, zu erweitern, muss eine Selbstverständlichkeit werden, um Qualität und Nutzen von Forschung gleichermaßen zu optimieren.

Die Kriterien der Ablaufqualität erweitern folglich den Kanon, ohne Abstriche beim bisherigen Qualitätsverständnis und den Qualitätsanforderungen insgesamt vorzunehmen.

neuewege_marktforschung

7.3 Ergebnisqualität und Beratung

Qualität von Forschung bestimmt sich – gerade aus Sicht der Auftraggeber – auch durch die Relevanz der Ergebnisse, durch den Impact, den die Ergebnisse erzielen. Dieses Endziel jeder Forschung hat bereits zu Beginn beim Problemverständnis und dann beim Aufsetzen eines angemessenen Forschungskonzeptes im Mittelpunkt zu stehen. Zur Ergebnisqualität, d. h. zum Erzielen eines Impacts gehören mehr denn je mittlerweile neben der Interpretation der Ergebnisse und Erkenntnisse auch die Ableitung von lösungs- und handlungsrelevanten Empfehlungen bis hin zur Mitarbeit bei Aktivierung und Implementierung. Gerade der Prozess der Interpretation und dann auch der Ableitung von Empfehlungen lässt sehr schnell subjektive Meinungen und Einstellungen der interpretierenden Personen einfließen.

Umso wichtiger ist hier als weiteres Qualitätsmerkmal die Objektivität der Interpretation:  Die Ableitungen und Empfehlungen sind transparent und nachvollziehbar zu begründen und darzustellen, so dass sie für Nutzende der Interpretation nachverfolgt werden können. Immer mehr an Bedeutung für den Impact von Studien gewinnt auch die Darstellung der Ergebnisse, die Erlebnisqualität. Ergebnisse und Erkenntnisse, die in grafisch ansprechender und leicht verständlicher Form dargeboten werden (Infografiken, Dashboards, Cockpits), erzielen auch und gerade bei Personen mit geringerer Forschungsexpertise Verständnis für Daten, Erkenntnisse, Empfehlungen und für deren Relevanz. Wenn diese Kriterien der Ergebnis- wie auch der Erlebnisqualität erfüllt werden, macht dies – auf Basis der vorgenannten Qualitätsstufen – gute Forschung zu relevanter Forschung, zu impactstarker Forschung, zu Forschung mit einem „Return-on-Invest (RoI)“.

7.4 Qualität und Ethik

Im Zeitalter der Digitalisierung, der Sozialen Medien und der zunehmenden Möglichkeiten, mit Daten zu manipulieren, gar Daten zu fälschen, gewinnt der immer schon vorhandene ethische Imperativ an Bedeutung (Qualitätsstandards).

Qualitativ hochwertige Markt- und Sozialforschung folgt auch wesentlichen ethischen Denkmustern und Vorgaben.

Die (datenbasierte) Beratung arbeitet fast immer im Spannungsfeld verschiedener Rollen und (politischer) Interessen: sei es auf Auftraggeberseite, beim Rezipienten von Ergebnissen, auch beim Auftragnehmer. Gegenteilige Meinungen, Widersprüche, Spannungen im Beratungsprozess sind nicht selten. Dies kann Datenmissbrauch durch bewusst fehlerhaft angelegte Untersuchungen, tendenziöse Interpretationen etc. fördern. 

attraktivitaetderbranche

Die ethische Anforderung an Beratung besteht darin, solche Spannungen und Widersprüche zu erkennen, zu analysieren, zu reflektieren und bewusst auszuhalten. Es gehört zur Ethik in der Beratung, Position (auch solche im Gegensatz zum Mainstream) zu beziehen und aus den Daten und Forschungsergebnissen heraus gegründet darzulegen und zu vertreten. Dies schließt Handlungsalternativen ein.

Da Beratungen in der Markt- und Sozialforschung in der Regel Empfehlungen und Maßnahmenvorschläge beinhalten, die wiederum Aktivitäten und Konsequenzen auslösen oder auslösen können, ist ethischer Imperativ, die Konsequenzen der Beratungsleistung immer mitzudenken. 

Und schließlich und endlich gehört zum ethischen Anspruch, gegenüber allen im Forschungs- und Beratungsprozess Beteiligten stets Respekt zu zeigen, die Würde aller involvierten und betroffenen Personen und Institutionen zu achten, Diskretion zu wahren und existenziell existierende Schutzbedürfnisse zu beachten.  

Wahrheit, Konfliktfähigkeit, Verantwortung und Respekt sind Kernbegriffe qualitativ hochwertiger Forschung und Beratung.