Qualität in der Markt- und Sozialforschung

#6 | Risiken

Risiken für die Qualität der Markt- und Sozialforschung resultieren im Wesentlichen aus drei Bereichen. Viele dieser Risiken sind ein schleichender Prozess. Umso wichtiger sind Bewusstmachung und das Ergreifen von Gegenmaßnahmen.

apple-1282286
  • Qualitätsignorierende, unrealistische Anforderungen von Auftraggebern an die Durchführung von Projekten und die Methodenwahl
  • Sinkendes Qualitätsbewusstsein und Defizite in der Ausbildung und Weiterbildung vor allem derjenigen, die z.T. von außerhalb der Branche in die Markt- und Sozialforschung gelangen 
  • Qualitätsfatalismus und Qualitätsignoranz, weil Qualität als konservativ und gestrig konnotiert wird, Arbeit und Anstrengung verursacht
ADM_Webscreen_600x400

6.1 Risiken durch geänderte Anforderungen an Durchführung und Methodenwahl

Schnelligkeit geht zulasten von Qualität, wenn die Problemstellung einen zeitaufwändigeren methodischen Ansatz verlangen würde. Schnelligkeit ist fraglos auch Qualitätsmerkmal von Markt- und Sozialforschung, zumal wenn aus methodischen Gründen Realtime-Daten oder Neartime-Daten notwendig sind. Auch bei vielen operativen Fragestellungen ist Kurzfristigkeit des Problems und der Lösung relevant und Kriterium für impactstarke Forschung. Gerade im strategischen Bereich wie zum Beispiel bei einem Marken-Relaunch oder Fragen zur Kommunikationsstrategie ist Zeit in Konzeption, Durchführung und vor allem Analyse und Beratung notwendig. Schnelligkeit als dominantes (Vergabe-)Kriterium kann hier Qualitätsprobleme schaffen. 

Der Innovationsgrad von Ansätzen („Hauptsache neuartig“) schlägt die Validität der Ansätze: Nicht jedes neue oder innovative Verfahren arbeitet valide und ist dem Forschungsproblem angemessen. Hier nicht in ein Qualitätsproblem zu gelangen verlangt, die Ansätze mit entsprechendem Wissenshintergrund zu verstehen und bewerten zu können und nicht blind anzuwenden. Die Zunahme von DIY- und SaaS-Angeboten impliziert diese Gefahr einer unreflektierten Anwendung. Der Glaube, dass große Datenmengen schon per se ein Qualitätsmerkmal darstellen, hält sich beständig in den Köpfen vieler Nutzenden. Noch immer wird argumentiert, welche riesige Datenmenge zum Beispiel in den sozialen Medien anfällt und dass dies allein ein Kriterium für Aussagekraft und Qualität ist. Seriöse Forschung zeigt demgegenüber, dass die Auswahl der für das Problem relevanten Daten und gegebenenfalls eine Reduzierung auf einen Bruchteil der verfügbaren Daten zu höherer Lösungsqualität führen kann. Nicht Quantität der Daten, sondern Qualität und Relevanz der generierten Insights ist entscheidend.

Nicht selten werden Daten für PR eingesetzt, sollen Aufmerksamkeit erregen. Die mediale Aufmerksamkeit kann die Wissenschaftlichkeit und die Angemessenheit des Ansatzes in den Hintergrund schieben. Und vor allem: In nicht wenigen Fällen ist es den Lesenden nicht möglich, die Qualität der Daten zu bewerten, weil Angaben zur Quelle der Daten, zum Erhebungsinstrument, dem Zeitraum der Erhebung und den Fallzahlen nicht erfolgen und auch nicht über eine Verlinkung ermittelbar sind.

Verhaltensdaten schlagen „Verstehen“: Wesentliches Positionierungselement der Markt- und Sozialforschung gegenüber anderen Professionen ist, mit den jeweils geeigneten Methoden die Warum-Frage beantworten zu können. Warum werden die beobachteten Verhaltensweisen ergriffen, warum nicht?

Die Vielzahl automatisch anfallender Daten in den sozialen Medien, beim Einkaufen, über Trackingarmbänder und vieles mehr führt zu der immer häufiger formulierten These, dass damit die Warum-Frage obsolet geworden sei: Das zeitnahe Messen von Verhalten reiche zum Verstehen menschlicher Verhaltensweisen aus. Ein kapitaler Fehlschluss, der zum Beispiel auch Wissenschaften wie die Psychologie oder die Sozialpsychologie überflüssig machen würde.

Die vielen neuen Möglichkeiten schneller, granularer, experimenteller A/B-Tests zum Beispiel über die vielen Access-Panels und DIY-Angebote können zur Vernachlässigung der eigentlich notwendigen komplexeren Ansätze (gegebenenfalls einer 360°-Betrachtung) führen. Die schnellen, granularen Ansätze sind bei bestimmten Fragestellungen geeignet und qualitativ möglicherweise ausreichend. Mit ihnen lassen sich aber nicht alle Probleme lösen. Expertise hilft einzuschätzen, welche und welche nicht.

Niedrige Kosten schlagen Qualität: Natürlich sind günstige Konditionen und preiswerte Untersuchungen auch Herausforderung und Qualitätsmerkmal. Wenn aber die Datenbasis, die Qualität der Stichprobenziehung oder andere methodische Notwendigkeiten einer qualitativ guten Forschung einem Kostenprimat geopfert werden, führt dies zu hohen Risiken der Aussagekraft der Ergebnisse.

Social-Media-Daten allein reichen häufig nicht: Zunehmend werden Untersuchungen auf Social-Media-Daten reduziert („listening“). Es wird vernachlässigt, wer, warum, wann, wie aktiv in den sozialen Medien unterwegs ist, wer nicht. Dies stellt ein massives Repräsentativitätsproblem im Sinne der Hochrechenbarkeit auf allgemeine Erkenntnisse dar – gar nicht zu reden von Betrug und schädlichen Bots in sozialen Medien als Daten- und Informationsproblem. Die sozialen Medien werden mit Recht immer mehr in der Markt- und Sozialforschung genutzt. Die alleinige Reduzierung auf diese Datenquelle aber kann zum Risiko werden.

6.2 Ausbildung und Unwissenheit

Markt- und Sozialforschung war von Anfang an eine interdisziplinäre angewandte Wissenschaft. Eine besondere Stärke lag und liegt darin, dass Mitarbeitende mit verschiedensten Ausbildungen und beruflichen Hintergründen die Branche bereichert haben. Das Ausmaß fachfremder Zugänge in die Markt- und Sozialforschung hat nicht zuletzt aufgrund der vielen neuen Geschäftsmodelle und Start-ups entlang der Digitalisierung deutlich zugenommen: mit vielen Vorteilen für Methodenvielfalt und erweiterte Lösungsmöglichkeiten. Nicht immer ist aber die notwendige Fachkompetenz zum Verstehen von Daten (Datenquellen, Methoden, Data Science), zum Verstehen von Menschen (Psychologie, Sozialpsychologie, Soziologie), zum Verstehen von Marken (Markenführung), zum Verstehen von Auftraggebern in ausreichendem Maße gegeben.

Die neue, erweiterte Interdisziplinarität kann damit Fluch und Segen gleichzeitig sein, wenn nicht auf Aus- und Weiterbildung und Vermittlung der für Markt- und Sozialforschung einschlägigen Ausbildungsschwerpunkte in den Unternehmen Wert gelegt wird.

Am Beispiel von DIY: Der DIY-Boom hat fraglos Vorteile im Hinblick auf kostengünstige, schnelle, qualitativ angemessene Problemlösungen, wenn die Fachkenntnisse bei der Fragenformulierung (valide Fragen), bei der Bewertung der Rekrutierung der Teilnehmenden und Ziehung der Stichproben, bei der Bewertung angebotener Methoden wie Conjoint-Analysen, Segmentationen, Preisakzeptanzstudien und, bei der Bewertung geeigneter Auswertungsverfahren vorliegen. Qualität hat viele Facetten. Auch das zu vermitteln, ist Aufgabe der Aus- und Weiterbildung. Eine angemessene und ständig aktualisierte Aus- und Weiterbildung aller in der Markt- und Sozialforschung aktiven Personen wird immer mehr zur Qualitätsvoraussetzung wie zum Qualitätsrisiko.

meinung-teststudios-thelen-maerz-2022

6.3. Das Gift des Fatalismus und der Ignoranz

Im harten und immer härter werdenden Konkurrenzkampf innerhalb der Markt- und Sozialforschung und zwischen unterschiedlichen Anbietergruppen datenbasierter Dienstleistungen entstehen manchmal fatalistische und die Qualität bedrohende oder ignorierende Argumentationen. 

  • „Schlechte Qualität gab es immer…“: Natürlich, aber dies sollte kein Argument zur Akzeptanz von unzureichender Qualität sein, sondern Anreiz und Anlass, dies zu ändern.
  • „Die Zeiten haben sich geändert und digitales Knowhow ist inzwischen wichtiger als umfassendes Qualitätsbewusstsein“: Die Zeiten haben sich wirklich geändert und qualitativ hochwertige Markt- und Sozialforschung setzt beides voraus: neues digitales Wissen und klassisches Wissen guter Forschung.
  • „Qualität ist die Relation aus Erwartung und Erwartungserfüllung und wenn die Erwartungen sinken, dann sinken eben auch die Anforderungen an Qualität“: Gut ausgebildete Mitarbeitende in der Markt- und Sozialforschung sind ein Garant, dass Erwartungen nicht über Gebühr sinken, im Hinblick auf Qualitätskriterien neuer Methoden und Ansätze möglichst sogar steigen.
  • „Dem gelieferten Produkt sieht man die Qualität eh nicht an“: Das ist in der Tat ein Problem, sofern nicht hervorragend ausgebildete Personen möglichst auf beiden Seiten (Auftraggebern und Auftragnehmern) im Diskurs miteinander die forscherische Problemlösung der jeweiligen Fragestellung suchen und finden. Das kann und muss gerade auf Auftraggeberseite nicht immer gegeben sein: Dann kommt es umso mehr auf die Dokumentation und Transparenz des gesamten Verfahrens an, aus der Qualität oder fehlende Qualität offensichtlich werden sollte.

Viele Risiken und ein Ausweg zur Risikominimierung: hohe Qualitätsanforderungen, hohes Qualitätswissen und Qualitätsbewusstsein durch adäquate Ausbildung und Weiterbildung – für klassische wie gerade auch für neue Fragestellungen, Verfahren und Lösungsansätze. Nur so kommen die Stärken der zunehmenden Interdisziplinarität, der attraktiven neuen Ideen und Ansätze zum einen der Markt- und Sozialforschung und zum anderen vor allem den Auftraggebern zugute.

6.4 Bots und Fälschungen

Ganz neue Bedrohungen entstehen durch Bots und Betrug. Nicht nur in den sozialen Medien, auch bei der Beantwortung von Fragebogen in Online-Panels besteht zum Beispiel die Gefahr, Antworten/Texte/Daten maschinell und künstlich zu erzeugen. Dahinterstehende „Panelmitglieder“ können selbst mit niedrigen Incentives auf diesem Wege durch Masse enorme Einnahmen generieren und/oder durch Massentexte/-antworten Ergebnisse und Meinungen gezielt manipulierten (u. a. Bewertungen in Bewertungsplattformen).  

Panelanbieter mit Qualitätsbewusstsein setzen zunehmend Prüfverfahren ein, mit denen nicht nur Speeder und andere Antwortauffälligkeiten wie Antwortmuster erkannt und aus der Analyse entfernt werden, sondern zukünftig auch Bots immer besser erkannt werden. Dies können selbst entwickelte Qualitätsprüfprogramme oder existierende Fremdsoftware sein.