Mit „Mystery Checks“ die Qualität sozialer Dienstleistungen verbessern

Verdeckte Tester:innen, die in reale Dienstleistungen eintauchen: Mystery Checks, auch bekannt als Mystery Shopping, bieten einen tiefen Einblick in die Erlebnisse von Kund:innen. Dabei werden Aspekte wie Servicequalität und Beratungskompetenz bewertet. Das Ziel ist, ein objektives Bild zu gewinnen, das als Ausgangspunkt für strategische und operative Handlungen dient.¹

Was nach Fernsehunterhaltung klingt, hat sich als ernstzunehmendes Instrument etabliert, um die Qualität, Effektivität und Effizienz von Dienstleistungen zu bewerten und kontinuierlich zu verbessern. National und international bekannte Bewertungssysteme nutzen solche Konzepte. Der Michelin-Guide vergibt Sterne an Restaurants für ihre Speisequalität und ihren Service. Der Deutsche Hotel- und Gaststättenverband (Dehoga) verleiht Sterne an Beherbergungsbetriebe. Auch Zertifikate wie das "Certified Customer Satisfaction"-Siegel von TÜV Nord Cert basieren auf verdeckten Testbesuchen und gründlichen Analysen von Kund:innenfeedback. Seit dem öffentlichkeitswirksamen Skandal um die Firma Wirecard führt sogar die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) erfolgreich Mystery Checks im Bereich der Anlageberatung von Banken durch.

Mystery Checks sind für soziale Dienste wertvoll

Auch im sozialen Bereich nimmt die Bedeutung zu: Das Magazin "Finanztest" hat jüngst unter dem Titel "Geld spenden mit einem Klick" Ergebnisse eines Mystery Checks von Spendenportalen veröffentlicht, die Zugang zu einer breiten Palette von Projekten verschiedener Organisationen bieten.

Mystery Checks haben auch schon Missstände in der sozialen Arbeit aufgedeckt und so mitunter weitreichende Aufmerksamkeit in den Medien erregt. Beispielsweise stellte das "Team Wallraff" von RTL erhebliche Mängel in Pflegeeinrichtungen fest. Solche Beispiele verdeutlichen, dass Mystery Checks äußerst vielseitig einsetzbar sind und in verschiedenen Branchen und Kontexten genutzt werden können. Anhand der Rückmeldung der Tester:innen können kritische Schwachstellen identifiziert und wertvolle Erkenntnisse über die Klient:innenerfahrung gewonnen werden. Auf dieser Grundlage lassen sich gezielte Anpassungen vornehmen. Das erhöht nicht nur die Transparenz, sondern steigert die Zufriedenheit der Klientel kontinuierlich.2 Die Tests ermöglichen also, bedeutende Erkenntnisse über die Qualität und Effektivität sozialer Dienstleistungen zu gewinnen:

In der Altenpflege etwa können Mystery Checks dazu beitragen, den Erstkontakt mit Angehörigen zu bewerten. Anonyme Tester:innen messen dabei unter anderem die Reaktionsgeschwindigkeit des Personals auf E-Mail-Anfragen und die Flexibilität bei der Terminvergabe für Besichtigungen. Weiter kann überprüft werden, ob spontan anfragende Interessent:innen zügig auf kompetente Ansprechpersonen stoßen und ob sich das Personal ausreichend Zeit für die Besucher:innen nimmt.

In Beratungsstellen können Testpersonen insbesondere eine Bewertung der Beratungsqualität, einschließlich der Fachkompetenz und Freundlichkeit des Personals, vornehmen.

In der Jugendhilfe können junge Tester:innen die Rolle ratsuchender Jugendlicher einnehmen und das Verständnis sowie die proaktive Unterstützung durch das Personal sowie die Zufriedenheit anderer Teilnehmer:innen evaluieren.

Mystery Checks können auch intern genutzt werden, um die Effizienz administrativer Prozesse, die Wirksamkeit interner Abläufe und die interne Kund:innenorientierung zu bewerten.

Anruf, Mail oder Besuch: Möglichkeiten der Durchführung

Im Sozialsektor bieten sich grundsätzlich verschiedene Arten von Mystery Checks an. Die wesentlichen lassen sich nach Art der Kontaktaufnahme unterscheiden:

◆  Mystery Calls: Anrufe bei Hotlines oder bei zuständigen Mitarbeitenden;

◆  Mystery-E-Mails: Anfragen per E-Mail;

◆  Mystery Client: Teilnahme an Veranstaltungen;

◆  Mystery Visits: Besuche in Einrichtungen vor Ort;

◆  Mystery-Online-Checks: Online-Recherchen (zum Beispiel Websites oder Social-Media-Aufritt) sowie Tests von Online-Funktionen.

Abhängig von den Zielen, den verfügbaren Ressourcen und dem gewünschten Grad der Anonymität und Objektivität ergeben sich außerdem unterschiedliche Möglichkeiten, solche Checks durchzuführen. Diese Vielfalt erlaubt eine maßgeschneiderte Anpassung an spezifische Kontexte und Fragestellungen.

Externe Mystery Checks werden von professionellen Dienstleister:innen durchgeführt und garantieren eine hohe Objektivität und Professionalität. Durch die Unabhängigkeit von der Einrichtung und durch das geschulte Personal ermöglichen sie eine umfassende Qualitätsprüfung über verschiedene Standorte hinweg. Allerdings ist diese Option oft aufwendig und erfordert größere Investitionen.

Interne Mystery Checks werden von der Organisation selbst organisiert. Mitarbeitende können ihre eigene Arbeit aus einer neuen Perspektive betrachten, was zudem Verständnis und Empathie für die Klient:innen fördert. Allerdings besteht das Risiko der Befangenheit, da interne Tester:innen selbst in die Strukturen eingebunden sind, die sie bewerten.

Gegenseitige Mystery Checks in Zusammen­arbeit mit anderen Organisationen bieten eine objektive Einschätzung der Dienstleistungsqualität und fördern ein branchenweites Benchmarking. Durch den Austausch von Feedback können Organisationen voneinander lernen und ihren Service verbessern. Das unterstützt einen gesunden Wettbewerb und führt dazu, dass Qualitätskriterien standardisiert werden.

Das "Kano-Modell" zeigt, auf welche Faktoren es ankommt

Tiefergehende Mystery Checks greifen häufig auf komplexe Modelle wie das Kund:innenzufriedenheits-Modell von Noriaki Kano zurück.³ Dieses Modell unterscheidet verschiedene Faktoren (siehe Tabelle oben).

Basisfaktoren ("Must-be Quality") sind grundlegende Anforderungen, die unbedingt erfüllt sein müssen, damit das Produkt oder die Dienstleistung als zufriedenstellend betrachtet wird. Das Fehlen dieser Faktoren kann zu erheblicher Unzufriedenheit führen. Leistungsfaktoren ("One-dimensional Quality") stehen in direktem Verhältnis zur Kund:innenzufriedenheit. Je besser sie erfüllt sind, desto höher ist die Zufriedenheit. Mangelhafte Qualität kann hingegen zu Unzufriedenheit führen. Begeisterungsfaktoren ("Attractive Quality)" werden von Kund:innen nicht erwartet. Ihr Fehlen führt daher nicht zu Unzufriedenheit, aber ihr Vorhandensein steigert die Zufriedenheit. Indifferente Faktoren ("Indifferent Quality") haben keinen Einfluss auf die Kund:innenzufriedenheit, da die Kund:innen ihnen neutral gegenüberstehen. Umkehrqualität ("Reverse Quality") kann zum Nachteil werden: Eine geringere Ausprägung führt zu Zufriedenheit, während eine höhere Ausprägung Unzufriedenheit auslöst.

Umsetzung in fünf Phasen

Eine erfolgreiche Durchführung von Mystery-Check-Projekten erfordert ein strukturiertes Vorgehen. Im Folgenden werden fünf Phasen vorgestellt, die idealerweise durchlaufen werden sollten:

Die Durchführung beginnt mit der Startphase. Um ein Projekt erfolgreich anzugehen, bedarf es zunächst klar definierter Ziele sowie einer effizienten Projektorganisation. Die Einbindung relevanter Stakeholder:innen wie der Marketing- und Öffentlichkeitsabteilung ist dabei von zentraler Bedeutung. Eine transparente Kommunikation sowie die Wahl eines prägnanten Projektnamens, wie beispielsweise "Blickwechsel", fördern eine reibungslose Projektdurchführung. Zudem ist die Unterstützung der Geschäftsführung entscheidend für den Erfolg des Vorhabens.

Als zweite Phase folgt die Konzeption. In dieser Phase werden Analysen durchgeführt und ein detailliertes Konzept für die Umsetzung entwickelt. Hierbei werden Entscheidungen bezüglich der Einbeziehung externer Agenturen getroffen und methodische Details wie Checklisten⁴ festgelegt. Die Mitarbeit der Angestellten ist von großer Bedeutung, da ihre Expertise wertvolle Einblicke liefert.

In der dritten, der Umsetzungsphase, werden die Mystery Checks vorbereitet und durchgeführt. Eine zentrale Aufgabe besteht in der Auswahl und Schulung geeigneter Mystery Shopper:innen. Diese führen die Evaluierung objektiv und professionell durch.

Als Viertes folgt die Auswertungsphase. Die gesammelten Daten werden sorgfältig ausgewertet. Auf Basis dieser Erkenntnisse werden konkrete Verbesserungsmaßnahmen entwickelt, um identifizierte Schwachstellen zu beheben.

In der abschließenden Evaluierungsphase wird das Gesamtergebnis des Projekts bewertet. Die Effektivität und Effizienz der durchgeführten Evaluation werden überprüft, um sicherzustellen, dass die in Phase 1 definierten Ziele erreicht wurden.

Verdeckte Evaluierung ermöglicht direkte Einblicke

Während aller Phasen müssen relevante rechtliche Rahmenbedingungen wie Verbraucher- und Datenschutz, Wettbewerbs- und Arbeitsrecht beachtet werden. Die Einbindung der Mitarbeitendenvertretung ist ratsam, die Einhaltung ethischer Grundsätze und Standesregeln wird dringend empfohlen.

Mystery Checks sind ein unschätzbares Instrument zur Bewertung und Verbesserung der Servicequalität in der sozialen Arbeit. Durch verdeckte Evaluierungen erhalten Sozialorganisationen direkte Einblicke in die Erfahrungen ihrer Klient:innen und können ihre Dienstleistungen effektiv optimieren. Dieses Instrument dient nicht nur der Identifizierung von Schwachstellen, sondern fördert auch eine Kultur der kontinuierlichen Verbesserung und eine stärkere Ausrichtung auf die Bedürfnisse der Klient:innen.

1. Grieger, G.: Die Ergebnisqualität von Testkunden aus unterschiedlichen soziodemografischen Gruppen beim Mystery Shopping. Dissertation. Flensburg: Universität Flensburg, 2008. Online unter Kurzlink: https://tinyurl.com/nc14-24-grieger

2. Monitbeller, T.; Pulz, D. J.: Mystery Shopping. In: Wagner-Havlicek, C.; Wimmer, H. (Hrsg.): Werbe- und Kommunikationsforschung II. Baden-Baden: Nomos, 2022. S. 159-173.

3. Kano, N.; Seraku, N.; Takahashi, F.; Tsuji, S.: Attractive Quality and Must-Be Quality. In: Journal of The Japanese ­Society for Quality Control. Vol. 14 No. 2/1984, S. 147-156.

4. Vgl. zu Checklisten: Raja, A. S.: The Dimensions of Mystery Shopping Program (DMSP) - Checklist Construction. International Journal of Management, Accounting and Economics. Vol. 6. No. 5/2019, S. 414-426.