Wirkung messen mit digitaler Unterstützung: Neue Potenziale für die Soziale Arbeit

Mit digitalen Tools können Daten ohne Umwege von vielen Nutzer:innen erhoben werden. Durch entsprechende Schnittstellen können Daten aus verschiedenen Quellen zusammengeführt und ausgewertet werden. Selbst unstrukturierte, in Textform festgehaltene Dokumentationen können in Echtzeit ausgewertet werden. Und: Die Ergebnisse können tagesaktuell und ansprechend visualisiert werden.

Digitale Technik eröffnet immer mehr Möglichkeiten, die Wirkung und Wirksamkeit der Angebote und Leistungen in der sozialen Arbeit zu erfassen. Um die Arbeitsbereiche weiter zu professionalisieren, müssen wir uns mit dieser Thematik beschäftigen, mögliche Weiterentwicklungspotenziale aufdecken und langfristig einen Wissenskorpus aufbauen: Welches Angebot und welche Leistung funktioniert bei welchen Personengruppen am besten?¹ Schließlich ist dies nicht nur aus legitimatorischer Sicht, sondern auch aus fachlicher Perspektive notwendig.

Daten direkt erheben und in Echtzeit nutzen

Handy-Apps und andere digitale Tools ermöglichen es, Daten direkt von Nutzer:innen sozialer Angebote zu erheben. Ein Beispiel ist die App "iuvivo", die vor allem im Beratungsbereich eingesetzt werden kann. In der App können die im Beratungsgespräch erarbeiteten individuellen Ziele hinterlegt werden. Die Nutzer:innen des Beratungsangebotes können die Ziele direkt in der App abrufen und eine Rückmeldung geben, ob sie dieses Ziel erreicht haben oder nicht. Auch ist es möglich, ­weitere Erhebungen in die App einzubinden. Dadurch kann eine direkte Erhebung bei den Nutzer:innen des Angebotes erfolgen, ohne den "Umweg" über einen Online-Fragebogen zu gehen. Auch erhalten die Fachkräfte eine unmittelbare Rückmeldung und können diese in ihren weiteren Beratungsprozess einfließen ­lassen.

Diese direkte Rückmeldung zeigt ein weiteres Potenzial von digitalen Prozessen im Bereich der Daten­erhebung auf: Daten können in Echtzeit abgerufen werden. Dies kann beispielsweise auch im Rahmen von Online-Befragungen über sogenannte API-Schnittstellen (Application Programming Interface) erfolgen, die es ermöglichen, dass verschiedene Softwareprodukte miteinander kommunizieren können. Werden zum Beispiel Daten über eine Online-Befragung erhoben und verfügt die Befragungssoftware über eine API-Schnittstelle (wie beispielsweise Lamapoll oder Limesurvey), kann bei der Erstellung eines Auswertungsreports oder der Entwicklung eines Dashboards, also einer grafischen Benutzeroberfläche zur Datenauswertung, über diese Schnittstelle der aktuelle Datenbestand aufgerufen werden. Hierdurch können Fachkräfte immer auf den aktuellen Datenbestand zurückgreifen, aktuelle Auswertungen in ihre Arbeit einfließen lassen und, wenn nötig, auch ihr Handeln entsprechend anpassen.

Neue Auswertungsmethoden erschließen unstrukturierte Daten

Die Digitalisierung bietet nicht nur eine schnellere Verfügbarkeit von Ergebnissen im Rahmen von Wirkungsanalysen, Evaluationen und Umfragen. Es ergeben sich auch neue Möglichkeiten, unstrukturierte Daten auszuwerten. Unstrukturierte Daten sind Daten, die in unterschiedlichen Formen und nicht in einem einheitlichen Datenbankformat vorliegen. Dies können beispiels­weise Dokumentationen im Fließtext sein. Durch Methoden des maschinellen Lernens gibt es ­erste Entwicklungen, solche großen Textmengen automatisiert auszuwerten. Ein Beispiel aus der sozialen Arbeit ist das Projekt CASoTex.² Im Rahmen des Projektes wurde untersucht, ob sozialwissenschaftliche Texte mit computerlinguistischen Methoden und maschinellen Lernverfahren analysiert werden können. Dies wurde mit Texten aus Onlineberatungsforen getestet. Die Analyse erfolgte angelehnt an die qualitative Inhaltsanalyse nach Mayring.³ Die Ergebnisse waren vielversprechend: Mit ausreichend vielen Trainingsdaten gelingt es, dass überwachte Lernverfahren solche Texte automatisch kategorisieren.

Durch die Kategorisierung ist es möglich, einen Überblick über die Inhalte der Texte zu erhalten und auch zu sehen, welche Kategorien besonders häufig in den zugrundlegenden Texten vorkommen. Das Projekt hat gezeigt, dass es zukünftig möglich sein kann, eine qualitative Inhaltsanalyse durch eine KI durchzuführen und somit Dokumentationen und Materialien, die in Textformen vorliegen, besser und schneller erschließen zu können.

Im Hinblick auf die Durchführung von Wirkungsanalysen zeigt sich hier ein großes Potenzial qualitativer Textdaten. Gerade im Rahmen von Dokumenta­tionen werden Veränderungen oder Stabilisierungen bei den Klient:innen oft im Fließtext festgehalten. Diese Texte händisch auszuwerten ist sehr aufwendig. Könnte man ein entsprechendes maschinelles Lern­verfahren darauf trainieren, könnte man zukünftig Dokumentationen systematischer auswerten und auch überprüfen, ob die Ergebnisse im Rahmen von Wirkungsanalysen berücksichtigt werden können.

Neue Formen der Ergebnisdarstellung

Neben diesen neuen Formen der Datenauswertung ergeben sich auch neue Wege, Ergebnisse aus Wirkungsanalysen darzustellen. Hierbei bieten vor allem die schon erwähnten Dashboards eine gute Möglichkeit, damit Fachkräfte auf Ergebnisse von Erhebungen im Rahmen der Wirkungsanalyse zugreifen können. Durch interaktive Formen der Ergebnisdarstellung werden Nutzer:innen in die Lage versetzt, eigenständig Einstellungen vorzunehmen. Beispielsweise kann dies die Auswahl von Gruppen im Rahmen einer Gruppenauswertung sein oder der Vergleich über mehrere Erhebungsjahre. Durch die interaktive Form der Ergebnisdarstellung können diese auch schneller in die fachliche Arbeit einfließen und man kann besser prüfen, ob die Ergebnisse Antworten auf fachliche Fragen aus der Praxis liefern.

Durch die Entwicklungen in den letzten Jahren gibt es auch Auswertungstools, mit denen sich Endnutzer:innen - nach einer entsprechenden Einarbeitung - eigenständig Auswertungen und Dashboards erstellen können. In der Praxis muss natürlich geprüft werden, ob die Zielgruppe die nötige Kompetenz dazu hat oder ob es eventuell doch besser ist, ein bereits fertig entwickeltes Dashboard zur Verfügung zu stellen. Aber gerade auch im Bereich der Datenvisualisierung ergeben sich mit diesen Tools neue Möglichkeiten. Erfreulicherweise ist man hier nicht nur auf Cloud-Lösungen wie Microsoft Power BI oder Tableau angewiesen. Es gibt eine Vielzahl von interessanten Open-Source-Entwicklungen, beispielsweise Apache Superset und Metabase, die auf einem eigenen Server installiert werden können und damit auch den Anforderungen des Datenschutzes Genüge leisten.

Herausforderung: sinnvolle Daten sinnvoll auswerten

Die Digitalisierung kann die Wirkungsorientierung voranbringen und bietet gerade im Bereich der Wirkungsanalyse viele Möglichkeiten, um den Aufwand für Organisationen zu reduzieren. Allerdings ist der Einsatz von digitalen Tools auch mit zwei Herausforderungen verbunden. Zum einen wird zukünftig eine stärkere Datenkompetenz bei Mitarbeitenden benötigt. Unter Datenkompetenz versteht man die Fähigkeit, kompetent und kritisch mit Daten umzugehen. Hierbei spielt vor allem auch die kritische Interpretation von Ergebnissen eine wichtige Rolle. Werden Ergebnisse über Dashboards zur Verfügung gestellt, müssen die Fachkräfte die Ergebnisse eigenständig interpretieren können und daraus die richtigen Rückschlüsse ableiten. Daher wird es zukünftig noch wichtiger sein, diese Kompetenz bei Fachkräften in der sozialen Arbeit zu fördern und zu stärken.

Zum anderen spielt die Datengrundlage eine entscheidende Rolle. Blickt man auf die Diskussion über die Nutzung von Daten in den letzten Jahren, fällt immer wieder das Schlagwort "Big Data", also die Auswertung großer Datenbestände. In der Praxis wird aber immer wieder deutlich, dass nicht große Datenmengen benötigt werden, sondern sinnvolle Daten (sogenannte Smart Data) zur Verfügung gestellt werden müssen. Neben der Erhebung von Daten im Rahmen von Wirkungsanalysen zeigt sich, dass soziale Organisationen oft schon viele Daten erheben, dies jedoch wenig koordiniert und planvoll geschieht. Zudem werden die Daten in vielen Fällen nicht systematisch ausgewertet. Daher sollte in Zukunft auch verstärkt eine Diskussion darüber erfolgen, wie Daten in der sozialen Arbeit zugänglich gemacht werden, damit sie auch in Entscheidungen einfließen können. Erfreulich ist hier, dass in den Wohlfahrtsverbänden verschiedene Projekte initiiert werden. Innerhalb der Caritas wird beispielsweise im Projekt CariData versucht, die Daten der Schwangerschaftsberatung besser zugänglich und nutzbar zu machen. Auch startete durch die Förderung des BMFSFJ das Civic Data Lab, das die Zivilgesellschaft bei der Nutzung von Daten unterstützen soll. Der Deutsche Caritasverband bringt sich hier als einer von drei Trägern in den Aufbau des Labs ein.

Datenkompetenz muss ausgebaut werden, um Potenzial zu nutzen

Die Digitalisierung bietet vielfältige Möglichkeiten, die Wirkungsorientierung innerhalb der sozialen Arbeit voranzubringen, vor allem im Hinblick auf die Wirkungsanalyse und die Erhebung und Auswertung von Daten. Um das volle Potenzial der neuen Möglichkeiten nutzen zu können, muss die Datenkompetenz in sozialen Organisationen weiter ausgebaut und vermehrt geprüft werden, wie Daten systematisch in Entscheidungen einfließen können. Idealerweise kann man dies anhand von Pilotprojekten erproben und eigene Erfahrungen mit anderen Organisationen und Wohlfahrtsverbänden teilen.

Literatur

1. Ottmann, S.; König, J.: Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis. Stuttgart: Kohlhammer Verlag, 2023.

2. Lehmann, R. et al.: Die Computerunterstützte Analyse ­Sozialwissenschaftlicher Texte - Ergebnisse des Forschungsprojekts "Casotex" (Perspektiven Sozialwirtschaft und Sozial­management). In: Freier, C. et al. (Hrsg.): Gegenwart und Zukunft sozialer Dienstleistungsarbeit. Wiesbaden: Springer Fachmedien Wiesbaden, 2021, S. 167-180.

3. Mayring, P.: Qualitative Inhaltsanalyse: Grundlagen und Techniken (12. Auflage). Weinheim; Basel: Beltz Verlag, 2015.