Prof. Dr. Jan Hense, Wirkungsorientierung, Interventionsdesign und Evaluation, Jan Hense Evaluationsberatung

Künstliche Intelligenz (KI) ist zweifellos das derzeit meistdiskutierte Thema in der Evaluation. Effizienzversprechen und vielfältige Anwendungspotenziale, aber auch Befürchtungen und Verunsicherung, wie mit der neuen Technologie angemessen umzugehen ist, prägen die Debatte.

Der Vortrag gibt einen kurzen Überblick über wichtige Grundlagen und Begrifflichkeiten im Bereich KI und stellt dar, warum sie sich grundlegend von anderen technologischen Innovationen unterscheidet. Wie vielfältige Beispiele belegen, gibt es potenzielle Anwendungen nicht nur bei der häufig diskutierten KI-gestützten Datenauswertung, sondern im gesamten Lebenszyklus von Evaluationen. Im Kontext von Wirkungsevaluationen kann KI etwa systematisch für die Entwicklung, Rekonstruktion, Plausibilisierung und Nutzung von Wirkungsmodellen z.B. im Rahmen von Kausalanalysen eingesetzt werden.

Der Vortrag wechselt anschliessend die Blickrichtung, indem gefragt wird, welche Auswirkungen KI und ihr Einsatz für Praxis und Entwicklung der Evaluation als professionelles Tätigkeitsfeld haben. Ob wir es wollen oder nicht, KI hat als neuer „Player“ im Evaluationsfeld das Potenzial, viele Aufgaben und Arbeitsschritte im Evaluationsprozess nicht nur zu unterstützen, sondern ganz zu übernehmen. In Kombination mit Kostendruck und Marktbedingungen, unter denen Evaluation oft ausgeführt werden, ergeben sich daraus weitreichende Fragen zu Rollenverständnis, Gütestandards, Kompetenzprofilen und Professionalisierungsstand der Evaluation, die abschliessend diskutiert werden.

Prof. Dr. rer. nat. Marin Zec, Professor für Angewandte Informatik an der Hochschule München

Die Soziale Arbeit steht vor grossen Herausforderungen: Komplexe Problemlagen, hoher Rechtfertigungsdruck bei der Wirkung und akuter Fachkräftemangel verlangen nach neuen Ansätzen. Gleichzeitig eröffnen jüngste Entwicklungen im Bereich der Künstlichen Intelligenz völlig neue Möglichkeiten. Doch wie gelingt der Spagat zwischen menschlicher Empathie und maschineller Effizienz, ohne den Kern des Sozialen zu verlieren? Diese Keynote zeigt, wie Mensch und Maschine im Tandem zu einem echten Innovationsmotor werden. Im Fokus steht die Frage, wie soziale Organisationen ihre kritische Intelligenz ausbauen, um durch das Zusammenspiel von menschlicher Urteilskraft und Technologie messbar mehr zu bewirken.

Dr. Stefanie Krapp, Leiterin Bereich Evaluation, Lifelong Learning Center (LLC), Universität Bern

Die Evaluation steht an einem Wendepunkt. Globale Krisen, gesellschaftliche Polarisierung, die Erosion evidenzbasierter Politik sowie der rasante technologische Wandel – insbesondere durch Künstliche Intelligenz – verändern die Rahmenbedingungen evaluativer Praxis grundlegend. Kann sich Evaluation durch eine stärker reflexive, strategische und transformationsbegleitende Praxis diesen Herausforderungen stellen? Dies zumindest intendieren neuere Ansätze wie transformative Evaluation, Systems Thinking, adaptive Evaluation sowie partizipative und lernorientierte Zugänge, die neue Perspektiven auf Wirkung, Lernen und gesellschaftlichen Wandel eröffnen. Damit verändern sich auch die Anforderungen an Evaluator:innen. Gefragt sind nicht nur methodische Exzellenz, sondern ebenso adaptive Fähigkeiten, interdisziplinäres Denken, digitale und KI-bezogene Kompetenzen sowie kommunikative und politische Sensibilität. Evaluator:innen sind zunehmend gefordert, unterschiedliche Wissensformen zu verbinden, Lernprozesse zu begleiten und zwischen Evidenz, Entscheidung und gesellschaftlichen Interessen zu vermitteln. Gleichzeitig stellt sich die Frage, wie Evaluation ihre Glaubwürdigkeit, Unabhängigkeit und gesellschaftliche Relevanz in Zeiten schwindender Evidenzorientierung behaupten kann.

Prof. Dr. Jan Hense, Beratung für Wirkungsorientierung, Interventionsdesign und Evaluation, Giessen

Wirkungsmodelle (logische Modelle, Theories of Change und weitere Varianten der Programmtheorie) gehören heute zum festen Bestandteil von Programmplanung und Evaluation. In der Praxis bleibt ihr Potenzial allerdings oft ungenutzt. Vor allem der verbreitete «Fill-out-Approach» in Tabellenform bringt oft unvollständige, ungenaue und wenig nützliche Modelle hervor. Theorien und Befunde aus dem Gegenstandsbereich, die erklären könnten, auf welchen Wegen und unter welchen Bedingungen intendierte Veränderungen bei Zielgruppen bewirkt werden, finden nur selten explizit Anwendung bei der Wirkungsmodellierung.

Der Workshop fragt, wie ein überlegter und verantwortungsvoller Einsatz von KI-Chatbots wie Claude oder ChatGPT zu besser fundierten Wirkungsmodellen beitragen kann. An konkreten Beispielen und mithilfe exemplarischer Prompts demonstrieren und erproben wir im Workshop, inwiefern Wirkungsmodelle aus textlichen Quellen rekonstruiert, systematisch ergänzt und auf Plausibilität hin überprüft werden können. Der systematische Einbezug des Forschungsstands zur Ermittlung von förderlichen und hinderlichen Kontextfaktoren auf intendierte Wirkungspfade und auf die Differenzierung von Zielgruppen und Wirkungsebenen wird dabei besonders im Fokus stehen.

In einer Reflexionsphase diskutieren wir ethische und professionsbezogene Fragen des KI-Einsatzes und welche Kontrollmechanismen und Dokumentationspflichten aus dem KI-Einsatz folgen.

Dr. Anina Hanimann, Leitung Fachbereich Gesundheitsförderung und Prävention, Interface Politikstudien Forschung Beratung AG, Lausanne / Luzern
Dr. des. Zora Föhn, Senior Projektleitung Fachbereich «Gesundheitsförderung und Prävention», Interface Politikstudien, Forschung Beratung AG, Lausanne / Luzern

Soziale Innovationen spielen eine zentrale Rolle bei der Weiterentwicklung der Sozialen Arbeit. Gleichzeitig stellen sie besondere Anforderungen an die Evaluation: Ziele sind oft noch offen bzw. verändern sich im Projektverlauf, Wirkungszusammenhänge sind komplex und Rahmenbedingungen dynamisch. Klassische Evaluationsansätze stossen hier rasch an ihre Grenzen. Der Workshop widmet sich der Frage, wie soziale Innovationen zweckmässig evaluiert und gleichzeitig in ihrer Entwicklung unterstützt werden können. Ziel ist es, den Teilnehmenden praxisnahe Anregungen und konkrete Ansatzpunkte für die evaluative Begleitung von Innovationen in ihrem jeweiligen Kontext mitzugeben.

Zu Beginn wird gemeinsam geklärt, was unter „sozialen Innovationen“ im Kontext der Sozialen Arbeit verstanden werden kann und welche spezifischen Herausforderungen sich daraus für Evaluationen ergeben. Anschliessend wird mit dem Critical Friend Approach ein Ansatz vorgestellt, der sich für die Evaluation von Innovationen eignet. Neben der Grundidee und den zentralen Elementen des Ansatzes wird eine konkrete Anwendung anhand der Evaluation des Pilotprojekts „Soziale Rezepte der Stadt Zürich“ illustriert. Im interaktiven Teil des Workshops steht der Austausch im Zentrum: Die Teilnehmenden arbeiten in Kleingruppen an eigenen Praxisbeispielen. Leitfragen sind unter anderem: Welche Ziele verfolgt die Innovation? Welche Rolle könnte Evaluation in diesem Prozess übernehmen? Wie könnte eine „kritische Freundschaft“ konkret ausgestaltet werden? Die Gruppen entwickeln erste Skizzen für eine begleitende Evaluation. Im Plenum werden die Ergebnisse zusammengeführt und zentrale Erkenntnisse gemeinsam verdichtet.

Daniel Schaufelberger MSc, www.reframes.ch, Projekte und Beratung im Sozialen, Luzern

Die Berufsfachschule Basel führt seit 2021 im Auftrag der Kantone BS und BL das Grundkompetenz-Angebot «einfach besser vorbereitet (ebv)» durch. Der berufsbegleitende Kurs dient der Vorbereitung auf den Berufsabschluss für Erwachsene. Das Angebot richtet sich speziell an Personen, die Lücken bei den schulischen Grundvoraussetzungen aufweisen oder für die Lernen in Bildungsformaten ungewohnt ist. Was sind die Wirkungen des Angebots? Erreicht „einfach besser vorbereitet“ die Ziele? Was verändert sich bei den Teilnehmenden und verbessern sich die Chancen der Teilnehmenden, einen Berufsabschluss zu erreichen?

Die Verantwortlichen haben in einem Projekt mit reframes ein Wirkungsmonitoring für das Angebot aufgebaut. Das Monitoring zeigt, wer das Angebot nutzt und inwiefern Teilnehmende ihre berufliche Situation verbessern und einen Berufsabschluss erreichen.

Im Workshop geben wir Einblick in das Projekt und das Vorgehen. Ein Wirkungsmodell bildete die Grundlage für die Identifizierung von Wirkungsindikatoren und Daten, welche nun in einem Dashboard halbjährlich übersichtlich zeigen, wo „einfach besser vorbereitet“ steht.

Marc Huber, Gründer VectorAgency GmbH (DOBY) und Softwareentwickler, Oberengstringen
Martina Rufer, Co-Institutsleiterin kompetenzhoch3,
KOSS-Produktverantwortliche und psychodiagnostische Abklärungen, Zürich

Wirkungsevaluationen in der Sozialen Arbeit beruhen zunehmend auf vielfältigen Daten: Fallverläufen, Zielerreichungen, KlientInnenbefragungen, Risikoeinschätzungen, sozialen Diagnosen und Abschlussberichten. Diese Daten enthalten wertvolles Wissen über Verläufe, Gelingensbedingungen und Grenzen von Interventionen, werden im Alltag jedoch oft nur teilweise systematisch ausgewertet. KI-Agenten eröffnen hier neue Möglichkeiten: Sie können umfangreiche Informationen strukturieren, Muster sichtbar machen und Auswertungen vorbereiten.

Der Workshop diskutiert diese Möglichkeiten am Beispiel der Kinder- und Jugendhilfe und der kompetenzorientierten Methodiken. Im Zentrum steht die Frage, wie KI methodisch fundiert, datenschutzkonform und professionell verantwortbar eingesetzt werden kann. An einem exemplarischen Fall wird gezeigt, wie sensible Falldaten lokal pseudonymisiert und anschliessend für KI-gestützte Analysen nutzbar gemacht werden können. Die Demonstration dient als Ausgangspunkt für eine fachliche Diskussion: Welche Aufgaben können KI-Agenten sinnvoll unterstützen? Wo entstehen neue Risiken für Datenschutz, Fachlichkeit, Profiling oder eine unbemerkte Verschiebung professioneller Verantwortung? Welche Formen der menschlichen Prüfung, Deutung und Verantwortung bleiben aus fachlicher und gesetzlicher Sicht unverzichtbar? Und inwiefern können KI-Agenten die Praxis bei Evaluationen unterstützen, um sich laufend selbst zu verbessern?

Matthias Widmer, MA, wissenschaftlicher Mitarbeiter Institut Professionsforschung und -entwicklung, Hochschule für Soziale Arbeit FHNW
Marco Nussbaumer, Leitung Bereichsentwicklung Wohnen und Stv. Bereichsleitung, Stiftung Brändi

Organisationen der Sozialen Arbeit arbeiten mit Leitkonzepten, die eigentlich vorgeben, welche Wirkungen ihre Interventionen bedienen sollen. Oft sind diese Konzepte schwer mess- und damit kaum verhandelbar. Inklusion ist eines dieser Leitkonzepte, die von der UN-Behindertenrechtskonvention vorgegeben werden und für Organisationen für Menschen mit Behinderungen eigentlich verbindlich sind. Doch was bedeutet Inklusion konkret im organisationalen Alltag? Steigt mit zunehmender Inklusion zwingend die Lebensqualität – oder gibt es auch Personen, die nicht profitieren? Und wie lässt sich beurteilen, ob Angebote „inklusiv genug“ sind und wo das Angebot verbessert werden muss? Solche Fragen lassen sich erst fundiert diskutieren, wenn Organisationen ein aussagekräftiges Bild davon haben, wie viel Inklusion ihre Angebote tatsächlich ermöglichen – und wie diese zu den Lebenszielen der Nutzenden passen.

Der Workshop stellt den Zwischenstand eines Kooperationsprojektes der FHNW mit der Stiftung Brändi vor. Brändi verfolgt «Alles für die Inklusion» als Vision. In der ersten Projektphase wurde das Inklusionspotenzial aller Angebote mit dem neuen Inklusions-Potential-Index (IPI) erfasst. Der IPI misst, wie wahrscheinlich es ist, dass Nutzer:innen in zentralen Alltagssituationen mit Personen ohne Beeinträchtigung in Kontakt kommen.

Der Workshop bietet einen kompakten Einblick in das Vorgehen und in erste Ergebnisse. Im zweiten Teil werden Teilnehmende eingeladen, Daten für den eigenen Praxiskontext zu erzeugen und diese als Grundlage für eine kritische Reflexion im Plenum zu verwenden.

Prof. Dr. Marin Zec, Professor für Angewandte Informatik an der Hochschule München

Künstliche Intelligenz (KI) ist in aller Munde, doch wie wird sie im Alltag der Sozialen Arbeit zu einem echten, hilfreichen Sparringspartner? In diesem Praxis-Workshop übersetzen wir das Konzept der Kritischen Intelligenz in konkretes Handeln. Wir werfen einen Blick hinter den Hype und erproben direkt, wie menschliche Urteilskraft und KI-Effizienz gewinnbringend ineinandergreifen können.

Anhand von typischen Aufgabenstellungen aus der Praxis –wie der Strukturierung und Auswertung von komplexem, qualitativem Klienten-Feedback oder dem Brainstorming für neue Projektideen – lernen Sie die Funktionsweise von KI-Systemen verstehen. Sie erfahren, wie Sie KI als hilfreichen Assistenten nutzen, ohne Ihre fachlichen Werte und datenschutzrechtlichen Leitplanken zu verlassen. Ein interaktiver Kurzsprint, der Ihnen zeigt, wie Sie die Technologie klug hinterfragen und gleichzeitig gewinnbringend für Ihre tägliche Arbeit einsetzen.

Dr. Stefanie Krapp, Leiterin Bereich Evaluation, Lifelong Learning Center (LLC), Universität Bern

Wirkungsmodelle sind ein zentrales Instrument für die wirkungsorientierte Planung, Steuerung und Evaluation von Interventionen. Sie machen Annahmen über Wirkzusammenhänge explizit, schärfen Zielsetzungen und strukturieren die Logik zwischen Ressourcen, Aktivitäten und angestrebten Wirkungen. Insbesondere in komplexen Handlungsfeldern unterstützen sie dabei, Interventionen systematisch zu konzipieren, Erwartungen an Wirkung kritisch zu reflektieren und eine gemeinsame Grundlage für Planung, Umsetzung und Lernen zu schaffen.

Inhalte: Der Workshop führt in das Konzept der Wirkungsorientierung ein und beleuchtet Funktionen, Potenziale und Grenzen von Wirkungsmodellen in der Planung von Interventionen. Im Zentrum steht die Frage, wie Wirkungsmodelle genutzt werden können, um Interventionen fundiert und wirkungsorientiert auszurichten – und welche organisatorischen, fachlichen und prozessualen Voraussetzungen hierfür notwendig sind.

Ziele: Die Teilnehmenden verstehen zentrale Elemente eines Wirkungsmodells und reflektieren deren Nutzen für die Interventionsplanung. Sie setzen sich zudem mit Herausforderungen und Gelingensbedingungen bei der Entwicklung und Anwendung von Wirkungsmodellen auseinander.

Der Workshop richtet sich an Fachpersonen aus Planung, Evaluation und Programmumsetzung, die Interventionen systematisch und wirkungsorientiert gestalten möchten.

Prof. Dr. Andrea Zumbrunn, Dozentin, Institut Soziale Arbeit und Gesundheit, Hochschule für Soziale Arbeit FHNW
Samin Sepahniya, MA, wissenschaftliche Mitarbeiterin, Institut Soziale Arbeit und Gesundheit, Hochschule für Soziale Arbeit FHNW
Nadja Hess, MA, wissenschaftliche Mitarbeiterin, Institut Soziale Arbeit und Gesundheit, Hochschule für Soziale Arbeit FHNW

Die gesundheitsbezogene Soziale Arbeit erfüllt eine wichtige Funktion in der Begleitung von Menschen, die mit gesundheitlichen, sozialen und materiellen Problemen konfrontiert sind. Trotz langjähriger Praxis gibt es in der Schweiz und international noch wenig wissenschaftliche Evidenz über ihre Wirkung. Es fehlen verlässliche Instrumente zur Erfassung der Tätigkeiten der Sozialen Arbeit und repräsentative Studien. In der vom Schweizerischen Nationalfonds (SNF) geförderten Studie (aliment-studie.ch) wurden Fragebogen für Fachpersonen und Klient:innen entwickelt, mit denen sich die sozialarbeiterischen Tätigkeiten des Begleitens und des Ressourcenerschliessens erfassen lassen. Dieser Fragebogen wird in der laufenden Längsschnittstudie eingesetzt, um den Zusammenhang zwischen dem entsprechenden methodischen Handeln und den Outcomes bei den Klient:innen zu untersuchen. 

Im Rahmen des Workshops wird der Entwicklungsprozess des Instruments, an dem rund 25 Praxisorganisationen beteiligt sind, vorgestellt. Dieser umfasst unter anderem Fokusgruppengespräche und eine Delphi-Studie. Zudem werden erste Ergebnisse aus der laufenden Beobachtungsstudie präsentiert. In der anschliessenden Diskussion wird der mögliche Nutzen des Instruments und der definierten Outcomes für Evaluation und Qualitätssicherung in Arbeitsfeldern der Sozialen Arbeit erörtert.

Prof. Dr. Wolfgang Beywl, Seniorprofessor für Schul- und Unterrichtsevaluation, PH FHNW und wissenschaftlicher Leiter Univation – Institut für Evaluation, Köln
Prof. Dr. Lars Balzer, Leiter der Fachstelle Evaluation an der Eidgenössischen Hochschule für Berufsbildung EHB, Zollikofen

Was Evaluation gegenüber anderen Verfahren wie Aktionsforschung oder Qualitätsmanagement auszeichnet, ist das systematische Bewerten als Kernaufgabe. Bewertet wird datenbasiert, kriterienorientiert, transparent, multiperspektivisch und wenn immer möglich partizipativ.

Der Workshop führt ein in das evaluationswissenschaftliche Verständnis des Bewertens und dessen Grundbegriffe – insbesondere Kriterien und Kriterienpunkte.

Folgende Themen können daraufhin in kurzen Partner- oder Kleingruppenarbeiten vertieft werden:

• Werteklärung, die möglichst früh im Evaluationsprozess eingeleitet wird – exemplarische Vertiefung mithilfe des Wertequadrats von Schulz von Thun an von Teilnehmenden eingebrachten Beispielen
• Bewertungssynthese, als Zusammenführung von datenbasierten Bewertungen aufgrund mehrerer, eventuell auch konkurrierender Kriterien
• Schlussfolgerungen, Handlungsoptionen und ggf. Empfehlungen auf Basis der Bewertungssynthese – Sensibilisierung für diesen Prozess anhand des FIWE-Schemas von Michael Patton.

Die Teilnehmenden bringen ihre Expertise ein, um die evaluationswissenschaftlichen Grundlagen des Bewertens auf ihre Arbeitsfelder der Sozialen Arbeit zu transferieren.

Basistext: Balzer, Lars/Beywl, Wolfgang (2026, im Erscheinen): evaluiert – Lehrbuch der Evaluation. Theorie, Planung und Methoden für den Bildungsbereich. 3. Bern: hep.

Prof. Dr. Daniel Oberholzer, Institut Professionsforschung und -entwicklung,Hochschule für Soziale Arbeit FHNW
Matthias Widmer, MA, wissenschaftlicher Mitarbeiter Institut Professionsforschung und -entwicklung, Hochschule für Soziale Arbeit FHNW
Flavio Maspoli, UX Designer/Consultant, bbv Software Services AG, Luzern
Christof Oberholzer, Head of Business Area Healthcare & Insurance, bbv Software Services AG, Luzern

Viele Organisationen für Menschen mit Behinderungen stehen vor der Herausforderung, die zentralen Wirkungen ihrer Leistungen systematisch und aussagekräftig nachzuweisen. Eine zentrale Leerstelle der bestehenden Qualitätsmanagement-Systeme liegt in der Frage, welche Leistungen für welche Nutzenden zu einem guten Leben beitragen, wie sich diese Ergebnisse im Vergleich zu anderen Organisationen einordnen lassen und welche Entwicklungen anstehen. Da geeignete Instrumente und vergleichbare Daten weitgehend fehlen, ist organisationsübergreifendes Lernen bislang kaum möglich.

Der Beitrag stellt ein Innosuisse-Projekt vor, das diese Leerstelle adressiert. Im Projekt wird ein KI-unterstütztes System entwickelt, in dem soziale Organisationen ihre Praxis standardisiert über Audits und strukturierte Erhebungen erfassen. Die Daten werden in einer gemeinsamen, zugänglichen Datenbasis gebündelt und organisationsübergreifend nutzbar gemacht.

Im Zentrum stehen die KI-Anwendungen: Sie unterstützen die Analyse grosser Datenmengen, identifizieren Muster und Zusammenhänge und tragen zur Weiterentwicklung von Wirkmodellen bei. Diese Modelle werden nicht automatisiert generiert, sondern in einem iterativen Prozess mit Fachpersonen entwickelt und geschärft. KI fungiert dabei als unterstützendes Instrument, das Hypothesen sichtbar macht und auf Ansatzpunkte für wirksame Veränderungen hinweist.

Im Workshop arbeiten die Teilnehmenden mit vereinfachten Beispieldaten und KI-gestützten Auswertungen. Ziel ist es, Chancen und Grenzen evidenzbasierter Organisationsentwicklung mit KI praktisch zu reflektieren.