Kaum etwas bringt ein Projekt schneller zum Scheitern als ein Team, das sich ausschließlich auf Vermutungen und Intuition verlässt. Ob es sich nun um ein Team handelt, das Marktforschung für ein neues Produkt betreibt, oder um eine Schule oder eine Regierungsbehörde, die eine neue Richtlinie entwickelt – ohne fundierte Daten kann jede Entscheidung am Ende deutlich teurer werden als erwartet.
Evaluierungsforschung hilft Organisationen, peinliche und vermeidbare Fehler zu verhindern. Dabei werden verschiedene Methoden eingesetzt, um Informationen zu sammeln und auszuwerten, die Antworten auf Fragen zu einem Produkt, Programm, Prozess oder der Nutzererfahrung liefern.
Es klingt zeitaufwändig, und das kann es auch sein, aber es kann sich auch als äußerst wertvoll erweisen. Laut Qualtrics versuchen bereits zu viele Forschungsteams, Kosten zu sparen. Rund 95 Prozent der Forscher nutzen mittlerweile regelmäßig KI-Tools oder experimentieren damit. NORC veröffentlichte zudem eine Branchenpräsentation aus dem Jahr 2026, die behauptet, dass 40 Prozent der nicht-wahrscheinlichkeitsbasierten Interviews im Jahr 2025 wahrscheinlich betrügerisch waren.
Schnelles Feedback einzuholen ist immer sinnvoll, aber schlechtes Feedback führt nur schneller in die falsche Richtung. Hier setzt die Evaluationsforschung an.
Was ist Evaluationsforschung?
Was ist also der Zweck von Evaluationsforschung?
Evaluierungsmethoden ermöglichen es Teams, Belege für die Wirksamkeit und den Nutzen von Programmen, Produkten oder Strategien zu sammeln. Sie helfen festzustellen, ob die eingeführten Lösungen die richtigen Ziele erreichen oder unbeabsichtigte Folgen nach sich ziehen.
Obwohl es sich stark nach einem wissenschaftlichen Verfahren anhört, das hauptsächlich von Regierungsbehörden oder Gesundheitsteams angewendet wird, ist es tatsächlich eine gängige Datenerhebungsstrategie für viele Anwendungsfälle. Organisationen können Evaluationsforschung beispielsweise für Produkteinführungen, Schulungsprogramme, gemeinnützige Projekte, neue interne Prozesse, KI-Tools oder Onboarding-Prozesse nutzen.
Die Arbeit ist bewusst direkt gehalten und konzentriert sich auf die wirklich wichtigen Fragen, wie zum Beispiel:
- Hat es funktioniert?
- Für welche Gruppe hat es funktioniert?
- Wie hoch waren die Kosten?
- Was ist schiefgelaufen?
- Muss sich etwas ändern?
Die frühzeitige Beantwortung dieser Fragen kann Unternehmen viel Ressourcen sparen, insbesondere bei der Entwicklung einer Produkt-Roadmap oder der Gestaltung neuer Prozesse mit Auswirkungen auf viele Nutzer. Man erkennt schnell, ob sich der Aufwand an Zeit, Geld und Mühe lohnt. Und sobald man das weiß, kann man fundierter entscheiden, ob man weitermacht, den nächsten Schritt optimiert, die Zielgruppe ändert oder das Projekt sogar abbricht.
Gängige Anwendungsfälle für Evaluationsforschung in der Praxis
Wir haben bereits den offensichtlichsten Punkt erwähnt: die Produktentwicklung. Kein Unternehmen sollte Produkte entwickeln, für die kein Kunde bezahlen wird oder die die Erwartungen nicht erfüllen. Evaluierungsmethoden können jedoch auch wertvolle Einblicke in … liefern.
- Benutzererfahrung (UX) und Benutzerfreundlichkeit: Wenn ein Produktteam erkennen kann, wann Kunden beim Bezahlvorgang Schwierigkeiten haben oder die Nutzung einer App abbrechen, kann es diese UX-Erkenntnisse nutzen, um das Problem zu beheben, bevor es die Anwendung auf eine größere Gruppe ausweitet.
- Mitarbeiterschulung: Mithilfe von Evaluationsforschung kann ein Unternehmen die Ergebnisse vor und nach der Schulung vergleichen, das Feedback der Mitarbeiter auswerten und Änderungen an der Schulung vornehmen, die das Verhalten tatsächlich verbessern.
- Programme im Bereich der öffentlichen Gesundheit: Eine Klinik könnte testen, ob Erinnerungs-SMS die Termintreue der Patienten erhöhen, die am ehesten Behandlungen versäumen.
- Soziale Programme: Eine gemeinnützige Organisation könnte überprüfen, ob ein Programm zur Vorbereitung auf den Arbeitsmarkt zu Vorstellungsgesprächen, Arbeitsvermittlungen oder einer besseren Mitarbeiterbindung geführt hat, anstatt sich nur auf die Teilnehmerzahlen zu beschränken.
- KI-Workflows: Ein Support-Team könnte messen, ob ein KI-Triage-Tool den Rückstand verringert, ohne dringende Anfragen in die falsche Warteschlange zu senden.
Wann sollte man Evaluationsforschung durchführen?
Evaluierungsforschung ist hilfreich für jedes Produkt, Programm oder jede Strategie, die von der ersten Idee zur tatsächlichen Nutzung übergehen soll. Sie wird während des gesamten Projekt- oder Programmlebenszyklus eingesetzt.
Man beginnt mit einer vorbereitenden Studie – ähnlich der Marktforschung, die man vor der Entwicklung eines Produkts oder der Gründung eines neuen Unternehmens durchführt. Nach der Hälfte der Projektlaufzeit evaluiert man den Prozess, um die korrekte Umsetzung zu überprüfen und Herausforderungen anzugehen, die man zuvor nicht bedacht hatte. Am Ende des Projekts misst man die endgültigen Auswirkungen und prüft, ob die angestrebten Ziele erreicht wurden.
Evaluierungsmethoden eignen sich ideal, wenn Sie eine neue Funktion in die Produkt-Roadmap aufnehmen, die Benutzererfahrung verbessern oder ein Schulungsprogramm durchführen möchten. Sie können sie auch einsetzen, um vor einer Finanzierungszusage Nachweise für Investoren zu sammeln.
Viele Unternehmen setzen mittlerweile auch Evaluierungsforschung für KI-Strategien ein. Die britische Regierung fordert sogar, KI-Interventionen am Status quo zu messen und anhand von Prozess-, Wirkungs– und Wirtschaftlichkeitskriterien zu bewerten.
Welche Arten von Evaluationsforschung gibt es?
Wir haben diese Punkte nur kurz angesprochen, aber die vier Hauptarten der Evaluationsforschung sind formative, summative, prozessorientierte und ergebnisorientierte Evaluation.
| Type | When to use it | Purpose |
|---|---|---|
|
Formative Evaluationsforschung |
Vor der Markteinführung oder frühen Tests |
Beheben Sie Schwachstellen, bevor sie teuer werden. |
|
Summative Evaluationsforschung |
Nach dem Ende eines Projekts |
Entscheiden Sie, ob das Werk mehr Unterstützung verdient hätte. |
|
Forschung zur Prozessevaluation |
Während der Lieferung |
Prüfen Sie, ob die Arbeiten wie geplant durchgeführt wurden. |
|
Ergebnisbewertungsforschung |
Nachdem Ergebnisse erscheinen |
Messen Sie, was sich für das Publikum verändert hat. |
Bei der formativen Bewertungsforschung handelt es sich um eine Untersuchung im Frühstadium, und die meisten Unternehmen sind versucht, sie zu überspringen. Dies geschieht während der Entwicklung eines Programms oder Produkts. Der springende Punkt besteht darin, Bereiche mit Verbesserungspotenzial zu identifizieren und hoffentlich positive Änderungen am Programm vorzunehmen, bevor es startet.
Die summative Evaluationsforschung findet nach Projektabschluss statt und untersucht die zentralen Fragen, beispielsweise ob die Initiative ihr Ziel erreicht hat. Für ein Unternehmen, das ein Produkt testet, könnte dies bedeuten, zu prüfen, ob das Produkt tatsächlich genutzt wird und ob es die versprochenen Vorteile bietet.
Die Prozessevaluation untersucht die Projektdurchführung. Wenn beispielsweise eine Klinik beschließt, Erinnerungs-SMS an Patienten zu automatisieren, um Nichterscheinen zu reduzieren, muss sie überprüfen, ob die SMS zum richtigen Zeitpunkt versendet wurden, ob sie im Posteingang ankamen, ob sie den Gesundheitsstandards entsprachen und ob die Telefonnummern korrekt waren.
Die Ergebnisevaluierung untersucht schließlich, welche Auswirkungen das Projekt oder der Prozess hatte. Für ein HR-Team könnte dies beispielsweise eine verbesserte Mitarbeiterbindung bedeuten. In einer Klinik sinkt die Zahl der versäumten Termine. Für ein Schulungsteam verbessert sich die tägliche Leistung. Unabhängig vom Ziel zeigt die Ergebnisevaluierung, ob sich die Arbeit gelohnt hat.
Die wichtigsten Methoden der Evaluationsforschung
Die beiden Hauptarten der Evaluationsforschung entsprechen denen praktisch jeder anderen Forschungsform: quantitative und qualitative Forschung. Erstere betrachtet Zahlen, letztere die Bedeutung und die Gedanken hinter diesen Zahlen.
Quantitative Evaluationsforschung
Quantitative Evaluationsforschung ist die zahlenorientierte Methode. Sie stellen Fragen, die darauf abzielen, konkrete Zahlen von den Befragten zu erhalten. Je nachdem, was Sie analysieren, suchen Sie möglicherweise nach Kosten, Abschlussquoten, Schulungsergebnissen, Zufriedenheitswerten, Zeitersparnis in Stunden, Akzeptanzraten oder Fehleranzahlen. Die Ergebnisse lassen sich sehr übersichtlich in einem Dashboard darstellen.
Auf den ersten Blick kann eine quantitative Studie schnell Aufschluss darüber geben, ob der neue Onboarding-Prozess die Aktivierung tatsächlich verbessert hat, ob die Support-KI den Ticketrückstand reduziert hat oder ob ein Schulungsprogramm die Testergebnisse verbessert hat. Allerdings ist sie nur dann zuverlässig, wenn die Daten einwandfrei sind. Ist die Stichprobe ungeeignet oder die Fragen suggestiv, erhält man falsche Ergebnisse.
Qualitative Evaluationsforschung
Qualitative Evaluationsforschung blickt tiefer, über die reinen Zahlen hinaus. Die Datenerhebung ist zwar aufwendiger, es gibt jedoch zahlreiche Umfrageinstrumente, die dabei helfen können.
Um qualitative Erkenntnisse zu gewinnen, führen Sie Interviews, versenden Fragebögen mit offenen Fragen, leiten Fokusgruppen und sammeln Beobachtungen oder Nutzerkommentare. Anstatt einfach nur zu fragen Wie viele Personen haben das genutzt?, stellen Sie Fragen wie Wie haben sie sich bei der Nutzung gefühlt? oder Wo sind sie auf Schwierigkeiten gestoßen und warum?
Gezielte Fragen in Produktumfragen können Unternehmen deutlich mehr über die tatsächlichen Bedürfnisse ihrer Kunden verraten als eine standardmäßige Zufriedenheitsbewertung. Allerdings ist auch hier Vorsicht geboten, um die Befragten nicht versehentlich in eine bestimmte Richtung zu lenken.
Welche Schritte umfasst eine Evaluationsforschung?
Bei Evaluationsstudien ist der beste Weg in der Regel, mit der zu treffenden Entscheidung zu beginnen und rückwärts zu arbeiten.
- Definieren Sie das Ziel: Legen Sie genau fest, was Sie beurteilen, basierend auf einer Entscheidung, die Sie treffen müssen. Beispielsweise könnten Sie herausfinden wollen, ob das Onboarding für ein neues Tool verbessert werden muss, bevor es veröffentlicht wird.
- Ermitteln Sie, wer die Antwort benötigt: Finden Sie heraus, wer die Ergebnisse nutzen muss. Das kann ein Gründer, ein Produktverantwortlicher, der gesamte Vorstand, ein Abteilungsleiter oder ein Finanzierungspartner sein. Verschiedene Personen werden die Informationen mit einem jeweils spezifischen Fokus lesen.
- Wählen Sie die Evaluationsart: Entscheiden Sie sich je nach Zeitpunkt für formative, summative, prozessorientierte oder ergebnisorientierte Evaluation. Früher Entwurf? Formativ. Abgeschlossenes Pilotprojekt? Summativ. Schwierige Einführung? Prozessorientiert. Reale Veränderung? Ergebnisorientiert.
- Wählen Sie die Methode: Verwenden Sie quantitative Fragen, wenn Sie Zahlen, Raten, Punktzahlen, Kosten oder Prozentsätze benötigen. Verwenden Sie qualitative Fragen, wenn Sie die Geschichte hinter der Zahl erfahren möchten. Die meisten Forschungsstudien kombinieren letztendlich beide Methoden.
- Erstellen Sie die Rechercheinstrumente: Sammeln Sie Beispiele für Umfragefragen und gestalten Sie Ihre Umfragen, Interviewleitfäden, Beurteilungen oder Checklisten selbst. Stellen Sie sicher, dass jede Frage Sie tatsächlich der Entscheidungsfindung näherbringt.
- Sammeln Sie die Daten: Beginnen Sie mit der Informationssammlung. Wenn Sie Daten mithilfe von Umfragen erheben, stellen Sie sicher, dass Sie diese zur richtigen Zeit an die richtige Zielgruppe senden und genügend Zeit für eine Antwort einräumen.
- Lesen Sie die Ergebnisse: Die Auswertung der Umfragedaten kann mitunter der schwierigste Teil sein. Achten Sie auf problematische Muster. Hat das Tool neuen Nutzern geholfen, aber fortgeschrittene Nutzer verärgert? Hat die Schulung die Ergebnisse verbessert, ohne das Verhalten zu verändern? Hat das Programm die Zielgruppe erreicht, die am leichtesten zu erreichen ist, und dabei die eigentliche Zielgruppe verfehlt?
- Treffen Sie die Entscheidung: Senden Sie die Informationen schließlich an die richtigen Personen im richtigen Format (Präsentation, PowerPoint-Präsentation, Grafik). Nutzen Sie diese Informationen dann für Ihre Entscheidung.
Wie kann man Daten für Evaluationsstudien sammeln?
Es gibt zahlreiche Möglichkeiten, Daten für Evaluationsstudien zu erheben; manche nutzen sogar KI, um den Prozess zu beschleunigen. Die angewandten Evaluationsmethoden hängen letztendlich von den benötigten Daten ab.
Gängige Optionen sind:
- Umfragen und Fragebögen: Eine Umfrage zu erstellen ist eine der einfachsten Möglichkeiten, schnell sowohl quantitative als auch qualitative Daten zu erheben. Sie können Umfragen online versenden und die Fragen mit Bewertungsskalen, Multiple-Choice-Optionen und einigen offenen Fragen kombinieren.
- Interviews: Interviews sind zwar zeitaufwändiger, aber wenn Sie eine wertvolle Person für ein Interview gewinnen können, erhalten Sie dadurch wesentlich tiefergehende qualitative Informationen, die Ihnen helfen, fundierte Entscheidungen zu treffen. Unabhängig davon, ob Sie ein strukturiertes oder halbstrukturiertes Interview führen, legen Sie die Kernfragen im Voraus fest – und halten Sie sich daran.
- Dokumenten- und Datensatzprüfung: Vorhandene Datensätze enthalten möglicherweise mehr Informationen, als Sie vermuten. Support-Tickets, Rückerstattungsnotizen, CRM-Felder, Anwesenheitslisten, Schulungsergebnisse, Produktanalysen, Beschwerde-E-Mails, Gesprächsprotokolle und Termindaten können Muster aufdecken, die sonst unbemerkt geblieben wären.
- Fokusgruppen: Fokusgruppen sind die sozialere Variante des Interviews. Sie eignen sich für Gemeindeprogramme, Produktkonzepte, Botschaften zur öffentlichen Gesundheit, Schulungsmaterialien und Serviceänderungen, bei denen die Sprache eine große Rolle spielt.
- Tests und Beurteilungen: Tests eignen sich für die Überprüfung von Fähigkeiten, Wissen oder Aufgabenleistungen. Nutzen Sie sie für Schulungsprogramme, Einarbeitungsprozesse, Prototyping-Aufgaben, Zertifizierungsvorbereitung oder Prozessänderungen, bei denen Mitarbeiter ihre Kompetenz nachweisen müssen.
Denken Sie daran: Tools sind hier oft äußerst hilfreich. Jotform ist eines der besten Umfragetools, mit denen Teams Daten für Evaluationsstudien sammeln können. Mit dem benutzerfreundlichen Umfragegenerator kann jeder individuelle Formulare erstellen, die verschiedenste Fragen kombinieren und Ihnen so unglaublich aufschlussreiches Feedback liefern.
Beispiele für effektive Evaluationsforschungsfragen
Die richtigen Fragen zu formulieren, gehört meist zu den schwierigsten Aufgaben bei der Forschung. Bevor man mit dem Schreiben einer Forschungsfrage beginnt, ist es daher unerlässlich, sich genau zu überlegen, welche Entscheidung man treffen möchte und was man dabei untersuchen muss.
So könnte das in einigen gängigen Bereichen aussehen.
Produkt- und Benutzererfahrung
Produktteams brauchen Fragen, die Schwachstellen aufdecken. Fragen Sie nicht einfach, ob Kunden etwas mochten – viele Menschen mögen Dinge, die sie nie benutzen, nie kaufen und nie weiterempfehlen. Stellen Sie stattdessen Fragen wie:
- Wie viel Prozent der Erstnutzer haben die Einrichtung abgeschlossen, ohne den Support zu kontaktieren?
- Welcher Schritt führte zu den meisten Abbrüchen während des Onboardings?
- Wie lange brauchten die Nutzer, um die Hauptaufgabe zu erledigen?
- Welcher Teil der Erfahrung empfanden Sie als unklar oder irritierend?
- Welche Funktion erschien Ihnen nützlich genug, um wiederzukommen?
- Was würde Sie dazu veranlassen, dieses Produkt nach der ersten Woche nicht mehr zu verwenden?
Schulungs- und interne Programme
Bei Weiterbildungen sollten Sie sich nicht nur auf Zertifizierungen und Abschlussquoten verlassen. Stellen Sie Fragen wie:
- Welcher Prozentsatz der Teilnehmer konnte sein Testergebnis nach der Schulung verbessern?
- Wie viele Teilnehmer haben das neue Verfahren innerhalb von 30 Tagen angewendet?
- Welcher Teil der Schulung hat Ihnen bei der praktischen Arbeit am meisten geholfen?
- Was fällt Ihnen ohne Hilfe immer noch schwer anzuwenden?
- Haben Ihnen die Vorgesetzten genügend Zeit und Unterstützung gegeben, um das Gelernte anzuwenden?
- Hat die Leistungssteigerung die Kosten des Programms gerechtfertigt?
Öffentliche Gesundheits- und Sozialprogramme
Eine Kampagne im Bereich der öffentlichen Gesundheit, ein Gemeindeprogramm oder eine gemeinnützige Einrichtung kann erfolgreich erscheinen, obwohl sie die Menschen, die sie erreichen sollte, verfehlt. Fragen Sie nach.
- Wie viele Personen aus der Zielgruppe haben teilgenommen?
- Welcher Prozentsatz hat das gesamte Programm abgeschlossen?
- Welche Teilnehmergruppen verzeichneten die größten Verbesserungen?
- Was hat sich im Verhalten, im Wissen, im Zugang oder im Selbstvertrauen verändert?
- Was machte die Nutzung des Programms schwieriger als erwartet?
- Gab es irgendwelche negativen Nebenwirkungen, die niemand eingeplant hatte?
Formative Evaluation während der Entwicklung
Formative fragen sind jene, die Teams vor der Launch-Party, der behalten Kampagne oder dem vollständigen Rollout stellen sollten. Verwenden Sie beispielsweise folgende Fragen:
- Welcher Prozentsatz der Tester verstand das zentrale Nutzenversprechen?
- Wie viele Nutzer haben die Prototyp-Aufgabe ohne zusätzliche Anweisungen abgeschlossen?
- Welche version des Konzepts schnitt in den ersten Tests besser ab?
- Was haben die Nutzer beim ersten Kontakt missverstanden?
- Welche bedenken würden Sie davon abhalten, dies auszuprobieren?
- Was muss sich ändern, bevor es soweit ist?
Denken Sie daran, dass Sie nicht mit einem leeren Formular beginnen müssen. Die vorgefertigten Bewertungsformularvorlagen von Jotform bieten Ihrem Team eine nützliche Grundlage. Sie können mit Vorlagen für Kundenzufriedenheit, Produktfeedback, Schulungsbewertung, Kursbewertung, Veranstaltungsfeedback, Implementierungsprüfung, Mitarbeiterleistung und Servicequalität beginnen. Passen Sie die Fragen anschließend so an, dass sie zu der Entscheidung passen, die Sie treffen möchten.
Führen Sie Ihre Evaluierungsstudie mit Jotform durch.
Wenn Sie anfangen zu glauben, dass eine Evaluierungsstudie für Ihr Unternehmen hilfreich wäre, spart Ihnen die richtige Technologie viel Zeit und Mühe.
Jotform vereinfacht die komplexen Aspekte der Datenerhebung. Stellen Sie sich vor, ein Produktteam testet einen neuen Onboarding-Prozess, ein HR-Team misst die Ergebnisse von Schulungen und eine Gesundheitsorganisation sammelt Feedback nach Arztbesuchen. Alle drei benötigen unterschiedliche Formulare, aber keines sollte auf einen Entwickler warten müssen, nur um bessere Fragen zu stellen. Mit dem Drag-and-Drop-Formulargenerator von Jotform erstellen Sie Umfragen, Abstimmungen, Feedbackformulare, Beurteilungen, aufnahmeformulare und Programmevaluierungen ganz ohne Programmierung.
Die bedingte Logik ist ebenfalls hilfreich. Sie bedeutet, dass Nutzern, die angeben, den Bezahlvorgang abgebrochen zu haben, eine Nachfrage zu den Gründen für den Abbruch angezeigt wird. Wenn ein Schulungsteilnehmer angibt, den neuen Prozess nicht genutzt zu haben, kann ihm eine Frage zu den Hindernissen gestellt werden.
Alternativ können Sie die Antworten auch an Jotform Tabellen weiterleiten, wo Ihr Team die Einsendungen sortieren, Muster überprüfen und visuelle Zusammenfassungsberichte erstellen kann, anstatt alles manuell zusammenzutragen.
Für sensible Evaluierungsstudien bietet Jotform auch HIPAA-konforme Formulare und Unterstützung bei der Einhaltung der DSGVO an.
Testen Sie Jotform kostenlos, um Bewertungsumfragen zu erstellen, sauberere daten zu sammeln und Antworten in Entscheidungen umzuwandeln, die die Menschen auch tatsächlich verteidigen können.
Häufig gestellte Fragen zur Evaluationsforschung
Die vier Hauptarten sind formative, summative, prozessorientierte und ergebnisorientierte Evaluationsforschung. Formative Forschung deckt Probleme auf, solange die Idee noch in der Entwicklung ist. Summative Forschung beurteilt das fertige Produkt. Prozessorientierte Forschung überprüft, ob die Einführung erfolgreich war. Ergebnisorientierte Forschung untersucht, ob sich nach der Nutzung etwas verändert hat.
Um herauszufinden, ob ein Produkt, Programm oder Prozess sein Ziel erreicht hat und ob der Aufwand an Energie, Geld und Ressourcen gerechtfertigt war. Bei sorgfältiger Anwendung der Strategie über den gesamten Prozesslebenszyklus hinweg können damit auch unerwartete Probleme frühzeitig erkannt werden.
Dieser Artikel richtet sich an Produktmanager, UX-Forscher, Marketingfachleute, Gründer von Startups und Business-Teams, die verstehen möchten, wie Evaluationsforschung bei der Bewertung von Produkten, Programmen, Strategien und Nutzererfahrungen hilft.
Kommentar abschicken: