White Paper

Let's know (again), innovators!

Wie Evidence-based Innovation Gewissheit für Entscheidungen schafft.
Ein Chip auf blauem Hintergrund

1. Erfolgsfaktoren für Entscheidungen im Innovationsprozess

Die Steuerung von Innovationsvorhaben und -prozessen ist im Kern ein ständiges Treffen von Entscheidungen. Wie sicher – respektive richtig diese Entscheidungen getroffen werden können, hängt vor allem von der Qualität der Entscheidungsgrundlagen ab.

Es liegt im Wesen von Innovationsprojekten, dass vor allem in Frühphasen Entscheidungen meistens aus Positionen von Informationsknappheit heraus getroffen werden müssen. Diese Knappheit betrifft zum einen die Ungewissheit, welche unterschiedlichen Szenarien eintreffen können, und zum anderen das Risiko, dass wir deren Eintrittswahrscheinlichkeit noch nicht kennen. Das Fehlen von geeigneter Evidenz zu diesen Dimensionen erhöht die Gefahr von Fehlentscheidungen. Der zweite Teil des Whitepapers beschreibt, wie die Anwendung von EBI Gewissheit für Entscheidungen schafft.

Im Umgang mit dieser Informationsknappheit bietet es sich an, Entscheidungen anhand der folgenden drei Erfolgsfaktoren auszurichten – unabhängig davon, worauf sich die Entscheidungen im Einzelnen beziehen:

  • Zielbewusst:
    Innovationsprojekte werden oft als Feld zum „Ausprobieren“ interpretiert. Man wagt sich in eine Richtung, geht wieder zum Ausgangspunkt zurück, probiert eine andere Richtung aus et cetera. Was nach Ziellosigkeit klingt, kann durchaus Teil eines bewusst gewünschten explorativen Vorgehens im Prozess sein.
    Die Anforderung „Zielbewusst“ bezieht sich auf das Vorgeben von Entscheidungspunkten in Konvergenzphasen: Hier müssen explizit Entscheidungen getroffen werden, die aus vielen möglichen Richtungen die vielversprechendste aussuchen und das weitere Vorgehen bestimmen.
  • Frühzeitig:
    Innovationsteams sollten nicht zu viel Zeit bis zum ersten Entscheidungspunkt verstreichen lassen. Oft wird bis zur Prototyping-Phase gewartet, bis man einen ersten Entscheidungspunkt setzt.
    Je länger jedoch gewartet wird, desto höher ist der Einsatz an Aufwand und Mitteln für einen Weg, der unter Umständen doch wieder verworfen wird. Das frühzeitige Einbauen von Entscheidungspunkten beugt dem vor. Diese Vorgehensweise ermöglicht, das eigene Verständnis zu hinterfragen und die Ausrichtung des Innovationsprojekts zu verbessern.
  • Evidenzbasiert:
    Nicht selten müssen in Ermangelung anderer (besserer) Entscheidungsgrundlagen Expertenmeinungen oder ein paar qualitative Kundeninterviews als Informationsbasis herhalten. Das Problem: Bei Entscheidungen wird dann teilweise ausgeblendet, wie wenig repräsentativ und Bias-behaftet eine Evidenz ist, die sich aus solchen Quellen speist. Es stellt sich ein falsches Gefühl von Sicherheit ein. Entscheidungen werden im Vertrauen darauf getroffen, entpuppen sich aber im Nachgang dann als Fehlentscheidungen.
    Ein hoher Evidenzgrad dagegen schafft eine zuverlässige Entscheidungsgrundlage und ist damit der wichtigste Erfolgsfaktor für Innovationen.

2. Entscheidungsarten im Innovationsprozess

Die im vorherigen Kapitel beschriebenen drei Erfolgsfaktoren sind für zwei Entscheidungsarten anwendbar: Entscheidungen auf Projektebene einerseits und Entscheidungen auf Portfolioebene andererseits.

2.1 Entscheidungen auf Projektebene

Entscheidungen auf Projektebene geben die weitere Richtung des Innovationsprojekts vor. Sie legen fest, durch welche Massnahmen das Innovationsvorhaben vorangetrieben werden soll.

Beispielsweise ist der Startpunkt der meisten Innovationsprojekte die Frage, welches Kundenproblem gelöst werden soll.

Entscheidungen für Fragen wie diese können und sollten anhand von Evidenz aus Markt- und Kundendaten getroffen werden. Diese müssen allerdings erst erhoben werden – ein nicht zu unterschätzender Aufwand, vor allem, wenn die dafür nötigen Ressourcen knapp sind. Deshalb ist eine realistische Aufwand-Risiko-Abschätzung sinnvoll: Der Aufwand für die „Beschaffung“ der benötigten oder gewünschten Evidenz muss dem Risiko angemessen sein, das von einer Fehlentscheidung infolge mangelnder Evidenz ausgeht. In diesem Sinne ist zu klären, bei welchen Entscheidungen welche Qualität von Evidenz überhaupt sinnvoll ist.

Besonders kritische Entscheidungspunkte auf Projektebene mit hohem Bedarf an Belastbarkeit sind insbesondere die zentralen Checkpoints, die man entlang des Innovationsprozesses durchschreiten muss. Diese Checkpoints finden sich immer am Ende der zentralen Phasen eines idealtypischen Innovationsprozesses – Understand, Solve, Implement und Scale. An diesen Checkpoints müssen auf der Projektebene jeweils die folgenden vier Fragen beantwortet werden:

  • Checkpoint 1: Opportunity.
    Welches Problem/Unmet need lohnt sich zu lösen?
  • Checkpoint 2: Proof of concept.
    Welche Lösung löst das Problem und generiert den erwarteten Wert?
  • Checkpoint 3: Minimum Viable Product.
    Performt die entwickelte Lösung auf dem Markt wie erwartet?
  • Checkpoint 4: Minimum Marketable Product.
    Lässt sich die entwickelte Lösung für den gesamten Zielmarkt ausrollen?
Der Fokus, Perspektiven, Phasen, Aktivitäten sowie Checkpoints des Innovationsprozess
Grafik 1: Der evidenzbasierte Innovationsprozess.

2.2 Entscheidungen auf Portfolioebene

Entscheidungen auf Portfolioebene gelten insbesondere der „Persevere, Pivot, or Kill“-Frage. Sie sollen beantworten, ob das Vorhaben mit seinen potenziellen Ergebnissen weiterhin in die strategische Perspektive der Unternehmung passt und im Vergleich zu anderen Innovationsprojekten ausreichendes Potenzial bietet. 

Für das Management des Innovationsportfolios sind richtige Entscheidungen auf Portfolioebene essenziell. Auf lange Sicht machen sie den Unterschied zwischen einem Portfolio an erfolgreichen, aufwandswerten Projekten und einem Portfolio erfolgloser Projekte, deren Aufwand nicht gerechtfertigt ist. Jedes Projekt, dessen Mangel an Potenzial früh erkannt wird, ist ein Win, weil es Teams und Organisationen erlaubt, Ressourcen auf vielversprechendere Projekte zu konzentrieren.

Entscheidungen auf Portfolioebene sollten deshalb nicht nur frühzeitig, sondern auch in angemessener Häufigkeit eingeplant werden – mindestens an den Checkpoints im Innovationsfunnel:

Anwendung des EBI-Ansatzes entlang der vier Checkpoints
Grafik 2: Der HudsonGoodman Innovationsfunnel

Konkret heisst das, dass sich an die Entscheidungen, die an den vier Checkpoints auf Projektebene getroffen werden, die folgenden Fragen auf Portfolioebene anschliessen:

  • Welches sind die vielversprechendsten Opportunitäten?
  • Lohnt sich in Anbetracht des erwarteten Werts eines Innovationsprojekts – im Vergleich zu den anderen – eine weitere Investition?
  • Muss der Projektumfang verändert werden?
  • Muss das Projekt neu ausgerichtet werden?

Für alle Arten von Entscheidungen wird Evidenz immer auf der Projektebene erhoben. Bei Entscheidungen, die auf der Portfolioebene getroffen werden, wird die auf Projektebene erhobene Evidenz dann den Entscheidungsträgern auf Portfolioebene als Entscheidungsgrundlage zur Verfügung gestellt.

3. Das Entscheidungsvorgehen nach EBI: ein Blueprint 

In vier Schritten kann nach dem Prinzip des Evidence-based Innovation Loops eine starke Hypothese erstellt und überprüft werden! Das Entscheidungsvorgehen nach EBI folgt dem „Scientific Method“-Ansatz, einem strukturierten und iterativen Ansatz zur Gewinnung wissenschaftlich valider Erkenntnisse. Die Prozessabfolge ist dabei fest vorgegeben.

Der Ausgangspunkt beim Vorgehen nach EBI ist immer die Identifikation einer Fragestellung, die eine wichtige Entscheidung auf Projekt- oder Portfolioebene markiert. Die reine Identifikation der Frage genügt aber noch nicht. Ihr muss sich eine Aufwand-Risiko-Abwägung anschliessen, um festzulegen, wie wichtig es ist, diese Entscheidung nach EBI zu treffen und welcher Evidenzgrad anzustreben ist. 

Sobald eine Fragestellung identifiziert wurde und klar ist, dass nach EBI vorgegangen werden sollte, beginnt man mit einem Prozess aus Hypothesenerstellung und -auswahl, Testing und dem Ableiten von Entscheidungen (wenn die angestrebte Entscheidungssicherheit erreicht wurde) oder bedarfsweise dem Verfeinern und weiterem Testen von Hypothesen (falls noch Unsicherheit besteht). Dieses an wissenschaftliche Forschung angelehnte Vorgehen wird als der „Evidence-based Innovation Loop” bezeichnet. Seine Abfolge, die in der folgenden Abbildung illustriert ist, sollte unabhängig von der Art des Entscheidungspunktes oder der konkreten Fragestellung in seinen Schritten nie verändert werden. Dabei laufen die vier Hauptschritte – Hypothesenerstellung und -auswahl, Testing und Entscheidung – ebenso als iterativer Prozess ab wie die Einzelschritte des Hauptschrittes 2.

Vier Schritte zur Generierung einer Hypothese nach dem Evidence-based Innovation Loop.
Grafik 3: Evidence-based Innovation Loop
  • Schritt 1: Erstellung von (starken) Hypothesen.
    Nachdem die Frage, die einen Entscheidungspunkt markiert, identifiziert wurde, werden im ersten Schritt die Hypothesen aufgestellt, die diese Fragestellung beantworten könnten. Hypothesen müssen immer wie folgt sein: Möglichst konkret, testbar und somit falsifizierbar.
    Das ideale Vorgehen nach EBI wäre, mit einer Sammlung explorativer Daten – beziehungsweise einer Exploration zu beginnen und dann auf Basis gewonnener Erkenntnisse Hypothesen zu erstellen. Dabei prägen drei Szenarien bei der Erstellung von Hypothesen. Diese werden im Whitepaper 2 auf Seite 8 vertieft und beschreiben sowohl die optimale Ausgangssituation als auch das Szenario, welches vermieden werden sollte.
  • Schritt 2: Auswahl der zu testenden Hypothese.
    In diesem Schritt werden die im vorherigen Schritt erarbeiteten Hypothesen priorisiert. Das erlaubt die Auswahl der ersten Hypothese, die getestet werden soll. Ein Sonderfall wäre eine bereits vorgegebene Hypothese. Die Auswahl ist hier überflüssig.
  • Schritt 3: Testing der Hypothese.
    Anschliessend wird die Evidenz generiert, mit der die zuvor selektierte Hypothese entweder bestätigt – beziehungsweise bestärkt oder falsifiziert wird. Das Hypothesen-Testing besteht aus drei Teilschritten, die in sich iterativ sind und erlauben, das experimentale Vorgehen über mehrere Zyklen zu verbessern, um die Aussagekraft der Evidenz weiter zu optimieren.
    Die drei Teilschritte bilden innerhalb des Evidence-based Innovation Loops einen Kreislauf aus den Faktoren «Plan», «Generate» sowie «Evaluate». Doch selbst diese Teilschritte bringen wichtige Aufgaben mit sich, die wir auf Seite 9 des Whitepapers 2 erläutern.
  • Schritt 4: Entscheidung auf Basis von Entscheidungssicherheit.
    Ergab die Evaluation, dass ausreichende Evidenz gesammelt wurde, um die geprüfte Hypothese entweder genügend zu unterstützen oder sie zu verwerfen, ist man nun in der Lage, zu entscheiden.
    Unterstützt die gesammelte Evidenz die Hypothese, lässt sich die ursprüngliche Fragestellung beantworten und damit eine Entscheidung treffen. Verwirft die gesammelte Evidenz dagegen die Hypothese, sollte ein weiterer EBI-Loop erfolgen. Dafür können bereits erarbeitete Hypothesen durch weitere ergänzt werden, um dann aus diesen die nächste zu prüfende Hypothese zu selektieren und diese zu testen.

4. Die Aussagekraft von Evidenz

In der Praxis wird allzu oft auf nicht robuste Evidenz zurückgegriffen. Teilweise wird sie in ihrer Unzulänglichkeit nicht erkannt, teilweise fehlt aber auch das Wissen, wie sich solidere Evidenz generieren lässt. 

An diesen Pain Points setzt EBI an. Sein Ansatz sensibilisiert für die folgenreichen Unterschiede in der Zuverlässigkeit von Evidenz. Zudem dient dieser als Leitfaden, um für jeden Entscheidungspunkt die effektivste Methode zur Generierung relevanter sowie aussagekräftiger Evidenz zu wählen und anzuwenden. Bei der Auswahl der effektivsten Methode müssen der Aufwand zur Generierung von Evidenz mit dem Potenzial der Risikominimierung abgeglichen werden.

4.1 Einordnung nach Evidenzgraden

Die meisten innovierenden Organisationen stimmen darin überein, dass wichtige Entscheidungen eine verlässliche Grundlage brauchen. Zum Ausdruck kommt das etwa in der Anwendung der Test- und Measure-Prozessschritte im Design Thinking oder Lean Startup, mit denen am Markt Evidenz gesammelt wird.

Kritisch wird es allerdings, wenn es an die Beurteilung der Evidenz geht. Oftmals fällt es Entscheidungsträgern schwer, unterschiedlich generierte Evidenz richtig nach ihrer Qualität und Aussagekraft einzuordnen und abzuwägen. Evidence-based Innovation bietet für die Lösung dieser wichtigen Aufgabe einen Weg: die Unterscheidung verschiedener Evidenzgrade.

Im Forschungsprojekt ZHAW Evidence-based Innovation Toolkit der Zürcher Hochschule für Angewandte Wissenschaften, geleitet von Dr. Martin Feuz, wurde unter anderem eine Evidenz-Skala als Werkzeug entwickelt, um Innovationsteams bei den folgenden Herausforderungen zu helfen:

  • Besser zu verstehen, welche Entscheidungen evidenzbasiert getroffen werden können (und welche judgment-calls sind).
  • Einzuordnen, welche Methoden welche Qualität und Zuverlässigkeit von Evidenz generieren können.
  • Innovationsvorhaben vergleichbarer zu machen.
  • Und dadurch im Innovations-Portfolio die vielversprechendsten Vorhaben zu selektieren und zu fördern.

5. Das Herzstück der Evidenz: Von der Intuition zur Wissenschaft

Die Stärke der Evidenz nimmt auf der Skala kontinuierlich zu: von ersten Indizien (Evidenzgrad 1, Anecdotal Evidence, Idea) bis zu praktischen Sicherheiten (Evidenzgrad 4, Conclusive Evidence, Scale). Im Verlauf ergeben sich dadurch vier Ebenen der Belastbarkeit, die im Whitepaper 2 genauer erklärt werden.

  • Evidence level 1: Anekdotische Evidenz
    Lösungsidee
    Die Vermutung über die Taten der Leute, was jedoch nur ein Wunschdenken sein könnte.
    In der Initialphase jedes innovativen Vorhabens steht die Anecdotal Evidence (Anekdotische Evidenz) im Zentrum. Sie ist das intuitive Verständnis eines latenten Bedarfs oder der Keim einer Lösungsidee.
    Obwohl der Aufwand für ihre Generierung relativ gering ist, muss sie im Kontext ihrer sehr begrenzten Aussagekraft betrachtet werden. Diese Evidenz ist zwar rudimentär, doch bildet sie das Fundament für zukünftige Forschung und Entwicklung. Sie entsteht aus direkten Beobachtungen, persönlichen Erfahrungen und der menschlichen Intuition.
  • Evidence level 2: Indikative Evidenz
    Daten
    Leute sagen, was sie machen werden, ohne dies tatsächlich zu tun.
    Im Gesamtbild stellt die Indicative Evidence (Indikative Evidenz) einen wertvollen Fortschritt dar, indem sie einen ersten, substantiellen Abgleich zwischen Idee und Marktrealität ermöglicht.
    Die Generierung von Evidenz erfolgt hier mit geringem Aufwand und zielt darauf ab, erste, richtungsweisende Einsichten zu erhalten. Diese Evidenz hat zwar eine begrenzte Aussagekraft, dennoch liefert sie wertvolle erste Anhaltspunkte, welche die Hypothese stützen oder in Frage stellen können. Sobald sich aus den anfänglichen Daten konsistente Muster ergeben, wird die Evidenz gefestigt.
  • Evidence level 3: Signifikante Evidenz
    Verlässlichkeit
    Was Leute tatsächlich tun, aber vermutlich nur ein oder zwei Mal.
    In dieser Phase steht die Verlässlichkeit im Zentrum: Die bisherigen Annahmen und Erkenntnisse sollen durch systematische sowie methodisch anspruchsvolle Ansätze überprüft werden.
    Indem signifikante Evidenz möglichst früh gesammelt wird, lassen sich potenzielle Fehlinvestitionen vermeiden und die zukunftsträchtigen von den weniger erfolgversprechenden Ideen zeitnah und belastbar differenzieren.
  • Evidence level 4: Konklusive Evidenz
    Validität
    Was Leute wiederholt tun, sogar in anderen Märkten/Ländern.
    Conclusive Evidence (Konklusive Evidenz) steht für die tiefgreifende und rigorose Bestätigung von Hypothesen und ist somit der robusteste Indikator für die Validität jegliches Innovationsvorhabens.
    Durch konklusive Evidenz kann zum Beispiel bestätigt werden, ob diese auch bei umfassender Anwendung die gewünschten Effekte zeigen, eine tatsächliche Nachfrage generieren und effektiv sind, ohne unbeabsichtigte Nebenwirkungen zu haben.

6. Auf den Punkt 

Dieses Whitepaper hat EBI als Vorgehen zur Verbesserung der Entscheidungsfindung im Innovationsprozess detaillierter ausgeführt. Dabei hat sich gezeigt, dass und wie der EBI-Ansatz Entscheidungssicherheit schafft: indem er gewährleistet, dass Entscheidungen zielbewusst, frühzeitig und evidenzbasiert getroffen werden.

Das für die Evidenzgenerierung notwendige Vorgehen wird durch den EBI-Loop veranschaulicht, der als Blueprint für das Treffen von evidenzbasierten Entscheidungen in Innovationsprozessen gelten darf. Eine gezielte Evidenzgenerierung bedingt dabei auch, den angestrebten Grad der Evidenz zu bestimmen. Hier hilft die Evidenz-Skala, die unterschiedlichen Evidenzgrade in ihrer Wertigkeit aufzeigt.

Zu beachten ist allerdings auch, dass höhere Evidenzgrade nur mit höherem Aufwand erreicht werden können, weshalb eine Risiko-Aufwand-Abschätzung in die Überlegungen zum gewünschten Evidenzgrad einzubeziehen sind. Die Erfahrung zeigt, dass das EBI-Vorgehen sowohl auf Projekt- wie auch Portfolioebene zu qualitativ besseren Entscheidungen führt.

6.1 Entscheidungspunkte auf Projektebene

Auf dieser Ebene werden mittels EBI richtungsgebende Entscheidungen getroffen, die den Wert des Innovationsprojekts – beziehungsweise seine Erfolgsaussichten nachhaltig erhöhen.

6.2 Entscheidungspunkte auf Portfolioebene

Hierbei wird der Wert des Innovationsprojekts in Relation zu anderen Innovationsprojekten im Portfolio betrachtet. Wenig erfolgversprechende Projekte lassen sich durch EBI frühzeitig erkennen, neu ausrichten oder terminieren.