Bewertungsfehler im Innovationsprozess: Die Kienbaum-Studie

kienbaum

1993 ist eine Studie der Unternehmensberatung Kienbaum über Innovationsprozesse erschienen, die häufig zitiert wird. In der Studie wurde das Schicksal von 1919 Produktideen in verschiedenen Unternehmen verfolgt. Das Ergebnis sah wie folgt aus:

  • Ursprüngliche Anzahl Produktideen: 1919
  • Anzahl Ideen nach erster Bewertung:  524
  • Anzahl Projekte nach Zwischenbewertung:  369
  • Am Markt eingeführte Produkte:  176
Es haben also weniger als zehn Prozent der Ideen es bis zum Produkt geschafft. Die Geschichte geht aber noch weiter, denn von den 176 am Markt eingeführten Ideen waren …
  • 124 Flops,
  • 24 Verlustbringer,
  • 17 mittelmäßig erfolgreich,
  • 11 profitabel.

Ideen selektieren mit der Outranking-Methode

outranking

Ein Tag Ideenproduktion liefert je nach Wunsch des Auftraggebers zwischen 50 und 500 Rohideen. Bevor diese weiter verarbeitet werden können, muss eine Selektion erfolgen. Dazu werden die Ideen zunächst anhand mehrerer Kriterien bewertet. Es existieren viele Methoden für die Selektion – es gibt dafür ein eigenes Wissenschaftsgebiet, das Multi-Criteria Decision-Making heißt. Die meisten Methoden sind jedoch nicht für den Einsatz bei Rohideen geeignet, weil sie zu aufwendig sind oder genaue Bewertungsangaben voraussetzen.

Glücklicherweise gibt es eine sehr einfache und einleuchtende Methode, um eine erste Selektion vorzunehmen. Diese basiert auf dem Konzept des „Outrankings“ (Dominierens). Die Methode erlaubt es, fast ohne Aufwand eine große Anzahl der vorhandenen Ideen zu eliminieren. Sie kann jedoch nicht die beste Idee identifizieren oder ein Ranking erstellen.

Wider den Stage-Gate-Prozess

tom fishburne

Der Comic-Zeichner Tom Fishburne ist auf Marketing- und Innovationsthemen spezialisiert. Er veröffentlicht jede Woche treffende Beobachtungen aus dem Unternehmensalltag in visueller Form. In dieser Zeichnung prangert er den allgegenwärtigen Stage-Gate-Prozess an, dem er die Schuld für das Scheitern vieler guten Ideen in Unternehmen gibt. Dasa Bild erinnert an das ehemalige Checkpoint Charlie zwischen Ost- und West-Berlin.

Der Stage-Gate-Prozess wird fast überall eingesetzt, um Innovationsprojekte zu strukturieren. Zwischen den einzelnen Arbeitsphasen („Stages“) gibt es Kontrollpunkte („Gates“) bei denen die einzelnen Ideen bzw. Projekte entweder fortgesetzt oder beendet werden.

Dieses Prinzip macht zunächst viel Sinn, denn es erlaubt eine Besserung Lenkung des Ressourcenverbrauchs und sorgt dafür, dass schwache Projekte rechtzeitig beerdigt werden. Nur ist es leider so, dass in den meisten Organisationen eine Kultur der Risikovermeidung vorherrscht. Dies führt dazu, dass gerade ungewöhnliche (und damit auch innovative) Ideen in den Gates hängen bleiben, und nur sichere, gewöhnliche Ideen befördert werden. Wie Fishburne an anderer Stelle schreibt: „Die meisten Unternehmen besitzen viel mehr Werkzeuge, um Ideen zu kaputtzuschneiden, als um sie zu züchten.“

Punktevergabe oder Paarvergleich?

AversusB

Die Bewertung von Ideen ist ein wichtiger, aber schwieriger Teil des Innovationsprozesses. Sie dient dazu, die Attraktivität der Ideen zu ermitteln und dient meistens als Vorbereitung für einen anschließenden Auswahlschritt, bei der die Ideen die ausgewählt werden, die im Prozess verbleiben dürfen und weiter verarbeitet werden.

In der Praxis werden zur Bewertung von Ideen fast immer Punktemethoden benutzt: Die Ideenbewerter vergeben Punkte an die Ideen, die zum Ausdruck bringen, inwiefern sie einem vorgegebenen Bewertungskriterium entsprechen. Die Vorteile einer Punktebewertung liegen auf der Hand: sie ist einfach, und die Punktzahlen von verschiedenen Experten oder für verschiedene Kriterien lassen sich leicht zusammenaddieren, um zu einer Gesamtsumme zu kommen.

In der wissenschaftlichen Literatur findet man jedoch auch Bewertungsmethoden, die auf Paarvergleichen beruhen. Hier werden den Bewertern zwei Ideen vorgelegt, und sie müssen angeben, welche der beiden am ehesten einem Kriterium entspricht. Aus der Menge aller Paarvergleiche kann dann ein Ranking aller Ideen hergestellt werden.

Ein Paradox der Ideenbewertung

paradox ideenbewertung

Drei Experten A, B und C sollen eine Idee beurteilen. Für diese Beurteilung sind die zwei Bewertungskriterien X und Y relevant. Erfüllt die Idee beide Kriterien, so wird sie akzeptiert, sonst wird sie abgelehnt.

Wir nehmen nun für die drei Experten eine bestimmte Kombination von Meinungen an:

  1. Experte A ist der Meinung, dass beide Kriterien erfüllt sind und votiert deshalb für die Idee.
  2. Experte B ist der Meinung, dass Kriterium X erfüllt ist, das Kriterium Y jedoch nicht. Er stimmt also gegen die Idee.
  3. Experte C ist der Meinung, dass Kriterium X nicht erfüllt ist, das Kriterium Y jedoch schon. Er stimmt also ebenfalls gegen die Idee.

Nun haben wir die paradoxe Situation, dass die Mehrheit der Experten sowohl Kriterium X als auch Kriterium Y als erfüllt ansieht, die Idee aber dennoch abgelehnt wird. Die Situation ist ähnlich dem Problem mit den versteckten Profilen, wo eine spezifische Verteilung von Wissen oder Meinungen (möglicherweise) zum falschen Ergebnis führen kann.

Bionische Ideenbewertung

bionische ideenbewertung

Wenn eine Bienenkolonie einen neuen Nistplatz sucht, schickt sie einige Hundert Bienen heraus, um geeignete Orte zu suchen. Diese Bienen entdecken viele Alternativen, die unterschiedlicher Qualität sein können, und die Kolonie braucht ein Verfahren, um zwischen den potentiellen neuen Nistplätzen die beste Wahl zu treffen.

Eine ähnliche Situation gibt es im Innovationsprozess. Hier liegen statt Nistplätze Ideen zur Evaluation vor, und statt einiger Tausend Bienen gibt es eine Gruppe von typischerweise fünf bis 20 Experten, die die Ideen anhand von strategischen, technischen und marktorientierten Kriterien bewerten sollen.

Das Auswahlverfahren der Bienen sieht wie folgt aus:

  1. Einige Hundert Bienen schwärmen aus auf der Suche nach geeigneten Nistplätzen.
  2. Erfolgreiche Bienen kehren zur Kolonie zurück und führen einen „Wackeltanz“ vor. Dies ist ein Flugmanöver, das aus mehreren wiederholten Zickzackbewegungen besteht und dadurch an einen Tanz erinnert. Dabei hängt die Anzahl der Bewegungen von der Qualität des gefundenen Nistplatzes ab.