Die Bewertung von Ideen ist ein wichtiger, aber schwieriger Teil des Innovationsprozesses. Sie dient dazu, die Attraktivität der Ideen zu ermitteln und dient meistens als Vorbereitung für einen anschließenden Auswahlschritt, bei der die Ideen die ausgewählt werden, die im Prozess verbleiben dürfen und weiter verarbeitet werden.

In der Praxis werden zur Bewertung von Ideen fast immer Punktemethoden benutzt: Die Ideenbewerter vergeben Punkte an die Ideen, die zum Ausdruck bringen, inwiefern sie einem vorgegebenen Bewertungskriterium entsprechen. Die Vorteile einer Punktebewertung liegen auf der Hand: sie ist einfach, und die Punktzahlen von verschiedenen Experten oder für verschiedene Kriterien lassen sich leicht zusammenaddieren, um zu einer Gesamtsumme zu kommen.

In der wissenschaftlichen Literatur findet man jedoch auch Bewertungsmethoden, die auf Paarvergleichen beruhen. Hier werden den Bewertern zwei Ideen vorgelegt, und sie müssen angeben, welche der beiden am ehesten einem Kriterium entspricht. Aus der Menge aller Paarvergleiche kann dann ein Ranking aller Ideen hergestellt werden.

Obwohl die Verfahren, die auf Paarvergleichen beruhen, aufwendiger sind, gibt es eine Reihe von theoretischen und praktischen Gründen, die für sie sprechen. Hier will ich vier weniger bekannte Gründe vorstellen.

Stellen wir uns vor, zwei Ideen sollen von zwei Experten begutachtet werden. Im ersten Experiment dürfen die Experten Punkte von 1 bis 10 vergeben, im zweiten führen sie Paarvergleiche durch.

Beispiel 1: Gleichstand

Wenn im ersten Experiment beide Experten einer Idee die gleiche Punktzahl geben, bedeutet dies nicht dasselbe, denn ein Punkt beim ersten Experten kann etwas anderes bedeuten, als beim zweiten. Geben sie jedoch beim Paarvergleich an, dass beide Ideen gleichwertig sind, dann haben beide in diesem Fall tatsächlich die selbe Aussage gemacht.

Beispiel 2: Denkaufwand

Es ist anstrengender, eine Punktbewertung vorzunehmen, als einen Paarvergleich zu machen. Dies liegt daran, dass eine Punktbewertung eine Skala voraussetzt, die aber in den meisten Fällen nicht existiert. (“Was heißt es genau, dass eine Idee 7 Punkte bekommt und nicht 6 oder 8 Punkte?“)

Beispiel 3: Beständigkeit des Urteils

Bei der Punktevergabe kommt es oft vor, dass ein Experte seine früheren Bewertungen revidieren möchte, nachdem er weitere Ideen kennengelernt hat. Beim Paarvergleich tritt dieser Effekt nicht ein: die Feststellung, dass eine Idee besser ist, als eine andere, hängt nicht von der Kenntnis weiterer Ideen ab.

Beispiel 4: Genauigkeit

Die Verwendung von Punkten zur Bewertung suggieriert eine Genauigkeit, die in Wirklichkeit nicht vorhanden ist. Vor allem wenn die Punkte mehrerer Bewerter oder für unterschiedliche Kriterien zusammengezählt werden, ist die Versuchung groß, zu glauben, dass die Idee mit 97 Punkten besser ist, als die mit 96 Punkten. Dabei sind die einzelnen Punktangaben, aus denen sich die Gesamtsummen zusammsetzen, oft höchst ungenau, denn sie beruhen lediglich auf einem Bauchgefühl. Demnach sind Schlussfolgerungen, die auf geringen Punkteunterschieden beruhen, nicht gerechtfertigt. Im Gegensatz hierzu sind Paarvergleiche genau, denn Entscheidung, welche von zwei Ideen besser ist, enthält keine Abstufungen.

Wir sind der Meinung, dass Paarvergleiche die bessere Wahl sind, und die Methoden, die wir z.Zt. erforschen (und die wir dieses Jahr auf der HICSS-Tagung präsentiert haben) basieren auf Paarvergleichen.

Drei Experten A, B und C sollen eine Idee beurteilen. Für diese Beurteilung sind die zwei Kriterien X und Y relevant. Erfüllt die Idee beide Kriterien, so wird sie akzeptiert, sonst wird sie abgelehnt.

Wir treffen nun für die drei Experten eine bestimmte Kombination von Meinungen:

1. Experte A ist der Meinung, dass beide Kriterien erfüllt sind und votiert deshalb für die Idee.
2. Experte B ist der Meinung, dass Kriterium X erfüllt ist, das Kriterium Y jedoch nicht. Er stimmt also gegen die Idee.
3. Experte C ist der Meinung, dass Kriterium X nicht erfüllt ist, das Kriterium Y jedoch schon. Er stimmt also ebenfalls gegen die Idee.

Nun haben wir die paradoxe Situation, dass die Mehrheit der Experten sowohl Kriterium X als auch Kriterium Y als erfüllt ansieht aber dennoch die Idee ablehnt. Die Situation ist ähnlich dem Problem mit den versteckten Profilen, wo eine spezifische Verteilung von Wissen oder Meinungen zum falschen Verhalten führen kann.

Die Wissenschaft hat erst in letzter Zeit dieses Paradox entdeckt und hat es zum Anlass genommen, Bewertungsmethoden zu entwickeln, die damit umgehen können. Diese Methoden setzen aber Bedingungen voraus, die für die Bewertung von Ideen im Innovationsprozess nicht realistisch sind.

Eine Lösung für die Ideenfabrik würde darin bestehen, die Evaluation der Kriterien einzeln zu aggregieren, und das Gesamturteil auf der Grundlage der aggregierten Kriterienurteile zu bilden.

Wenn eine Bienenkolonie einen neuen Nistplatz sucht, schickt sie einige Hundert Bienen heraus, um geeignete Orte zu suchen. Diese Bienen entdecken viele Alternativen, die unterschiedlicher Qualität sein können, und die Kolonie braucht ein Verfahren, um zwischen den potentiellen neuen Nistplätzen die beste Wahl zu treffen.

Eine ähnliche Situation gibt es im Innovationsprozess. Hier liegen statt Nistplätze Ideen zur Evaluation vor, und statt einiger Tausend Bienen gibt es eine Gruppe von typischerweise fünf bis 20 Experten, die die Ideen anhand von strategischen, technischen und marktorientierten Kriterien bewerten sollen.

Das Auswahlverfahren der Bienen sieht wie folgt aus:

1. Einige Hundert Bienen schwärmen aus auf der Suche nach geeigneten Nistplätzen.
2. Erfolgreiche Bienen kehren zur Kolonie zurück und führen einen “Wackeltanz” vor. Dies ist ein Flugmanöver, das aus mehreren wiederholten Zickzackbewegungen besteht und dadurch an einen Tanz erinnert. Dabei hängt die Anzahl der Bewegungen von der Qualität des gefundenen Nistplatzes ab.
3. Durch diesen Tanz angeregt fliegen weitere Bienen zum Nistplatz, um ihn zu prüfen. Diese führen dann nach ihrer Rückkehr ebenfalls Wackeltänze vor den anderen Bienen in der Stammkolonie vor.
4. Wenn eine genügend hohe Anzahl von Bienen den neuen Nistplatz besucht hat, trennt sich die Kolonie in zwei etwa gleich große Teile, und die eine Hälfte zieht zum neuen Wohnort um.

Forscher haben mit Hilfe von Simulationen herausgefunden, dass dieses Verfahren optimal ist. Dies bedeutet, dass die Parameter von der Natur so gewählt sind, um das bestmögliche Kompromiss zwischen der Qualität des gewählten Nistplatzes und dem dafür notwendigen Arbeitsaufwand zu erreichen. Zu diesen Parametern gehört die Anzahl der Wackelbewegungen in Abhängigkeit von der geschätzten Qualität eines Nistplatzes. Beobachtungen von Bienen haben gezeigt, dass diese sechs verschiedene Qualitätsstufen unterscheiden, und diese Stufen mit 15, 45, 90, 150, 225 bzw. 315 Wackelbewegungen kommunizieren.

Der finnische Student Juho Salminen ist in seiner Master-Arbeit der Frage nachgegangen, ob sich dieses Verfahren auf die Ideenauswahl im Innovationsprozess übertragen lässt. Dazu hat er einen Prototyp des natürlichen Verfahrens entwickelt und an seiner Universität getestet. Seine Ergebnisse bewertet er positiv, und er empfiehlt die Realisierung eines produktiven Werkzeugs auf der Basis der Methode.

Eine häufig verwendete Methode für die Ideenauswahl ist das so genannte “Punktekleben”. Jeder Experte vergibt Punkte an die Ideen, und diese Punkte werden anschließend zusammengezählt, um die besten Ideen zu ermitteln. Dabei dürfen typischerweise Punkte auf einer linearen Skala von 1 bis 10 vergeben werden.

Obwohl sie sehr weit verbreitet ist, setzt Zephram diese Methode nicht ein, denn sie hat eine Reihe von entscheidenden Nachteilen. Zu diesen Nachteilen gehört, dass die Methode dazu neigt, Unterschiede zwischen den Alternativen zu verwaschen. Die folgende Tabelle illustriert diesen Effekt:

Vier Experten W, X, Y und Z haben die drei Ideen A, B und C mit Punkten zwischen 1 und 6 bewertet. In der Summe erhält Idee A 11 Punkte, Idee B 12 Punkte und Idee C 11 Punkte. Damit ist Idee B der knappe Sieger, und Ideen A und C stehen gleichrangig knapp dahinter.
Bildet man aber diese Punkte auf die Skala ab, die von den Bienen eingesetzt wird, erhält man das folgende Ergebnis:

Idee B bleibt Sieger, aber der relative Abstand zu den anderen ist größer geworden. Außerdem haben Ideen A und C nicht mehr Gleichstand, sondern es steht jetzt A vor C, wenn auch nur knapp. Diese Unterschiede zwischen den beiden Verfahren erkennt man besser in einem Diagramm:

Das bionische Bewertungsverfahren bildet also Unterschiede zwischen den Alternativen klarer ab als die lineare Bewertung. Diese Eigenschaft ist für den Innovationsmanager, der vielversprechende Ideen identifizieren muss, sehr hilfreich.
Natürlich setzt ein solches Verfahren die Unterstützung durch einen Computer voraus, denn man kann den Experten eine solche “krumme” Bewertungsskala nicht zumuten; diese sollten wie gewohnt Punkte linear vergeben. Für den Rechner ist es eine Kleinigkeit, diese umzuwandeln und die Summen zu bilden.

Aufgrund dieser Beobachtung scheint eine nichtlineare Abbildung von Punkten für die Ideenbewertung Vorteile zu bieten. Es ist aber Forschung notwendig, um die optimalen Parameter der Abbildung herauszufinden. Dies wollen wir in den kommenden Monaten im Rahmen unserer Kooperation mit der Universität Magdeburg studieren.

Quelle: Juho Salminen: Applying Collective Intelligence to Idea Evaluation at the Front End of Innovation

Noreena Hertz hat einen lehrreichen Vortrag zum Umgang mit Experten auf einer TED Konferenz gehalten.

Sie hat sich die Frage gestellt “Sollten wir wichtige Entscheidungen aufgrund von Expertenempfehlungen treffen?”

Drei Ihrer Botschaften dazu waren:

• Wir sollten mehr unser eigenes Urteilsvermögen nutzen. (Faszinierend, dass wir es in der Umgebung von Experten scheinbar ausstellen.)
• Uns bewusst machen, dass auch Experten Fehler machen können.
• Wir sollten Expertenaussagen kritisch hinterfragen (z.B. unter welchen Bedingungen diese gelten).

Dennoch ist sie der Meinung, dass wir weiterhin Experten zu Rate ziehen sollten. Allerdings empfiehlt sie Experten eher wie einen Basar an Möglichkeiten zu betrachten. Man hört sich viele verschiedene Meinungen, Diagnosen, Urteile und Prognosen an, um sich selbst ein besseres Bild von der eigenen Lage zu verschaffen.

Als besonders wertvoll für Entscheidungsfindung benennt Hertz konstruktive Kritiker. Dies begrüßen wir gerade zum Thema Innovation. Denn für die Steigerung der Innovationsfähigkeit eines Unternehmens halten wir einen Provokateur für sehr hilfreich. Ein Provokateur ist nämlich jemand, der grundlegende Annahmen hinterfragt. Mehr dazu steht in unserem Artikel Die modernen Hofnarren.

Ich sammele gerne Beispiele von Ablehnungsfehlern in der Innovation. Sie bieten nicht nur Stoff zum Staunen, sondern sind auch nützlich für meine Vorlesungen an der Universität und in den Seminaren über Innovationsmanagement von Zephram.

Ein Ablehnungsfehler begeht man, wenn man eine Idee verwirft, die aber tatsächlich erfolgreich wurde bzw. geworden wäre.

Es gibt viele bekannte Beispiele für derartige Ablehnungsfehler. Am bekanntesten ist wahrscheinlich die Ablehnung des Telefons durch Western Union im Jahr 1877. Heute habe ich zufällig ein weiteres Beispiel entdeckt:

Im Jahr 1959 erwog die Haloid Xerox Corporation in USA, den ersten vollautomatischen Kopierer für normales Papier zu entwickeln. Dieser sollte Modell 914 heißen. Haloid Xerox hat das Beratungsunternehmen Arthur D. Little beauftragt, diese Idee zu bewerten. Deren Abschlussbericht kam zu folgendem Ergebnis:

Das Modell 914 hat keine Zukunft im Bürokopierermarkt.

Xerox hat das Gerät trotzdem entwickelt, und es wurde ein riesiger Verkaufserfolg.

(Quelle: Tecado)

The evaluation of ideas is the final phase of the front end of innovation. The ideas that emerge from this phase turn into development projects and ultimately may become new products or services.

As part of our Idea Engineering research we are developing rules for the design of the idea evaluation phase. Here is a “Top 10″ list compiled from our experience.

1. Start with clearly presented, concrete innovation goals. Many evaluation errors and tedious discussions stem from the lack of clearly stated goals. Are you looking for incremental, radical, platform, process, business model or new market innovations?
2. Divide the process into phases. Idea Evaluation needs a stage-gate-type process in order to be efficient. Simple ideas may only need two phases, complex ideas will need up to four.
3. Idea Evaluation consists of three tasks: Refinement, Evaluation and Selection. Refinement means adding information and comments to ideas in order to make them better understandable and evaluable (see Rule #5). Evaluation means assigning a judgement to an idea. This might vary from a simple “yes/no/maybe” to a comprehensive system of scores. Selection means keeping some ideas and removing others from the process.
4. Formulate refinement questions and evaluation criteria that serve the innovation goal. Every item of work that is invested in an idea should be geared towards answering the question “Will this idea help us meet our innovation goals?” Too often, superficial criteria (such the PMI method) are used. This Rule presupposes that Rule #1 has been implemented.
5. Selection must always be preceded by Evaluation and Evaluation must always be preceded by Refinement. It is inadvisable to remove or promote an idea without having first assigned some estimate of value to it, and it is dangerous to evaluate an idea before it has been described sufficiently thoroughly.
6. Never process an idea expensively that could have been eliminated cheaply. This follows from the need for efficiency.
7. The amount of time spent on an idea should be inversely proportional to the number of ideas under consideration. This also follows fairly obviously from the need for efficiency.
8. Never compare apples and oranges. Different types of idea (in particular ideas that serve different goals, see Rule #1) must be treated differently. They are subject to different evaluation criteria and serve different goals. Ideally, each class of idea would have its own evaluation process.
9. Never let anyone single-handedly kill or promote an idea who has a vested interest in it. Many participants in idea evaluation have a large degree of self-interest and may often try to kill or promote an idea based on how it affects them personally rather than on its benefit to the organisation.
10. Know the psychology of idea evaluation. There are several effects which can affect the evaluation of ideas that have been studied by psychologists (one of them is described in Rule #9). Others are Evaluation Apprehension, Groupthink and Social Loafing. Design your evaluation workshop accordingly.

Charles Browder hat einmal über neue Ideen gesagt:

A new idea is delicate. It can be killed by a sneer or a yawn. It can be stabbed to death by a joke or worried to death by a frown on the wrong person’s brow.

(Eine neue Idee ist zerbrechlich. Sie kann durch höhnisches Lächeln or Gähnen getötet werden. Sie kann durch einen Witz erdolcht oder durch Stirnrunzeln bei der falschen Person vor lauter Sorgen in den Tod getrieben werden.)

Es ist tatsächlich sehr leicht, neue Ideen zu töten. Schon ein verächtlicher Blick (vor allem eines Vorgesetzten) oder eine unüberlegte Killerphrase kann genügen, dass eine Idee für immer verschwindet. Je innovativer die Idee, desto größer ist auch diese Gefahr, denn es sind die radikalen, neuen Ideen, die etablierte Regeln und Normen in Frage stellen und folglich sofortigen Widerstand auslösen.

Es gehört zur Kunst des Workshop-Designs, zu verhindern, dass Ideen auf diese Weise “ermordet” werden. Die wohl bekannteste Maßnahme ist eine der vier ursprünglichen Brainstorming-Regeln von Alex Osborn aus den 1950er Jahren: die strikte zeitliche Trennung von Ideenproduktion und Ideenbewertung.

Wann ist eine Geschäftsidee vielversprechend? Dies ist die Kernfrage aller Innovationsprojekte, in denen neue Produkte, Dienstleistungen oder Geschäftsmodelle entwickelt werden sollen. Um sie zu beantworten, gibt es eine Vielzahl von Prüfkriterien, die bei der ausführlichen Bewertung neuer Ideen zur Anwendung kommen. Letzten Endes aber kommt es auf nur zwei Kriterien an: Einmaligkeit und Kundennutzen.

Der Kundennutzen gibt an, welches Kundenproblem durch ein Angebot gelöst wird bzw. welcher Kundenwunsch dadurch erfüllt wird. Er sagt auch etwas darüber aus, wie wichtig diese Lösung für den Kunden ist. Der Kundennutzen ist die Voraussetzung dafür, dass überhaupt eine Nachfrage für das Angebot geben wird. Je größer der Nutzen, desto mehr wird ein Kunde bereit sein, dafür zu bezahlen.

Eine Lösung ist einmalig, wenn es für den Kunden keine gleichwertige Alternative dazu gibt. Dies bedeutet sowohl, dass alle Alternativen minderwertig sind, als auch dass der Anbieter dieser Lösung am Markt der einzige ist (und nach Möglichkeit auch bleiben wird!) Geringe Einmaligkeit bedeutet großer Wettbewerb und folglich geringe Flexibilität und hoher Preisdruck.

Eine Geschäftsidee ist in der Regel nur dann vielversprechend, wenn sie sowohl eine hohe Einmaligkeit als auch einen hohen Kundennutzen hat. Der Kundennutzen sichert die Nachfrage und den potentiellen Preis, und die Einmaligkeit sichert Freiräume und den tatsächlichen Preis. Mit anderen Worten: der Anbieter hat ein Monopol auf etwas, was seinen Kunden sehr wichtig ist. Dies erklärt beispielsweise den Erfolg der iTunes Music Store von Apple: Viele Menschen wollen Musik und Videos flexibel und günstig kaufen und zu Hause und unterwegs genießen, und Apple war der erste und lange Zeit einzige Anbieter dieser Möglichkeit.

Eine große Einmaligkeit bei geringem Kundennutzen ist fast wertlos: Man kann der einzige Mensch auf Erden sein, der unter Wasser pfeifen kann; da niemand davon einen Nutzen hat, wird man daraus keine Karriere machen können. Auf dem umgekehrten Fall – hoher Kundennutzen bei geringer Einmaligkeit – kann man zwar ein Geschäft bauen, allerdings wird der starke Wettbewerb dafür sorgen, dass dem Gewinn und dem Wachstum wahrscheinlich enge Grenzen gesetzt sind. Lebensmittel sind hierfür ein Beispiel.

Einmaligkeit und Kundennutzen sind auch bei bestehenden Angeboten Schlüsselfragen. Inkrementelle Verbesserungen können den Nutzen eines Produktes erhöhen (und somit seine Lebensdauer verlängern) , und Änderungen am Geschäftsmodell können die Einmaligkeit (und somit die Wettbewerbsposition) steigern. Aus diesem Grund sind Fragen der Art “Wie können wir den Nutzen unseres Produktes erhöhen?” für jedes Unternehmen wichtig, und eine Ideenfabrik muss dafür gute Antworten liefern können.

Es gab einmal einen Materialverantwortlichen bei den US-Marines namens Phil Archuleta, der die folgende (wahre!) Geschichte erzählt:

Rekruten bei den Marines erhielten am ersten Tag eine neue Uniform. Nach zwei Wochen intensiver Ausbildung haben sie häufige neu Uniformen benötigt, weil ihnen die alten  schon nicht mehr passten. Es galt die Regel, dass nach dem Tausch die Originaluniforme zerstört werden müssen.

Archuleta fand diese Regel unsinnig, und dass es besser wäre, die Uniformen einfach zu waschen und an die nächste Gruppe von Rekruten zu geben. Dies schlug er seinem Vorgesetzten vor, erhielt aber von diesem die Antwort, “Nein, das widerspricht den Regeln. Vergessen Sie es.” Einige Zeit später kam jedoch ein neuer Vorgesetzter, der die Idee gut fand und in der Befehlshierarchie nach oben weiterleitete. Das Ergebnis war, dass die Idee flächendeckend eingeführt wurde und eine jährliche Kostenreduktion von einer halben Million Dollar ermöglichte.

Derartige Geschichten über Ablehnungsfehler in Organisationen gibt es viele. Leider sind sie nicht auf das Militär beschränkt. Beispielsweise berichtet Douglas Merrill, der frühere Chief Innovation Officer von Google, dass die Ideen für die erfolgreichen Produkte AdSense und Gmail im Unternehmen zunächst abgelehnt worden sind. Im selben Vortrag gibt er ein paar Tipps, wie Führungskräfte ihre Organisationen innovationsfreundlicher machen können, damit die Gefahr derartiger Fehlentscheidungen reduziert wird.

Quelle der Geschichte: Der Blog von Hutch Carpenter.

In einer typischen Ideenproduktion entstehen Hunderte von Ideen. Bei der ersten Sichtung müssen sehr schnell die besten Ideen herausgefiltert werden, die dann näher betrachtet werden sollen. Eine einfache Testfrage, die Ihnen dabei hilft, eine Idee schnell zu bewerten, lautet

Bin ich ein FAN dieser Idee?

Dabei ist “FAN” ein Akronym für

• Feasible (machbar)
• Attractive (lohnend)
• Novel (innovativ)

Erfüllt eine Idee diese drei Kriterien, darf sie in die zweite Bewertungsrunde kommen. (Dort werden allerdings genauere Bewertungskriterien eingesetzt!)