Kriterien bei der Ideenbewertung

kriterien bei der ideenbewertung

Einführung

Die Bewertung von Ideen ist der schwierigste Teil der frühen Phasen im Innovationsprozess. Dies liegt unter anderem daran, dass die Bewertungskriterien nicht gut gewählt sind oder falsch angewandt werden. Das Ergebnis sind Bewertungsfehler, die dann zu Auswahlfehlern führen: Der Ablehnungsfehler, bei dem eine gute Idee fälschlicherweise verworfen wird, oder ein Annahmefehler, bei dem eine schlechte Idee weitergeleitet wird.

Allgemeine und aufgabenspezifische Kriterien

Bei jeder Ideenfindungsaufgabe gibt es sowohl allgemeine als auch aufgabenspezifische Bewertungskriterien.

Es gibt drei Kategorien von allgemeinen Kriterien:

  • Attraktivität: Welche Argumente sprechen für die Idee und wie stark wiegen sie?
  • Realisierbarkeit: Was ist für die Realisierung notwendig? Können (und wollen) wir diesen Aufwand betreiben?
  • Disruptionspotential: Welche internen Änderungen erfordert die Idee und sind wir dazu imstande (und auch dazu bereit)?

Zur Attraktivität gehören Fragen wie Wie viele Neukunden können wir durch die Idee gewinnen? oder Wie groß ist der Kundennutzen dieser Verbesserung? Die Realisierbarkeit enthält Fragen wie Wie teuer wird die Entwicklung sein? oder Haben wir dafür die notwendigen Kompetenzen im Haus? Zum Disruptionspotential gehören Fragen wie Welche politischen Folgen innerhalb der Organisation wird diese Idee haben? oder Müssen wir unser Image anpassen, damit diese Idee nach Außen glaubwürdig erscheint?

Aufgabenspezifische Kriterien erfordern oft genaue Kenntnisse der Aufgabenstellung und der Rahmenbedingungen. Beispielsweise gehören zur Bewertung einer Produktidee das Kundenbedürfnis, das dadurch befriedigt werden soll sowie Markttrends, die einen Einfluss auf die Erfolgschancen des Produktes haben.

Randbedingungen und Erfolgskriterien

Randbedingungen

Randbedingungen geben vor, welche Eigenschaften eine Idee haben muss oder nicht haben darf. Sie werden demzufolge auch Muss-Kriterien bzw. Darf-nicht-Kriterien genannt. Typische Randbedingungen bei Geschäftsideen sind:

  • Kosten: Die Verwirklichung darf nicht mehr als ein bestimmter Betrag kosten.
  • Fit: Die Idee muss zum Unternehmen und zu dessen Strategie passen.
  • Ressourcen: Die Verwirklichung muss mit vorhandenen Ressourcen oder Kompetenzen möglich sein.

Randbedingungen dienen dazu, Ideen zu eliminieren, die nicht weiter betrachtet werden sollen. Aus diesem Grund sind Randbedingungen absolut – der Erfüllungsgrad ist einfach Ja oder Nein. Ideen, die Randbedingungen erfüllen, sind nicht notwendigerweise gut, sie scheitern nur nicht an einer vorgegebenen Hürde.

Erfolgskriterien

Erfolgskriterien geben an, welche Eigenschaften eine Idee haben muss, um als erfolgreich zu gelten. Sie werden auch häufig Soll-Kriterien genannt. Sie können immer formuliert werden mit dem Satz Je mehr …, desto besser. Typische Erfolgskriterien bei Geschäftsideen sind:

  • Gewinnpotential: Je höher die Gewinnaussichten, desto besser.
  • Wachstumspotential: Je größer die Wachtumsaussichten, desto besser.
  • Kundennutzen: Je größer der Nutzen für den Kunden, desto besser.

Erfolgskriterien dienen dazu, die besten Ideen zu identifizieren. Ideen, die bei Erfolgskriterien schlecht abschneiden, werden nicht verworfen, sie werden nur nicht gewählt.

Erfolgskriterien sind im Ideenworkshop oft relativ, weil die Bewertung intuitiv erfolgt. Drei Punkte sind besser als zwei Punkte, aber niemand kann genau sagen, was ein Punkt bedeutet. Erst nach einer Recherche können absolute, quantitative Angaben – beispielsweise zur Marktgröße – gemacht werden.

Anwendung

Es gilt generell: Randbedingungen werden vor Erfolgskriterien angewandt. Der Grund dafür ist einfach: Durch die Randbedingungen scheiden Ideen aus dem Prozess aus, was den Arbeitsaufwand für die Bearbeitung der verbleibenden Ideen reduziert. Es macht keinen Sinn, Überlegungen zu Gewinnpotential anzustellen bei einer Idee, die gegen eine Unternehmensrichtlinie verstößt.

Randbedingungen sind einfach in der Handhabung: Wenn ein Workshop-Teilnehmer einen Verstoß gegen eine Randbedingung feststellt, kann er die Idee einfach beiseite legen bzw. nicht befördern. Besser ist es allerdings, das Vier-Augen-Prinzip anzuwenden, um die Wahrscheinlichkeit eines Ablehnungsfehlers zu reduzieren.

Erfolgskriterien sind schwieriger in der Anwendung. Dies liegt daran, dass die Kriterien graduell sind, aber oft keine Messskala haben. (Wie viel ist „hoch“ beim Gewinnpotential?) Auch ist es mitunter schwierig, verschiedenartige Eigenschaften zu vergleichen. (Was hat bei einem Kugelschreiber einen höheren Kundennutzen, eine Mine, die 20% mehr Farbe enthält, oder eine Kugel, die auf rauhem Papier leichter rollt?)

Für die Erfolgskriterien wird oft das Punktekleben verwendet, obwohl das Verfahren sehr ungenau ist. Anspruchsvoller und auch weit verbreitet ist die Nutzwertanalyse, die allerdings auch schwerwiegende Nachteile hat. Ein sichereres Verfahren ist die Paarvergleichsmatrix. Allerdings ist diese Methode aufwendiger als alle anderen.

Die sogenannten Kann-Kriterien sollten bei der Ideenbewertung keine Rolle spielen. Kann-Kriterien sind Eigenschaften, die eine Idee haben darf, die aber auch fehlen dürfen. Wenn Teilnehmer im Innovationsworkshop anfangen, Ideen auf Grund von Kann-Kriterien zu bewerten, sind die Erfolgsbedingungen nicht gut gewählt (oder sie werden nicht gut angewandt.)

Eine Gefahr bei der Anwendung von Bewertungskriterien besteht darin, die falsche Art zu verwenden. Auftraggeber neigen dazu, Themen als Erfolgskriterium angeben zu wollen, die besser als Randbedingung zu formulieren wären. Ein Beispiel ist die Entwicklungszeit; Es liegt vielleicht nahe, zu sagen, „Je kürzer die Entwicklung, desto besser“, aber es wäre für den Workshop nützlicher, eine Entwicklungszeit von X Monaten oder weniger zu fordern. (Auftraggeber mit einer klaren Innovationsstrategie werden dieses Problem nicht haben.)

Schließlich ist es – schon in der Absprache mit dem Auftraggeber – wichtig, sicherzustellen, dass die Kriterien zu der Aufgabe passen. Wenn Ideen für radikale Innovationen gesucht werden, darf nicht gleichzeitig eine kurze Zeit bis zum Erreichen eines bestimmen Umsatzes vorgeschrieben werden.

 

Links

Kompaktwissen Ideenbewertung

 

Ideenbewertung mit der SWOT-Analyse

swot
Die SWOT-Matrix

Die SWOT-Analyse ist eine der bekanntesten Bewertungsmethoden. Sie wird benutzt, um eine ausführliche, qualitative Einschätzung einer Idee zu erarbeiten. Da sie sehr zeitintensiv ist, kann sie nur für einzelne Ideen verwendet werden. Sie wird typischerweise am Ende der Ideenphase des Innovationsprozesses eingesetzt, um eine Idee vor der endgültigen Entscheidung zur Verwirklichung zu bewerten.

Die SWOT-Matrix hat zwei Zeilen und zwei Spalten. Die Zeilen unterscheiden innere und äußere Faktoren, und die Spalten unterscheiden positive und negative Faktoren. Die SWOT-Matrix ist nach den englischen Anfangsbuchstaben der vier Felder benannt, die folgende Bedeutung haben:

  • Strengths (Stärken): Diese Faktoren sind positiv und betreffen die Idee selbst, zum Beispiel ihr Gewinnpotential oder strategischer Fit.
  • Weaknesses (Schwächen): Dies sind die negativen Aspekte der Idee, zum Beispiel eine lange Entwicklungszeit.
  • Opportunities (Chancen): Diese Faktoren kommen aus dem Umfeld und sprechen für die Idee, zum Beispiel eine günstige Marktsituation.
  • Threats (Bedrohungen): Diese Umfeldfaktoren sprechen gegen die Idee, zum Beispiel starke Wettbewerber.

Anwendung

Für jedes Feld werden die entsprechenden Argumente gesammelt. Dabei sollten alle relevanten Blickwinkel abgefragt werden. Zum Beispiel bei den Bedrohungen:

  • Stärke des Wettbewerbs
  • Hindernisse durch Gesetze und Regulierungen
  • Schlechte Marktsituation
  • Ungünstige Trends
  • Fehlende Ressourcen

Man kann die Idee zusätzlich vertiefen, indem man spezifische Maßnahmen sucht, um bestimmte Konstellationen von Feldern zu berücksichtigen. Dabei kann man die Stärken und Schwächen des Unternehmens mit einbeziehen:

  • Stärken/Chancen: Diese Paarung von Aspekten sollte genutzt werden, um einen möglichst großen Vorteil zu erlangen. Beispiel: Das Produkt wäre eine Marktneuheit (Stärke) und es wird vorhergesagt, dass der Markt demnächst boomen wird (Chance). Dann sollte das Unternehmen sich anstrengen, das Produkt rechtzeitig marktreif zu bekommen.
  • Stärken/Risiken: Hier werden Maßnahmen gesucht, die mit Hilfe der Stärken die Risiken abgeschwächt werden. Beispiel: Die Eintrittsbarrieren für Wettbewerber sind niedrig (Risiko), und das Unternehmen hat eine starke Verhandlungsposition gegenüber Lieferanten. Dann sollte das Unternehmen versuchen, frühzeitig Verträge zu schließen, die ihm Vorzugskonditionen bei wichtigen Komponenten oder Rohstoffen zusichern.
  • Schwächen/Chancen: Hier ist Nachholbedarf angesagt: Um von der Chance zu profitieren, muss das Unternehmen sich mehr als üblich anstrengen. Beispiel: das Produktentwicklung erfordert Kompetenzen, die nicht vorhanden sind, und ein Gesetz wird bald in Kraft treten, das für den Absatz des Produktes förderlich wirken wird.
  • Schwächen/Risiken: In diesem Fall muss ein Weg gefunden werden, das Risiko zu umgehen.

Das Ergebnis einer SWOT-Analyse ist ein detailliertes Bild der Idee, das zu einer wichtigen Komponente einer Entscheidungsvorlage werden kann.

 

Links

Kompaktwissen  Ideenbewertung

 

Ideenbewertung mit der Paarvergleichsmatrix

paarvergleichsmatrix

Paarvergleiche in der Ideenbewertung

Es gibt gute Gründe, die Ideenbewertung mit Paarvergleichen statt mit der Punktevergabe durchzuführen. Die Paarvergleichsmatrix ist eine Methode, die diese Vergleiche nutzt, um ein Ranking unter mehreren Ideen zu ermitteln. Die Methode ist sehr einfach in der Durchführung, wird aber für eine große Anzahl von Ideen schnell aufwendig. Die Anzahl der notwendigen Vergleiche wächst nämlich quadratisch mit der Anzahl der Ideen: Werden für sieben Ideen 21 Paarvergleiche benötigt (siehe Titelgrafik), braucht es für 14 Ideen (die doppelte Zahl) schon 91 Vergleiche (mehr als das Vierfache).

Diese Paarvergleichsmatrix darf nicht mit der gleichnamigen Matrix verwechselt werden, die im Analytic Hierarchy Process verwendet wird.

Anwendung der Paarvergleichsmatrix

Die Paarvergleichsmatrix wird aufgebaut, indem die Ideen als Spalten- und Reihenüberschriften eingesetzt werden. Die Ideen werden paarweise betrachtet: Jede Idee wird mit jeder anderen verglichen. Das Ergebnis jedes Vergleichs wird im unteren linken Dreiecksteil der Tabelle (grün) an der entsprechenden Stelle wie folgt eingetragen:

  • 1: Die erste Idee ist besser als die zweite.
  • 0: Die Ideen sind gleichwertig.
  • -1: Die erste Idee ist schlechter als die zweite.

Im zweiten Schritt wird der obere Dreiecksteil der Tabelle (blau) ausgefüllt. Die Werte ergeben sich automatisch aus den bereits eingetragenen Zahlen. Die Zellen auf der Diagonale (grau) bleiben leer.

Im letzten Schritt werden die Reihensummen gebildet. Das Ergebnis stellt den Wert der jeweiligen Idee relativ zu den anderen dar.

Beispiel

Die Tabelle in der Titelgrafik zeigt eine Paarvergleichsmatrix für die sieben Ideen A bis G.

  • Es wird festgestellt, dass B schlechter ist als A, und der Wert -1 wird in Spalte A, Zeile B eingetragen. Damit ergibt sich der Wert in Spalte B, Zeile A automatisch zu 1.
  • E ist besser als A, und der Wert 1 wird in Spalte A, Zeile E eingetragen. Der Wert in Spalte E, Zeile A ist damit -1.
  • D und B sind gleichwertig, und der Wert 0 wird in Spalte B, Zeile D eingetragen. Der Wert in Spalte D, Zeile B ist dann ebenfalls 0.

Zeile G hat mit 4 Punkten die größte Summe, also ist diese Idee die beste. Zweitbeste Idee ist F. Die schlechteste Idee ist C mit -4 Punkten.

Problem: Fehlende Transitivität

Dieses Beispiel zeigt ein potentielles Problem des Verfahrens, das als fehlende Transitivität bekannt ist. Die Tabelle zeigt, dass die folgenden Bewertungen eingegeben wurden:

  • G ist besser als E.
  • E ist besser als F.
  • F ist besser als G.

Diese drei Bewertungen machen zusammen wenig Sinn, weil die Reihenfolge der Ideen nicht feststellbar ist: Die „besser als“-Relation bildet eine Schleife. Obwohl es wenig Sinn macht, lässt das Verfahren solche Konstellationen zu, und es ist mit bloßem Auge nicht leicht zu erkennen, ob in einer ausgefüllten Matrix das Problem vorliegt oder nicht. Wenn die Bewertung allerdings rechnergestützt durchgeführt wird, kann diese Situation automatisch erkannt werden.

Excel-Tabelle zum Download

Die Excel-Tabelle, die in der Titelgrafik gezeigt wird, steht unter diesem Link zum Download bereit.

 

Links

Kompaktwissen Ideenbewertung

 

Woran erkennt man eine gute Idee?

woran erkennt man eine gute idee

Die Bedeutung der besten Idee

In einem Innovationsworkshop für neue Produkte oder Dienstleistungen zählen meistens nur die allerbesten Ideen. Es sind im Unternehmen nur die Ressourcen vorhanden, um wenige Ideen zu verwirklichen, und diese sollen natürlich die größen Erfolgschancen haben. Damit stellt sich das Problem, woran man die besten Ideen erkennt.

Dieses Problem ist nicht einfach zu lösen, weil die meisten Gruppen dazu neigen, mittelmäßige Ideen zu bevorzugen. Es ist Aufgabe des Drehbuchs und des Moderators, dieser Tendenz entgegenzuwirken und dafür zu sorgen, dass die besten Ideen erkannt werden. Glücklicherweise gibt es für sehr gute Ideen einen zuverlässigen Indikator. Dieser Indikator funktioniert, weil die besten Ideen innovativ sind, und innovative Ideen in einer Gruppe eine typische Reaktion auslösen.

Die polarisierte Bewertung

Das Erkennungsmerkmal einer innovativen Idee liegt im Bewertungsergebnis durch die Gruppe. Wenn ein Teil der Gruppe eine Idee sehr positiv bewertet und ein anderer Teil die selbe Idee sehr negativ bewertet, spricht man von einem polarisierten Ergebnis. Ideen, die eine polarisierte Reaktion auslösen, sind in der Regel sehr innovativ.

Der Grund für dieses Verhalten ist einfach. Ein Teil der Gruppe sieht in der Idee große Vorteile, zum Beispiel auf Grund eines neuen Kundennutzens oder wegen ihres Neuheitsgrads. Dies führt zu den positiven Bewertungen. Für den Teil der Gruppe, der negativ bewertet hat, gibt es zwei Möglichkeiten. Eine zweite Teilgruppe sieht Schwierigkeiten in der Durchführung; sie zweifelt zum Beispiel an der Herstellbarkeit oder der Durchsetzbarkeit der Idee. Die Restlichen sind mit der Vorstellung der Idee schlicht überfordert; sie rüttelt so stark an ihr Weltbild, dass sie sie ablehnen. Diese dritte Teilgruppe erkennt man an ihren Killerphrasen.

Der Umgang mit polarisierten Bewertungen

Gruppen, die auf sich allein gestellt sind, wählen polarisierende Ideen nicht aus – dafür sorgen die Negativstimmen der Gegner. Das Ergebnis ist, dass weniger gute, aber dafür konsensfähige Ideen zu den Siegern erklärt werden. Dies ist aber oft ein Fehler.

Die erste Aufgabe des Moderators besteht darin, die Gruppe über die Bedeutung des Bewertungsergebnisses aufzuklären. (Die dritte Teilgruppe erwähnt er dabei nicht!) Wichtig ist auch die Beobachtung, dass die Idee möglicherweise eine große Chance bietet, denn die Konkurrenz hat diese Idee – sofern sie sie schon entdeckt hat – wahrscheinlich verworfen.

Es ist für den Moderator auch möglich, die Polarisierung größtenteils aufzulösen, indem er die Vorteile und die Bedenken separat abfragt. Die Befürworter werden die befürchteten Schwierigkeiten anerkennen, und zumindest die zweite Teilgruppe wird auch die potentiellen Vorteile einsehen. Das Drehbuch muss dafür sorgen, dass das Ergebnis so festgehalten wird und dass es auch konsensfähig ist.

Links

Kompaktwissen Ideenbewertung

Ideenauswahl durch Rosinen picken

rosinen pickenRosinen picken (englisch: cherry picking) ist eine Methode zur schnellen Auswahl von Ideen durch eine Gruppe. Die Methode ist denkbar einfach: Jeder Teilnehmer wählt seinen persönlichen Favoriten und nimmt ihn mit. Die Voraussetzung für das Rosinenpicken im Ideenworkshop ist, dass die Rohideen einzeln auf Zetteln geschrieben sind und dass die Zettel alle an Pinnwänden hängen.

Die Methode eignet sich für die Auswahl von Rohideen und bei einfachen Ideenfindungsaufgaben, bei denen der Geschmack eine große Rolle spielt. Ein Beispiel dafür ist die Namensfindung. Sie sollte nicht eingesetzt werden, um die endgültigen Ergebnisse einer komplexen Aufgabe zu bestimmen – in solchen Fällen werden anspruchsvollere Techniken benötigt. Der Grund dafür, ist dass eine aufwendige Bewertung berücksichtigt werden muss und dass oft ein Konsens über die Ergebnisse wünschenswert ist.

 

Links

Kompaktwissen Ideenbewertung

Probleme der Nutzwertanalyse #4: Sensitivität

sensitivität-1

Eines der weniger bekannten Probleme der Nutzwertanalyse ist ihre Sensitivität: Schon kleinste Änderungen in den Einzelbewertungen können zu einer Änderung des Ergebnisses führen. Dies kann mit einem sehr einfachen Beispiel gezeigt werden.

Die erste Tabelle zeigt eine Nutzwertanalyse mit drei Ideen A, B, und C und zwei Kriterien X und Y. Idee B ist Sieger mit 66 Punkten, Idee C hat den zweiten Platz mit 65 Punkten, und Idee A ist die schwächste mit 64 Punkten.

Jetzt ändern wir die Bewertung für Idee C bezüglich Kriterium Y um einen Punkt nach oben (die grün unterlegte Ziffer 6). Jetzt ist Idee C die beste, gefolgt von B und dann A:

sensitivität-2

Im nächsten Beispiel korrigieren wir den selben Wert nach unten (die rot unterlegte Ziffer 4). Jetzt ist die Reihenfolge der Ideen B – A – C:

sensitivität-3

Im vierten Beispiel wurde das Kriteriumsgewicht von Y um 1 nach oben geändert, was zur Reihung A – C – B führt:

sensitivität-6

In der fünften Variante führt eine Änderung der Bewertung von Idee A bezüglich Kriterium Y um 1 nach oben zum Ranking A – B – C:

sensitivität-5

Im letzten Beispiel wurde die Bewertung von Idee B bezüglich Kriterium Y um 1 nach unten geändert, und die entsprechende Reihung der Ideen ist C – A – B:

sensitivität-4

Die Sensitivitätsanalyse beweist, dass die Ergebnisse der Nutzwertanalyse extrem instabil sein können: Eine einzige Veränderung um einen Punkt kann zu jeder möglichen Permutation der Ideen A, B und C führen. In der Praxis sind die Bewertungen aber selten bis auf einen Punkt genau sicher.

Links

Kompaktwissen Ideenbewertung