Punktevergabe oder Paarvergleich? (1)

Die Bewertung von Ideen ist ein wichtiger, aber schwieriger Teil des Innovationsprozesses. Sie dient dazu, die Attraktivität der Ideen zu ermitteln und dient meistens als Vorbereitung für einen anschließenden Auswahlschritt, bei der die Ideen die ausgewählt werden, die im Prozess verbleiben dürfen und weiter verarbeitet werden.

In der Praxis werden zur Bewertung von Ideen fast immer Punktemethoden benutzt: Die Ideenbewerter vergeben Punkte an die Ideen, die zum Ausdruck bringen, inwiefern sie einem vorgegebenen Bewertungskriterium entsprechen. Die Vorteile einer Punktebewertung liegen auf der Hand: sie ist einfach, und die Punktzahlen von verschiedenen Experten oder für verschiedene Kriterien lassen sich leicht zusammenaddieren, um zu einer Gesamtsumme zu kommen.

In der wissenschaftlichen Literatur findet man jedoch auch Bewertungsmethoden, die auf Paarvergleichen beruhen. Hier werden den Bewertern zwei Ideen vorgelegt, und sie müssen angeben, welche der beiden am ehesten einem Kriterium entspricht. Aus der Menge aller Paarvergleiche kann dann ein Ranking aller Ideen hergestellt werden.

Obwohl die Verfahren, die auf Paarvergleichen beruhen, aufwendiger sind, gibt es eine Reihe von theoretischen und praktischen Gründen, die für sie sprechen. Hier will ich vier weniger bekannte Gründe vorstellen.

Stellen wir uns vor, zwei Ideen sollen von zwei Experten begutachtet werden. Im ersten Experiment dürfen die Experten Punkte von 1 bis 10 vergeben, im zweiten führen sie Paarvergleiche durch.

Beispiel 1: Gleichstand

Wenn im ersten Experiment beide Experten einer Idee die gleiche Punktzahl geben, bedeutet dies nicht dasselbe, denn ein Punkt beim ersten Experten kann etwas anderes bedeuten, als beim zweiten. Geben sie jedoch beim Paarvergleich an, dass beide Ideen gleichwertig sind, dann haben beide in diesem Fall tatsächlich die selbe Aussage gemacht.

Beispiel 2: Denkaufwand

Es ist anstrengender, eine Punktbewertung vorzunehmen, als einen Paarvergleich zu machen. Dies liegt daran, dass eine Punktbewertung eine Skala voraussetzt, die aber in den meisten Fällen nicht existiert. (“Was heißt es genau, dass eine Idee 7 Punkte bekommt und nicht 6 oder 8 Punkte?“)

Beispiel 3: Beständigkeit des Urteils

Bei der Punktevergabe kommt es oft vor, dass ein Experte seine früheren Bewertungen revidieren möchte, nachdem er weitere Ideen kennengelernt hat. Beim Paarvergleich tritt dieser Effekt nicht ein: die Feststellung, dass eine Idee besser ist, als eine andere, hängt nicht von der Kenntnis weiterer Ideen ab.

Beispiel 4: Genauigkeit

Die Verwendung von Punkten zur Bewertung suggieriert eine Genauigkeit, die in Wirklichkeit nicht vorhanden ist. Vor allem wenn die Punkte mehrerer Bewerter oder für unterschiedliche Kriterien zusammengezählt werden, ist die Versuchung groß, zu glauben, dass die Idee mit 97 Punkten besser ist, als die mit 96 Punkten. Dabei sind die einzelnen Punktangaben, aus denen sich die Gesamtsummen zusammsetzen, oft höchst ungenau, denn sie beruhen lediglich auf einem Bauchgefühl. Demnach sind Schlussfolgerungen, die auf geringen Punkteunterschieden beruhen, nicht gerechtfertigt. Im Gegensatz hierzu sind Paarvergleiche genau, denn Entscheidung, welche von zwei Ideen besser ist, enthält keine Abstufungen.

Wir sind der Meinung, dass Paarvergleiche die bessere Wahl sind, und die Methoden, die wir z.Zt. erforschen (und die wir dieses Jahr auf der HICSS-Tagung präsentiert haben) basieren auf Paarvergleichen.

 

Link zu Kompaktwissen Ideenbewertung

1 Kommentar

  1. Ein großer Nachteil der Paarvergleiche liegt darin, dass die Probanden sich mit den 2 Altenrativen beschäftigen und nicht mit der Marktrealität. In der Realität hat der Konsument nur die Möglichkeit, ein neues Angebot mit dem existierenden Angebot zu vergleichen, um sich dann zu entscheiden. Im Paarvergleichtest wird diese wichtige Bedingung jedoch ausgeblendet und eigenlich eine unrealistische Situation getestet. Das sollte man eigentlich vermeiden.

Trackbacks/Pingbacks

  1. Ideen bewerten » - [...] Ein weiterer vielversprechender Ansatz ist die Methode “Paarvergleich”. Hier werden den Bewertern zwei Ideen vorgelegt, und sie müssen angeben, …
  2. Kompaktwissen Ideenbewertung | Impulse für Innovation - […] Paarvergleiche können dafür verwendet werden, um ein Ranking unter einer Menge von Ideen zu ermitteln. […]

Kommentar absenden

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>