Punktevergabe oder Paarvergleich?

Methoden mit Punktevergabe und Paarvergleich

Die Bewertung von Ideen ist ein wichtiger, aber schwieriger Teil des Innovationsprozesses. Sie dient dazu, die Attraktivität der Ideen zu ermitteln. Sie ist die Vorbereitung für einen anschließenden Auswahlschritt, wo die Ideen ausgewählt werden, die im Prozess verbleiben. Die meisten Methoden verwenden entweder die Punktevergabe oder den Paarvergleich.

In der Praxis sind die meisten Methoden zur Bewertung von Ideen Punktemethoden. Die Ideenbewerter vergeben Punkte, die zum Ausdruck bringen, inwiefern die Ideen einem vorgegebenen Bewertungskriterium entsprechen. Die Vorteile einer Punktebewertung liegen auf der Hand: sie ist einfach, und die Punktzahlen von verschiedenen Experten oder für verschiedene Kriterien lassen sich leicht zusammenaddieren, um zu einer Gesamtsumme zu kommen. Eine Ideenbewertungsmethode, die so vorgeht, ist die Paarvergleichsmatrix.

In der wissenschaftlichen Literatur findet man jedoch auch Bewertungsmethoden, die auf Paarvergleichen beruhen. Die bekannteste ist der Analytical Hierarchy Process. Hier werden den Bewertern Paare von Ideen vorgelegt, und sie müssen angeben, welche der beiden am ehesten einem Kriterium entspricht. Aus der Menge aller Paarvergleiche kann dann ein Ranking aller Ideen berechnet werden.

Obwohl die Verfahren, die auf Paarvergleichen beruhen, aufwendiger sind, gibt es eine Reihe von theoretischen und praktischen Gründen, die für sie sprechen.

Vier Beispiele

Stellen wir uns vor, zwei Ideen sollen von zwei Experten begutachtet werden. Im ersten Experiment dürfen die Experten Punkte von 1 bis 10 vergeben, im zweiten führen sie Paarvergleiche durch.

Beispiel 1: Gleichstand

Wenn im ersten Experiment beide Experten einer Idee die gleiche Punktzahl geben, bedeutet dies nicht dasselbe. Beim ersten Experten kann ein Punkt etwas anderes bedeuten, als beim zweiten. Geben beiden Experten jedoch beim Paarvergleich an, dass beide Ideen gleichwertig sind, dann haben beide in diesem Fall tatsächlich die selbe Aussage gemacht.

Beispiel 2: Denkaufwand

Es ist anstrengender, eine Punktbewertung vorzunehmen, als einen Paarvergleich zu machen. Dies liegt daran, dass eine Punktbewertung eine Skala voraussetzt, die aber in den meisten Fällen nicht existiert. (Was heißt es genau, dass eine Idee 7 Punkte bekommt und nicht 6 oder 8 Punkte?)

Beispiel 3: Beständigkeit des Urteils

Bei der Punktevergabe kommt es oft vor, dass ein Experte seine früheren Bewertungen revidieren möchte. Das passiert, wenn er nach der Erstbewertung weitere Ideen kennenlernt, die seine erste Punktbewertung in einem anderen Licht erscheinen lassen. Beim Paarvergleich dagegen kann dieser Effekt nicht eintreten. Die Feststellung, dass Idee A besser ist, als Idee B hängt nicht von der Kenntnis von Idee C ab.

Beispiel 4: Genauigkeit

Die Verwendung von Punkten zur Bewertung suggieriert eine Genauigkeit, die in Wirklichkeit nicht vorhanden ist. Wenn die Punkte mehrerer Bewerter oder für unterschiedliche Kriterien zusammengezählt werden, kommen große Zahlen zustande, die sich oft wenig unterscheiden. Die Versuchung ist dann groß, zu schlussfolgern, dass die Idee mit 97 Punkten besser ist, als die mit 96 Punkten. Dabei sind die einzelnen Punktangaben, aus denen sich die Gesamtsummen zusammensetzen, oft ungenau, denn sie beruhen lediglich auf einem Bauchgefühl. Demnach sind Schlussfolgerungen, die auf geringen Punkteunterschieden beruhen, nicht gerechtfertigt. Im Gegensatz hierzu sind Paarvergleiche genau, denn Entscheidung, welche von zwei Ideen besser ist, enthält keine Abstufungen.

Links

Kompaktwissen Ideenbewertung