Zum Inhalt springen

Fehlende Daten in der Leistungsbeurteilung: eine Richtlinie, die vor dem Zeitraum steht

Sechs Arten des Fehlens und die Regel für jede, fünf Regeln am selben Score verglichen, der Fall, in dem die Umverteilung der Gewichtung das Fehlen belohnt, und eine Richtlinienvorlage in acht Schritten.

Von dem Pulsika-Team Performance Veröffentlicht aktualisiert 12 Minuten Lesezeit

Zwei Zeilen im Vergleich. Die Ziffer 0 bedeutet, dass das Ergebnis gemessen wurde. Der Strich bedeutet, dass der Wert fehlt und nicht als null behandelt werden darf.

Fehlende Daten in der Leistungsbeurteilung regeln Sie mit einer Richtlinie, die vor dem Zeitraum geschrieben wird, nicht mit Entscheidungen beim Abschluss, wenn das Ergebnis schon zu sehen ist. Die Richtlinie legt fest, welche Arten des Fehlens Sie anerkennen, welche Regel für jede gilt (Auslassen mit Umverteilung der Gewichtung, null, verlängerter Zeitraum, Mindestschwelle an Daten), wer bis wann ergänzt und wie die Menschen erfahren, was passiert ist.

Der Beitrag gibt Ihnen eine Einteilung in sechs Arten des Fehlens, vergleicht fünf Regeln am selben, vollständig durchgerechneten Score, zeigt den Fall, in dem das Auslassen das Fehlen belohnt, und schließt mit einer Richtlinienvorlage zum Übernehmen.

Kurz gesagt. Schreiben Sie vorab für jede Art des Fehlens eine Regel. Liegt das Fehlen nicht an der Person, lassen Sie den Teil aus und verteilen die Gewichtung um. Werten Sie mit 0 nur, wenn die Person die Daten liefern sollte. Kennzahlen mit wenigen Beobachtungen bekommen einen verlängerten Zeitraum. Kein Score und kein Bonus, wenn die Teile mit Daten unter einer festgelegten Schwelle liegen, etwa 70 % der Gewichtung.

Begriffe: was „fehlend“ in einer Beurteilung bedeutet

Ein fehlender Wert ist ein Wert, der für eine Person und einen Zeitraum vorhanden sein müsste, aber nicht vorhanden ist. Er ist etwas anderes als null: null Verkäufe sind ein Ergebnis, ein fehlender Verkaufsbericht ist ein Datenproblem. Der Leitfaden über Leistungsscores, denen Menschen vertrauen erklärt, warum beides nicht vermischt wird; hier bauen wir die Prozessregeln auf.

Das Auslassen mit Umverteilung der Gewichtung (Renormierung) berechnet den gewichteten Durchschnitt nur aus den Teilen mit Daten und teilt durch die Summe ihrer Gewichtungen. Der verlängerte Zeitraum ersetzt den Wert des Monats durch den Durchschnitt der letzten Monate mit Daten. Die Mindestabdeckung ist der Anteil der Gewichtung, der Daten haben muss, damit der Score veröffentlicht wird. Die Imputation ersetzt den fehlenden Wert durch einen geschätzten, zum Beispiel den Teamdurchschnitt.

Warum der Grund des Fehlens zählt

Der Statistiker Donald B. Rubin hat 1976 in „Inference and missing data“ gezeigt, dass sich ein Fehlen nur unter bestimmten Bedingungen ignorieren lässt, ohne die Schlussfolgerungen zu verfälschen. Die Literatur unterscheidet drei Situationen: vollständig zufälliges Fehlen, Fehlen, das sich durch andere bekannte Daten erklärt, und Fehlen, das mit dem fehlenden Wert selbst zusammenhängt.

Die dritte Situation ist in der Beurteilung die gefährliche. Geben gerade die Personen mit schwachen Ergebnissen ihren Bericht nicht ab, heißt das Auslassen des Teils, genau die schwachen Ergebnisse zu verbergen. Die richtige Regel hängt also von der Frage „Warum fehlt es?“ ab, nicht nur davon, dass etwas fehlt.

Sechs Arten des Fehlens und die passende Regel für jede

Die folgende Einteilung ist ein Arbeitsinstrument, kein Standard. Passen Sie sie an Ihre Kennzahlen an, aber behalten Sie den Gedanken bei: Jede Art hat eine vorab geschriebene Regel.

Art des FehlensBeispielEmpfohlene RegelWer handelt
Trifft nicht zuStandort ohne Präsentationsfläche; Rolle ohne externe KundenDer Teil fällt für diese Person oder diesen Standort aus der KPI-Scorecard; die Gewichtung wird umverteiltWer die KPI-Scorecard aufbaut, vor dem Zeitraum
Begründete AbwesenheitLanger Erholungsurlaub, Krankmeldung, Einstellung zur MonatsmitteZielwert an die Arbeitstage angepasst oder „keine Daten“ unter einer Mindestzahl an TagenHR, aus der Anwesenheitserfassung
Verspätete QuelleVerkaufsbericht nicht importiert, Beurteilung durch die Teamleitung nicht ausgefülltDer Zeitraum wird nicht vor der Frist abgeschlossen; die Ergänzung wird nachverfolgtDer Datenverantwortliche, mit Frist
Verantwortung der PersonBesuchsbericht des Außendienstmitarbeiters nicht abgegebenDas Fehlen zählt als 0, Regel vorab angekündigtDie beurteilte Person
Ungültige DatenImport mit vertauschten Spalten, offensichtlich falscher Wert„Keine Daten“ bis zur Korrektur, danach dokumentierte NeuberechnungDer Datenverantwortliche
Zu wenige BeobachtungenEin einziger Besuch zur Bewertung des Service im MonatVerlängerter Zeitraum (Durchschnitt der letzten 3 Monate) oder Mindestzahl an BeobachtungenWer die KPI-Scorecard aufbaut

Merke. „Trifft nicht zu“ wird vor dem Zeitraum entschieden, in der Konfiguration der KPI-Scorecard. „Fehlt“ wird nach dem Zeitraum festgestellt. Wer beides vermischt, entscheidet am Ende beim Abschluss, dass eine Kennzahl ausgerechnet für jemanden mit schwachem Ergebnis „nicht zutrifft“.

Durchgerechnetes Beispiel: fünf Regeln, dieselbe Person, derselbe Monat

Hypothetisches Beispiel. Fiktive Daten. Die KPI-Scorecard eines Verkaufsberaters hat drei Teile: Umsatz (Gewichtung 50 %, Score 104), Servicequalität aus Bewertungsbesuchen (30 %) und Beurteilung durch die Teamleitung (20 %, Score 92). Im Oktober fand kein Bewertungsbesuch statt, der zweite Teil fehlt also. Im August und September ergaben die Besuche 88 und 94; im Juli fand keiner statt. Der Teamdurchschnitt bei der Servicequalität liegt bei 85.

RegelRechnungScoreWas sie aussagt
Ausgelassen, Gewichtung umverteilt(104 × 0,5 + 92 × 0,2) ÷ 0,7 = 70,4 ÷ 0,7100,57Der Score sagt, was wir wissen, auf 70 % der KPI-Scorecard
Das Fehlen zählt als 052 + 0 + 18,470,40Bestraft die Person für einen Besuch, der nicht von ihr abhing
Verlängerter Zeitraum (die Monate mit Daten unter den letzten drei)Durchschnitt (88; 94) = 91 → 52 + 27,3 + 18,497,70Nutzt echte, aber ältere Informationen
Imputation mit dem Teamdurchschnitt52 + 85 × 0,3 + 18,4 = 52 + 25,5 + 18,495,90Schreibt der Person das Ergebnis anderer zu
Mindestabdeckung 70 %Abdeckung = 50 % + 20 % = 70 % ≥ 70 % → die umverteilte Variante wird veröffentlicht100,57Der Score erscheint nur mit ausreichend Daten

Zwischen der mildesten und der strengsten Regel liegen 30,17 Punkte (100,57 − 70,40), in den meisten Stufenskalen also mindestens eine Stufe. Derselbe Monat, dieselben Fakten. Daher kommt die Grundregel des Beitrags: Die Wahl wird vorher getroffen, nicht nachdem Sie die Zahl gesehen haben.

Wenn zwei Teile fehlen

Fehlt im selben Monat auch die Beurteilung durch die Teamleitung, bleibt nur der Umsatzteil. Das Auslassen ergäbe (104 × 0,5) ÷ 0,5 = 104: ein „vollständiger“ Score aus einer halben KPI-Scorecard. Mit der Schwelle von 70 % liegt die Abdeckung bei 50 %, das Ergebnis des Monats ist also „kein Score“ bis zur Ergänzung. Die Schwelle ändert nicht die Zahl; sie ändert den Zeitpunkt, ab dem Sie sie verwenden dürfen.

Der Fall, in dem das Auslassen das Fehlen belohnt

Die Umverteilung der Gewichtung ist eine gute Regel, wenn das Fehlen nicht an der Person liegt. Sie wird zu einer schlechten Regel, wenn die Person steuert, ob die Daten vorhanden sind.

Hypothetisches Beispiel. Fiktive Daten. Zwei Außendienstmitarbeiter haben dieselbe KPI-Scorecard: Umsatz 40 %, durchgeführte Besuche 30 %, Reklamationen 30 %. Beide haben 110 beim Umsatz und 100 bei den Reklamationen. Mitarbeiter X hat seinen Besuchsbericht abgegeben: 60 vom Plan. Mitarbeiter Y hat ihn nicht abgegeben.

  • Mitarbeiter X: 110 × 0,4 + 60 × 0,3 + 100 × 0,3 = 44 + 18 + 30 = 92.
  • Mitarbeiter Y, mit ausgelassenem Teil: (44 + 30) ÷ 0,7 = 105,71.
  • Mitarbeiter Y, mit dem Fehlen als 0 gewertet: 44 + 0 + 30 = 74.

Mit der Umverteilung bringt der nicht abgegebene Bericht 13,71 Punkte mehr als beim Kollegen, der ehrlich ein schwaches Ergebnis gemeldet hat. Für Daten, die die Person liefern muss, ist die richtige Regel 0, vorab angekündigt. Der Leitfaden zur Auswahl der Kennzahlen erwähnt diese Variante; hier sehen Sie, warum sie nicht optional ist.

Die Prozessregeln: Fristen, Ergänzung, Abschluss

Die meisten Lücken sind keine Sonderfälle, sondern Verspätungen. Eine gute Richtlinie verringert sie, bevor sie im Score landen.

Die Frist für die Ergänzung

Legen Sie eine Frist nach dem Ende des Zeitraums fest, zum Beispiel 5 Arbeitstage, bis zu der die Datenverantwortlichen die Werte laden und die Beurteilenden die Beurteilungen ausfüllen. Der Zeitraum wird nicht vor der Frist abgeschlossen, auch wenn jemand die Zahlen dringend braucht.

Die Vollständigkeitsprüfung vor dem Abschluss

Vor dem Abschluss prüft jemand aus HR für jede Kennzahl, wie viele Werte von wie vielen erwarteten ausgefüllt sind. Für jede Lücke notiert er die Art aus der Tabelle oben. Ohne diese Notiz weiß bei einem Einspruch niemand mehr, ob die Lücke Urlaub, Verspätung oder ein Fehler war.

Der Bonus und die Abdeckungsschwelle

Über einen Bonus wird nicht auf Grundlage eines Scores unter der Abdeckungsschwelle entschieden. Die Entscheidung wird bis zur Ergänzung verschoben oder, wenn die Daten nicht mehr kommen, gilt die für diesen Fall geschriebene Regel (zum Beispiel wird der Monatsbonus auf Basis des Quartalsdurchschnitts berechnet). Regeln, die Geld betreffen, stehen in den Dokumenten des Unternehmens, nicht nur in der KPI-Scorecard.

Die Neuberechnung nach der Ergänzung

Kommt ein verspäteter Wert nach dem Abschluss, wird der Zeitraum einmal neu berechnet, und die Person erfährt, was sich geändert hat. Lassen Sie keine wiederholten Neuberechnungen ohne Mitteilung zu: Jede unerklärte Änderung senkt das Vertrauen in alle Scores.

So kommunizieren Sie fehlende Daten

  • Beim Score: Der Teil erscheint als „keine Daten“, nicht als 0 und nicht leer, mit der angewandten Regel in Worten.
  • Im Gespräch: Die Führungskraft sagt, aus wie vielen Teilen der Score berechnet wurde, bevor sie über die Stufe spricht.
  • In Vergleichen: Ein Score, der auf 70 % der KPI-Scorecard berechnet ist, kommt nicht ohne Hinweis in dieselbe Rangliste wie ein vollständiger.
  • Für die beurteilte Person: Sagen Sie ihr, was sie tun kann, wenn sie weiß, dass ein Wert irrtümlich fehlt, und an wen sie sich wendet.

Vorsicht. Die Datenschutz-Grundverordnung verlangt, dass personenbezogene Daten richtig sind (Art. 5 Abs. 1 Buchst. d), und Art. 16 gibt der Person das Recht, die Berichtigung unrichtiger und die Vervollständigung unvollständiger Daten zu verlangen, „auch mittels einer ergänzenden Erklärung“.

Das rumänische Arbeitsgesetzbuch (Codul muncii) verlangt, dass die Arbeitsordnung die Kriterien und Verfahren der beruflichen Beurteilung enthält (Art. 242 Buchst. i), und eine Kündigung wegen fachlicher Nichteignung setzt eine vorherige Beurteilung nach dem festgelegten Verfahren voraus (Art. 63 Abs. 2). Klären Sie mit der Rechtsberatung des Unternehmens, wo die Richtlinie zu fehlenden Daten festgehalten wird und wie sie bei Entscheidungen mit rechtlicher Wirkung angewendet wird.

Vorlage für eine Richtlinie zu fehlenden Daten

Die folgenden Schritte ergeben ein einseitiges Dokument. Füllen Sie es für jede KPI-Scorecard vor dem ersten Zeitraum aus, der zählt.

  1. Listen Sie die Teile der KPI-Scorecard auf und für jeden, wer die Daten liefert: die Person, die Führungskraft, ein System oder ein Dritter.
  2. Markieren Sie, was „nicht zutrifft“, für bestimmte Standorte oder Positionen, und nehmen Sie diese Teile aus der Konfiguration heraus, nicht beim Abschluss aus der Berechnung.
  3. Wählen Sie für jeden Teil die Regel bei fehlenden Daten: auslassen, wenn die Daten nicht von der Person abhängen, 0, wenn sie es tun, verlängerter Zeitraum, wenn Beobachtungen selten sind.
  4. Legen Sie die Abdeckungsschwelle fest (zum Beispiel 70 % der Gewichtung) und was darunter geschieht: „kein Score“ bis zur Ergänzung.
  5. Regeln Sie die Abwesenheiten: unter wie vielen Arbeitstagen der Monat zu „keine Daten“ wird und wie der Zielwert oberhalb dieser Mindestzahl angepasst wird.
  6. Schreiben Sie die Fristen fest: bis wann die Daten geladen werden, bis wann die Beurteilungen ausgefüllt werden, wann der Zeitraum abgeschlossen wird.
  7. Regeln Sie die Korrekturen: wer einen Wert nach dem Abschluss korrigieren darf, wie neu berechnet wird und wie die Person davon erfährt.
  8. Testen Sie die Richtlinie an drei vergangenen Monaten und zählen Sie, wie viele Scores zu „kein Score“ geworden wären oder die Stufe gewechselt hätten.

Zum Testen mit historischen Daten lesen Sie den Beitrag über das Testen einer KPI-Scorecard.

So wenden Sie die Richtlinie in Pulsika an

In Performance und KPI bleibt ein fehlender Wert „keine Daten“ und wird nie von selbst zu 0. Bei der manuellen Eingabe bedeutet ein leer gelassenes Feld „keine Daten“, und das Löschen eines Werts entfernt ihn. Die Eingabeseite für die Werte zeigt, wie viele von wie vielen erwarteten ausgefüllt sind, hilfreich bei der Prüfung vor dem Abschluss.

  • Der gewichtete Durchschnitt, die übliche Gesamtwertung, lässt den Teil ohne Daten aus, und die anderen übernehmen seine Gewichtung: die erste Regel aus der Tabelle oben. Hat kein Teil Daten, bleibt die Gesamtwertung „keine Daten“.
  • Die Gesamtwertungen „Die Summe der Teile“, „Der schwächste Teil“ und „Der beste Teil“ bleiben „keine Daten“, wenn ein Teil fehlt, außer bei den Teilen, für die Sie „Keine Daten zählen in der Gesamtwertung als 0“ ankreuzen – die Regel für Daten, die die Person liefert. Beim gewichteten Durchschnitt schreiben Sie dieselbe Regel in eine eigene Formel, mit dem Baustein „Wenn fehlend, 0 verwenden“.
  • Der verlängerte Zeitraum wird in den KPI-Scorecards mit den Bausteinen „Durchschnitt der letzten Zeiträume“ (Monate ohne Daten gehen nicht in den Durchschnitt ein) und „Wenn fehlend, etwas anderes verwenden“ (der erste Wert mit Daten) geschrieben.
  • Die Beurteilungen durch Führungskräfte liefern als Wert den Durchschnitt der im Zeitraum abgegebenen Beurteilungen; ohne abgegebene Beurteilung ist der Wert „keine Daten“. Nach der Frist des Beurteilungsbogens kann nur noch korrigieren, wer die Berechtigung zum Verwalten der Beurteilungen hat, und die Korrektur bleibt protokolliert.
  • Beim Abschluss zeigt das Ergebnis, wie viele Bestandteile keine Daten hatten, und im Score der Person erscheint der Teil als „keine Daten – ausgelassen“.

Die Mindestabdeckung ist keine eigene Einstellung: Sie wenden sie als Prozessregel an, indem Sie vor einer Bonusentscheidung auf die Zahl der Teile ohne Daten schauen.

Häufige Fehler

  • Die Regel wird gewählt, nachdem Sie das Ergebnis gesehen haben. So korrigieren Sie es: Die Richtlinie wird vor dem Zeitraum geschrieben und für alle gleich angewendet.
  • Dieselbe Regel für alle Teile. So korrigieren Sie es: Daten, die die Person liefert, haben eine andere Regel als Daten, die andere liefern.
  • Eine Null, eingetragen, „damit der Monat abgeschlossen werden kann“. So korrigieren Sie es: Eine 0 ist ein Wert; eine Lücke bleibt eine Lücke bis zur Ergänzung.
  • Imputation mit dem Teamdurchschnitt für den Bonus. So korrigieren Sie es: Bezahlen oder bestrafen Sie niemanden für das Ergebnis anderer.
  • Ein Score aus einer halben KPI-Scorecard, ohne Hinweis veröffentlicht. So korrigieren Sie es: Abdeckungsschwelle und der Hinweis „berechnet auf X % der KPI-Scorecard“.
  • Nicht notierte Lücken. So korrigieren Sie es: Jede Lücke erhält vor dem Abschluss ihre Art und ihren Grund.

Häufige Fragen

Muss ein fehlender Wert als null gezählt werden?

Nur wenn die beurteilte Person die Daten liefern sollte und nicht geliefert hat und die Regel vorab angekündigt war. In allen anderen Fällen bestraft ein als null gezählter fehlender Wert die Person für die Verspätung oder Abwesenheit eines anderen. Lassen Sie den Teil aus und verteilen Sie die Gewichtung um, oder nutzen Sie einen verlängerten Zeitraum, je nach Art des Fehlens und danach, wie selten die Beobachtungen sind.

Was ist die Umverteilung der Gewichtung?

Die Umverteilung der Gewichtung bedeutet, den gewichteten Durchschnitt nur aus den Teilen mit Daten zu berechnen und durch die Summe ihrer Gewichtungen zu teilen. Fehlt ein Teil mit 30 %, zählen die beiden anderen mit 50 % und 20 % so, als hätten sie 71,4 % und 28,6 %. Die Regel ist richtig, wenn das Fehlen nicht von der Person abhängt, und irreführend, wenn es von ihr abhängt.

Wie hoch sollte die Mindestabdeckung sein?

Es gibt keine allgemeingültige Schwelle und keinen Standard: Die Schwelle ist eine interne Vereinbarung. Ein vernünftiger Ausgangspunkt sind 70 % der Gewichtung, also mindestens zwei von drei Teilen. Testen Sie sie an vergangenen Monaten: Würden zu viele Scores zu „kein Score“, liegt das Problem in der Datenerfassung, nicht in der Schwelle. Die Schwelle muss vorab geschrieben und für alle Personen mit derselben KPI-Scorecard gleich angewendet werden.

Wie behandle ich einen Monat mit Krankmeldung?

Eine Krankmeldung ist eine begründete Abwesenheit, keine schwache Leistung. Legen Sie eine Mindestzahl an Arbeitstagen fest, unter der der Monat zu „keine Daten“ wird, und passen Sie oberhalb dieser Mindestzahl den Zielwert anteilig an die Arbeitstage an. Tragen Sie bei Mengenkennzahlen keine Null ein und verlangen Sie von der Person nicht, den Zielwert des ganzen Monats nachzuholen.

Was tue ich, wenn die Beurteilung der Führungskraft zur Frist fehlt?

Behandeln Sie sie als verspätete Quelle: Der Zeitraum wird nicht vor der Frist abgeschlossen, und die Führungskraft erhält eine Erinnerung. Verstreicht die Frist, bleibt der Teil „keine Daten“, und es gilt die Abdeckungsregel. Werten Sie nicht mit null: Die beurteilte Person konnte die Beurteilung nicht anstelle der Führungskraft ausfüllen. Notieren Sie die Verspätung; wiederholt sie sich, sagt sie etwas über die Führungskraft.

Kann ich den Teamdurchschnitt statt des fehlenden Werts verwenden?

Für Gesamtanalysen manchmal ja; für den individuellen Score, der mit Geld verbunden ist, nein. Der Teamdurchschnitt schreibt der Person das Ergebnis der Kollegen zu, nach oben oder nach unten. Fehlt eine Beobachtung, ziehen Sie einen verlängerten Zeitraum aus den Daten derselben Person vor, und gibt es auch diese nicht, lassen Sie den Teil aus und wenden die Abdeckungsschwelle an.

Muss der Mitarbeiter informiert werden, wenn in seinem Score Daten fehlen?

Ja. Die Person muss sehen, welcher Teil fehlt, welche Regel angewendet wurde und wie sie einen irrtümlich fehlenden Wert melden kann. Die Datenschutz-Grundverordnung gibt ihr das Recht, die Vervollständigung unvollständiger Daten zu verlangen, auch mittels einer ergänzenden Erklärung. Eine erklärte Lücke wird akzeptiert; eine, die sie selbst entdeckt, senkt das Vertrauen.

Wie es weitergeht

Nehmen Sie die KPI-Scorecard mit den meisten fehlenden Daten der letzten drei Monate und füllen Sie die Richtlinienvorlage in acht Schritten aus. Berechnen Sie dann dieselben Monate mit den neuen Regeln und vergleichen Sie die Stufen.

War dieser Artikel hilfreich?

Sehen Sie, wie Pulsika für Ihr Team funktioniert

Testen Sie alle Module kostenlos oder vereinbaren Sie eine Vorführung mit unserem Team. Ohne Karte.

oder wir richten ein Testunternehmen mit Ihrer Struktur ein