Fehlende Daten in der Leistungsbeurteilung regeln Sie mit einer Richtlinie, die vor dem Zeitraum geschrieben wird, nicht mit Entscheidungen beim Abschluss, wenn das Ergebnis schon zu sehen ist. Die Richtlinie legt fest, welche Arten des Fehlens Sie anerkennen, welche Regel für jede gilt (Auslassen mit Umverteilung der Gewichtung, null, verlängerter Zeitraum, Mindestschwelle an Daten), wer bis wann ergänzt und wie die Menschen erfahren, was passiert ist.
Der Beitrag gibt Ihnen eine Einteilung in sechs Arten des Fehlens, vergleicht fünf Regeln am selben, vollständig durchgerechneten Score, zeigt den Fall, in dem das Auslassen das Fehlen belohnt, und schließt mit einer Richtlinienvorlage zum Übernehmen.
Kurz gesagt. Schreiben Sie vorab für jede Art des Fehlens eine Regel. Liegt das Fehlen nicht an der Person, lassen Sie den Teil aus und verteilen die Gewichtung um. Werten Sie mit 0 nur, wenn die Person die Daten liefern sollte. Kennzahlen mit wenigen Beobachtungen bekommen einen verlängerten Zeitraum. Kein Score und kein Bonus, wenn die Teile mit Daten unter einer festgelegten Schwelle liegen, etwa 70 % der Gewichtung.
Begriffe: was „fehlend“ in einer Beurteilung bedeutet
Ein fehlender Wert ist ein Wert, der für eine Person und einen Zeitraum vorhanden sein müsste, aber nicht vorhanden ist. Er ist etwas anderes als null: null Verkäufe sind ein Ergebnis, ein fehlender Verkaufsbericht ist ein Datenproblem. Der Leitfaden über Leistungsscores, denen Menschen vertrauen erklärt, warum beides nicht vermischt wird; hier bauen wir die Prozessregeln auf.
Das Auslassen mit Umverteilung der Gewichtung (Renormierung) berechnet den gewichteten Durchschnitt nur aus den Teilen mit Daten und teilt durch die Summe ihrer Gewichtungen. Der verlängerte Zeitraum ersetzt den Wert des Monats durch den Durchschnitt der letzten Monate mit Daten. Die Mindestabdeckung ist der Anteil der Gewichtung, der Daten haben muss, damit der Score veröffentlicht wird. Die Imputation ersetzt den fehlenden Wert durch einen geschätzten, zum Beispiel den Teamdurchschnitt.
Warum der Grund des Fehlens zählt
Der Statistiker Donald B. Rubin hat 1976 in „Inference and missing data“ gezeigt, dass sich ein Fehlen nur unter bestimmten Bedingungen ignorieren lässt, ohne die Schlussfolgerungen zu verfälschen. Die Literatur unterscheidet drei Situationen: vollständig zufälliges Fehlen, Fehlen, das sich durch andere bekannte Daten erklärt, und Fehlen, das mit dem fehlenden Wert selbst zusammenhängt.
Die dritte Situation ist in der Beurteilung die gefährliche. Geben gerade die Personen mit schwachen Ergebnissen ihren Bericht nicht ab, heißt das Auslassen des Teils, genau die schwachen Ergebnisse zu verbergen. Die richtige Regel hängt also von der Frage „Warum fehlt es?“ ab, nicht nur davon, dass etwas fehlt.
Sechs Arten des Fehlens und die passende Regel für jede
Die folgende Einteilung ist ein Arbeitsinstrument, kein Standard. Passen Sie sie an Ihre Kennzahlen an, aber behalten Sie den Gedanken bei: Jede Art hat eine vorab geschriebene Regel.
| Art des Fehlens | Beispiel | Empfohlene Regel | Wer handelt |
|---|---|---|---|
| Trifft nicht zu | Standort ohne Präsentationsfläche; Rolle ohne externe Kunden | Der Teil fällt für diese Person oder diesen Standort aus der KPI-Scorecard; die Gewichtung wird umverteilt | Wer die KPI-Scorecard aufbaut, vor dem Zeitraum |
| Begründete Abwesenheit | Langer Erholungsurlaub, Krankmeldung, Einstellung zur Monatsmitte | Zielwert an die Arbeitstage angepasst oder „keine Daten“ unter einer Mindestzahl an Tagen | HR, aus der Anwesenheitserfassung |
| Verspätete Quelle | Verkaufsbericht nicht importiert, Beurteilung durch die Teamleitung nicht ausgefüllt | Der Zeitraum wird nicht vor der Frist abgeschlossen; die Ergänzung wird nachverfolgt | Der Datenverantwortliche, mit Frist |
| Verantwortung der Person | Besuchsbericht des Außendienstmitarbeiters nicht abgegeben | Das Fehlen zählt als 0, Regel vorab angekündigt | Die beurteilte Person |
| Ungültige Daten | Import mit vertauschten Spalten, offensichtlich falscher Wert | „Keine Daten“ bis zur Korrektur, danach dokumentierte Neuberechnung | Der Datenverantwortliche |
| Zu wenige Beobachtungen | Ein einziger Besuch zur Bewertung des Service im Monat | Verlängerter Zeitraum (Durchschnitt der letzten 3 Monate) oder Mindestzahl an Beobachtungen | Wer die KPI-Scorecard aufbaut |
Merke. „Trifft nicht zu“ wird vor dem Zeitraum entschieden, in der Konfiguration der KPI-Scorecard. „Fehlt“ wird nach dem Zeitraum festgestellt. Wer beides vermischt, entscheidet am Ende beim Abschluss, dass eine Kennzahl ausgerechnet für jemanden mit schwachem Ergebnis „nicht zutrifft“.
Durchgerechnetes Beispiel: fünf Regeln, dieselbe Person, derselbe Monat
Hypothetisches Beispiel. Fiktive Daten. Die KPI-Scorecard eines Verkaufsberaters hat drei Teile: Umsatz (Gewichtung 50 %, Score 104), Servicequalität aus Bewertungsbesuchen (30 %) und Beurteilung durch die Teamleitung (20 %, Score 92). Im Oktober fand kein Bewertungsbesuch statt, der zweite Teil fehlt also. Im August und September ergaben die Besuche 88 und 94; im Juli fand keiner statt. Der Teamdurchschnitt bei der Servicequalität liegt bei 85.
| Regel | Rechnung | Score | Was sie aussagt |
|---|---|---|---|
| Ausgelassen, Gewichtung umverteilt | (104 × 0,5 + 92 × 0,2) ÷ 0,7 = 70,4 ÷ 0,7 | 100,57 | Der Score sagt, was wir wissen, auf 70 % der KPI-Scorecard |
| Das Fehlen zählt als 0 | 52 + 0 + 18,4 | 70,40 | Bestraft die Person für einen Besuch, der nicht von ihr abhing |
| Verlängerter Zeitraum (die Monate mit Daten unter den letzten drei) | Durchschnitt (88; 94) = 91 → 52 + 27,3 + 18,4 | 97,70 | Nutzt echte, aber ältere Informationen |
| Imputation mit dem Teamdurchschnitt | 52 + 85 × 0,3 + 18,4 = 52 + 25,5 + 18,4 | 95,90 | Schreibt der Person das Ergebnis anderer zu |
| Mindestabdeckung 70 % | Abdeckung = 50 % + 20 % = 70 % ≥ 70 % → die umverteilte Variante wird veröffentlicht | 100,57 | Der Score erscheint nur mit ausreichend Daten |
Zwischen der mildesten und der strengsten Regel liegen 30,17 Punkte (100,57 − 70,40), in den meisten Stufenskalen also mindestens eine Stufe. Derselbe Monat, dieselben Fakten. Daher kommt die Grundregel des Beitrags: Die Wahl wird vorher getroffen, nicht nachdem Sie die Zahl gesehen haben.
Wenn zwei Teile fehlen
Fehlt im selben Monat auch die Beurteilung durch die Teamleitung, bleibt nur der Umsatzteil. Das Auslassen ergäbe (104 × 0,5) ÷ 0,5 = 104: ein „vollständiger“ Score aus einer halben KPI-Scorecard. Mit der Schwelle von 70 % liegt die Abdeckung bei 50 %, das Ergebnis des Monats ist also „kein Score“ bis zur Ergänzung. Die Schwelle ändert nicht die Zahl; sie ändert den Zeitpunkt, ab dem Sie sie verwenden dürfen.
Der Fall, in dem das Auslassen das Fehlen belohnt
Die Umverteilung der Gewichtung ist eine gute Regel, wenn das Fehlen nicht an der Person liegt. Sie wird zu einer schlechten Regel, wenn die Person steuert, ob die Daten vorhanden sind.
Hypothetisches Beispiel. Fiktive Daten. Zwei Außendienstmitarbeiter haben dieselbe KPI-Scorecard: Umsatz 40 %, durchgeführte Besuche 30 %, Reklamationen 30 %. Beide haben 110 beim Umsatz und 100 bei den Reklamationen. Mitarbeiter X hat seinen Besuchsbericht abgegeben: 60 vom Plan. Mitarbeiter Y hat ihn nicht abgegeben.
- Mitarbeiter X: 110 × 0,4 + 60 × 0,3 + 100 × 0,3 = 44 + 18 + 30 = 92.
- Mitarbeiter Y, mit ausgelassenem Teil: (44 + 30) ÷ 0,7 = 105,71.
- Mitarbeiter Y, mit dem Fehlen als 0 gewertet: 44 + 0 + 30 = 74.
Mit der Umverteilung bringt der nicht abgegebene Bericht 13,71 Punkte mehr als beim Kollegen, der ehrlich ein schwaches Ergebnis gemeldet hat. Für Daten, die die Person liefern muss, ist die richtige Regel 0, vorab angekündigt. Der Leitfaden zur Auswahl der Kennzahlen erwähnt diese Variante; hier sehen Sie, warum sie nicht optional ist.
Die Prozessregeln: Fristen, Ergänzung, Abschluss
Die meisten Lücken sind keine Sonderfälle, sondern Verspätungen. Eine gute Richtlinie verringert sie, bevor sie im Score landen.
Die Frist für die Ergänzung
Legen Sie eine Frist nach dem Ende des Zeitraums fest, zum Beispiel 5 Arbeitstage, bis zu der die Datenverantwortlichen die Werte laden und die Beurteilenden die Beurteilungen ausfüllen. Der Zeitraum wird nicht vor der Frist abgeschlossen, auch wenn jemand die Zahlen dringend braucht.
Die Vollständigkeitsprüfung vor dem Abschluss
Vor dem Abschluss prüft jemand aus HR für jede Kennzahl, wie viele Werte von wie vielen erwarteten ausgefüllt sind. Für jede Lücke notiert er die Art aus der Tabelle oben. Ohne diese Notiz weiß bei einem Einspruch niemand mehr, ob die Lücke Urlaub, Verspätung oder ein Fehler war.
Der Bonus und die Abdeckungsschwelle
Über einen Bonus wird nicht auf Grundlage eines Scores unter der Abdeckungsschwelle entschieden. Die Entscheidung wird bis zur Ergänzung verschoben oder, wenn die Daten nicht mehr kommen, gilt die für diesen Fall geschriebene Regel (zum Beispiel wird der Monatsbonus auf Basis des Quartalsdurchschnitts berechnet). Regeln, die Geld betreffen, stehen in den Dokumenten des Unternehmens, nicht nur in der KPI-Scorecard.
Die Neuberechnung nach der Ergänzung
Kommt ein verspäteter Wert nach dem Abschluss, wird der Zeitraum einmal neu berechnet, und die Person erfährt, was sich geändert hat. Lassen Sie keine wiederholten Neuberechnungen ohne Mitteilung zu: Jede unerklärte Änderung senkt das Vertrauen in alle Scores.
So kommunizieren Sie fehlende Daten
- Beim Score: Der Teil erscheint als „keine Daten“, nicht als 0 und nicht leer, mit der angewandten Regel in Worten.
- Im Gespräch: Die Führungskraft sagt, aus wie vielen Teilen der Score berechnet wurde, bevor sie über die Stufe spricht.
- In Vergleichen: Ein Score, der auf 70 % der KPI-Scorecard berechnet ist, kommt nicht ohne Hinweis in dieselbe Rangliste wie ein vollständiger.
- Für die beurteilte Person: Sagen Sie ihr, was sie tun kann, wenn sie weiß, dass ein Wert irrtümlich fehlt, und an wen sie sich wendet.
Vorsicht. Die Datenschutz-Grundverordnung verlangt, dass personenbezogene Daten richtig sind (Art. 5 Abs. 1 Buchst. d), und Art. 16 gibt der Person das Recht, die Berichtigung unrichtiger und die Vervollständigung unvollständiger Daten zu verlangen, „auch mittels einer ergänzenden Erklärung“.
Das rumänische Arbeitsgesetzbuch (Codul muncii) verlangt, dass die Arbeitsordnung die Kriterien und Verfahren der beruflichen Beurteilung enthält (Art. 242 Buchst. i), und eine Kündigung wegen fachlicher Nichteignung setzt eine vorherige Beurteilung nach dem festgelegten Verfahren voraus (Art. 63 Abs. 2). Klären Sie mit der Rechtsberatung des Unternehmens, wo die Richtlinie zu fehlenden Daten festgehalten wird und wie sie bei Entscheidungen mit rechtlicher Wirkung angewendet wird.
Vorlage für eine Richtlinie zu fehlenden Daten
Die folgenden Schritte ergeben ein einseitiges Dokument. Füllen Sie es für jede KPI-Scorecard vor dem ersten Zeitraum aus, der zählt.
- Listen Sie die Teile der KPI-Scorecard auf und für jeden, wer die Daten liefert: die Person, die Führungskraft, ein System oder ein Dritter.
- Markieren Sie, was „nicht zutrifft“, für bestimmte Standorte oder Positionen, und nehmen Sie diese Teile aus der Konfiguration heraus, nicht beim Abschluss aus der Berechnung.
- Wählen Sie für jeden Teil die Regel bei fehlenden Daten: auslassen, wenn die Daten nicht von der Person abhängen, 0, wenn sie es tun, verlängerter Zeitraum, wenn Beobachtungen selten sind.
- Legen Sie die Abdeckungsschwelle fest (zum Beispiel 70 % der Gewichtung) und was darunter geschieht: „kein Score“ bis zur Ergänzung.
- Regeln Sie die Abwesenheiten: unter wie vielen Arbeitstagen der Monat zu „keine Daten“ wird und wie der Zielwert oberhalb dieser Mindestzahl angepasst wird.
- Schreiben Sie die Fristen fest: bis wann die Daten geladen werden, bis wann die Beurteilungen ausgefüllt werden, wann der Zeitraum abgeschlossen wird.
- Regeln Sie die Korrekturen: wer einen Wert nach dem Abschluss korrigieren darf, wie neu berechnet wird und wie die Person davon erfährt.
- Testen Sie die Richtlinie an drei vergangenen Monaten und zählen Sie, wie viele Scores zu „kein Score“ geworden wären oder die Stufe gewechselt hätten.
Zum Testen mit historischen Daten lesen Sie den Beitrag über das Testen einer KPI-Scorecard.
So wenden Sie die Richtlinie in Pulsika an
In Performance und KPI bleibt ein fehlender Wert „keine Daten“ und wird nie von selbst zu 0. Bei der manuellen Eingabe bedeutet ein leer gelassenes Feld „keine Daten“, und das Löschen eines Werts entfernt ihn. Die Eingabeseite für die Werte zeigt, wie viele von wie vielen erwarteten ausgefüllt sind, hilfreich bei der Prüfung vor dem Abschluss.
- Der gewichtete Durchschnitt, die übliche Gesamtwertung, lässt den Teil ohne Daten aus, und die anderen übernehmen seine Gewichtung: die erste Regel aus der Tabelle oben. Hat kein Teil Daten, bleibt die Gesamtwertung „keine Daten“.
- Die Gesamtwertungen „Die Summe der Teile“, „Der schwächste Teil“ und „Der beste Teil“ bleiben „keine Daten“, wenn ein Teil fehlt, außer bei den Teilen, für die Sie „Keine Daten zählen in der Gesamtwertung als 0“ ankreuzen – die Regel für Daten, die die Person liefert. Beim gewichteten Durchschnitt schreiben Sie dieselbe Regel in eine eigene Formel, mit dem Baustein „Wenn fehlend, 0 verwenden“.
- Der verlängerte Zeitraum wird in den KPI-Scorecards mit den Bausteinen „Durchschnitt der letzten Zeiträume“ (Monate ohne Daten gehen nicht in den Durchschnitt ein) und „Wenn fehlend, etwas anderes verwenden“ (der erste Wert mit Daten) geschrieben.
- Die Beurteilungen durch Führungskräfte liefern als Wert den Durchschnitt der im Zeitraum abgegebenen Beurteilungen; ohne abgegebene Beurteilung ist der Wert „keine Daten“. Nach der Frist des Beurteilungsbogens kann nur noch korrigieren, wer die Berechtigung zum Verwalten der Beurteilungen hat, und die Korrektur bleibt protokolliert.
- Beim Abschluss zeigt das Ergebnis, wie viele Bestandteile keine Daten hatten, und im Score der Person erscheint der Teil als „keine Daten – ausgelassen“.
Die Mindestabdeckung ist keine eigene Einstellung: Sie wenden sie als Prozessregel an, indem Sie vor einer Bonusentscheidung auf die Zahl der Teile ohne Daten schauen.
Häufige Fehler
- Die Regel wird gewählt, nachdem Sie das Ergebnis gesehen haben. So korrigieren Sie es: Die Richtlinie wird vor dem Zeitraum geschrieben und für alle gleich angewendet.
- Dieselbe Regel für alle Teile. So korrigieren Sie es: Daten, die die Person liefert, haben eine andere Regel als Daten, die andere liefern.
- Eine Null, eingetragen, „damit der Monat abgeschlossen werden kann“. So korrigieren Sie es: Eine 0 ist ein Wert; eine Lücke bleibt eine Lücke bis zur Ergänzung.
- Imputation mit dem Teamdurchschnitt für den Bonus. So korrigieren Sie es: Bezahlen oder bestrafen Sie niemanden für das Ergebnis anderer.
- Ein Score aus einer halben KPI-Scorecard, ohne Hinweis veröffentlicht. So korrigieren Sie es: Abdeckungsschwelle und der Hinweis „berechnet auf X % der KPI-Scorecard“.
- Nicht notierte Lücken. So korrigieren Sie es: Jede Lücke erhält vor dem Abschluss ihre Art und ihren Grund.
Häufige Fragen
Muss ein fehlender Wert als null gezählt werden?
Nur wenn die beurteilte Person die Daten liefern sollte und nicht geliefert hat und die Regel vorab angekündigt war. In allen anderen Fällen bestraft ein als null gezählter fehlender Wert die Person für die Verspätung oder Abwesenheit eines anderen. Lassen Sie den Teil aus und verteilen Sie die Gewichtung um, oder nutzen Sie einen verlängerten Zeitraum, je nach Art des Fehlens und danach, wie selten die Beobachtungen sind.
Was ist die Umverteilung der Gewichtung?
Die Umverteilung der Gewichtung bedeutet, den gewichteten Durchschnitt nur aus den Teilen mit Daten zu berechnen und durch die Summe ihrer Gewichtungen zu teilen. Fehlt ein Teil mit 30 %, zählen die beiden anderen mit 50 % und 20 % so, als hätten sie 71,4 % und 28,6 %. Die Regel ist richtig, wenn das Fehlen nicht von der Person abhängt, und irreführend, wenn es von ihr abhängt.
Wie hoch sollte die Mindestabdeckung sein?
Es gibt keine allgemeingültige Schwelle und keinen Standard: Die Schwelle ist eine interne Vereinbarung. Ein vernünftiger Ausgangspunkt sind 70 % der Gewichtung, also mindestens zwei von drei Teilen. Testen Sie sie an vergangenen Monaten: Würden zu viele Scores zu „kein Score“, liegt das Problem in der Datenerfassung, nicht in der Schwelle. Die Schwelle muss vorab geschrieben und für alle Personen mit derselben KPI-Scorecard gleich angewendet werden.
Wie behandle ich einen Monat mit Krankmeldung?
Eine Krankmeldung ist eine begründete Abwesenheit, keine schwache Leistung. Legen Sie eine Mindestzahl an Arbeitstagen fest, unter der der Monat zu „keine Daten“ wird, und passen Sie oberhalb dieser Mindestzahl den Zielwert anteilig an die Arbeitstage an. Tragen Sie bei Mengenkennzahlen keine Null ein und verlangen Sie von der Person nicht, den Zielwert des ganzen Monats nachzuholen.
Was tue ich, wenn die Beurteilung der Führungskraft zur Frist fehlt?
Behandeln Sie sie als verspätete Quelle: Der Zeitraum wird nicht vor der Frist abgeschlossen, und die Führungskraft erhält eine Erinnerung. Verstreicht die Frist, bleibt der Teil „keine Daten“, und es gilt die Abdeckungsregel. Werten Sie nicht mit null: Die beurteilte Person konnte die Beurteilung nicht anstelle der Führungskraft ausfüllen. Notieren Sie die Verspätung; wiederholt sie sich, sagt sie etwas über die Führungskraft.
Kann ich den Teamdurchschnitt statt des fehlenden Werts verwenden?
Für Gesamtanalysen manchmal ja; für den individuellen Score, der mit Geld verbunden ist, nein. Der Teamdurchschnitt schreibt der Person das Ergebnis der Kollegen zu, nach oben oder nach unten. Fehlt eine Beobachtung, ziehen Sie einen verlängerten Zeitraum aus den Daten derselben Person vor, und gibt es auch diese nicht, lassen Sie den Teil aus und wenden die Abdeckungsschwelle an.
Muss der Mitarbeiter informiert werden, wenn in seinem Score Daten fehlen?
Ja. Die Person muss sehen, welcher Teil fehlt, welche Regel angewendet wurde und wie sie einen irrtümlich fehlenden Wert melden kann. Die Datenschutz-Grundverordnung gibt ihr das Recht, die Vervollständigung unvollständiger Daten zu verlangen, auch mittels einer ergänzenden Erklärung. Eine erklärte Lücke wird akzeptiert; eine, die sie selbst entdeckt, senkt das Vertrauen.
Wie es weitergeht
Nehmen Sie die KPI-Scorecard mit den meisten fehlenden Daten der letzten drei Monate und füllen Sie die Richtlinienvorlage in acht Schritten aus. Berechnen Sie dann dieselben Monate mit den neuen Regeln und vergleichen Sie die Stufen.
- Wie Sie den Score und die Korrekturen zeigen: Leistungsscores, denen Menschen vertrauen.
- Für angepasste Zielwerte an Standorten mit unterschiedlicher Kundenfrequenz: KPI-Zielwerte für unterschiedliche Standorte.
- Für das Gespräch mit der Person, wenn die Ergebnisse schwach sind: das Beurteilungsgespräch.
- Um zu sehen, wie ein auf dem Bildschirm erklärter Score aussieht: das Demo-Unternehmen.