Ugrás a tartalomhoz

Hogyan tesztelje a KPI-rendszert bevezetés előtt: szimuláció, súlyozás és az „indulásra kész” feltételei

Tesztelje a KPI-rendszert 3–6 elmúlt hónapon: megoszlás a szintek között, érzékenység a súlyozásra, az egyes mutatók tényleges súlya és a bevezetés feltételei. Végigszámolt példával és Excel-fájllal.

Szerző: a Pulsika csapata Teljesítmény Megjelent frissítve 13 perc olvasás

A 3-as szám és három számozott lépés egy mutatórendszer teszteléséhez: futtatás múltbeli adatokon, a pontszámok szimulációja és a küszöbök igazítása.

Egy KPI-rendszert úgy tesztelhet bevezetés előtt, hogy kiszámolja az elmúlt 3–6 hónapra, az eredmények közlése nélkül: megnézi, hogyan oszlanak meg a pontszámok a szintek között, mennyit mozdulnak az eredmények, ha a súlyozást módosítja, mennyit számítanak valójában az egyes mutatók, és hány pontszám marad adat nélkül. A cikk egy nyolc emberre végigszámolt példát ad, egy módszert az egyes mutatók „tényleges” súlyának meghatározására, írásos „indulásra kész” feltételeket és egy Excel-fájlt, amellyel a szimulációt a saját adatain megismételheti.

Gyors válasz. Egy KPI-rendszert múltbeli adatokon végzett szimulációval tesztelnek: alkalmazza a képletet az elmúlt 3–6 hónapra, nézze meg a pontszámok megoszlását a szintek között, hasonlítsa össze a két súlyozással kapott rangsort, és számolja meg az adat nélküli pontszámokat. Csak akkor vezesse be a rendszert, ha a megoszlás hihető, egyik rész sem uralkodik el szándékolatlanul, és minden furcsa esetre van magyarázat.

Mit jelent egy KPI-rendszer tesztelése

A KPI-rendszer egy munkakör mutatóinak összessége, a súlyozással, a felső korlátokkal, a hiányzó adatokra vonatkozó szabályokkal és azokkal a szintekkel, amelyek a számokból pontszámot csinálnak. A mutatók kiválasztásáról az útmutató a KPI-mutatókról szól. Itt a rendszer már megvan; a kérdés az, hogy olyan pontszámokat ad-e, amelyekben megbízhat.

  • A visszamenőleges szimuláció az új rendszer alkalmazása már lezárt időszakokra, úgy, hogy az eredmények senkire nézve nem számítanak. A modellezésben az eljárás neve backtesting.
  • Az érzékenységvizsgálat azt méri, mennyit változnak a pontszámok és a rangsor, ha egy döntést módosít: egy súlyt, egy felső korlátot, egy szint küszöbét.
  • A pontszámok megoszlása megmutatja, hány ember kerül az egyes szintekre, és milyen messze vannak egymástól a pontszámok (minimum, medián, maximum, szórás).
  • A névleges súly a rendszerben leírt százalék. A tényleges súly az, amennyivel egy mutató valójában hozzájárul az emberek közötti különbségekhez. A kettő nagyon eltérhet egymástól.
  • A pilot a rendszer 1–2 hónapos használata a régi rendszerrel párhuzamosan, az eredményeket megmutatva az embereknek, de a bónuszra vagy az értékelésre gyakorolt hatás nélkül.

Miért nem elég a képletet ellenőrizni

Egy képlet lehet matematikailag helyes, és mégis használhatatlan pontszámokat adhat. A problémák csak akkor jönnek elő, amikor a képlet egy teljes hónap valós adataival találkozik. Négy helyzet csak a szimulációban látszik.

  • Egy mutató uralkodik el. A legnagyobb szórású mutató dönti el a rangsort, még ha a leírt súlya nem is a legnagyobb.
  • Mindenki ugyanarra a szintre kerül. A szintek küszöbei túl tágak ahhoz képest, amennyit a pontszámok változnak, és a rendszer már senkit sem különböztet meg.
  • A felső korlát túl sok embert ér el. Ha a csapat fele egy mutatónál a korláton áll, a mutató a célérték fölött már nem tesz különbséget.
  • Az adatok rendszeresen hiányoznak. Egy forrás, amely egy egész egységnél nem érkezik meg időben, az adatproblémát pontszámkülönbséggé alakítja.

Az OECD és az Európai Bizottság Közös Kutatóközpontjának az összetett mutatókról szóló kézikönyve ugyanezt mondja ki a statisztikai mutatókra: a súlyozás jelentősen befolyásolhatja az eredményt és a rangsort, a robusztusságot pedig bizonytalansági és érzékenységvizsgálattal ellenőrzik. Egy KPI-rendszer technikailag egyetlen személyre vonatkozó összetett mutató.

Milyen adatok kellenek a szimulációhoz

Használja a mutatók valós értékeit az elmúlt 3–6 lezárt hónapra, mindazokra, akikre a rendszert alkalmazni fogják. Egyetlen hónap nem elég: egy kivételes hónap a következőben gyakran magától kiegyenlítődik (ezt a jelenséget átlaghoz való visszatérésnek nevezik), és egy rajta tesztelt rendszert egy kivételre hangolnának be.

AdatproblémaHogyan látszik a szimulációbanMit tegyen bevezetés előtt
Késve érkező forrás (a zárás után feltöltött jelentés)Sok pontszám kevesebb részből számolva, mint a többiHatározza meg, meddig kell feltölteni az adatokat, és ki felel érte
Egységenként eltérő definíció (például értékesítés a visszáruval vagy anélkül)Egy egész egység jóval a többiek fölött vagy alattEgységesítse a definíciót, és számolja újra a teszthónapokat
Az időszakban belépett vagy kilépett emberekSzélsőséges pontszámok kevés ledolgozott nappal rendelkezőknélÍrja le a szabályt a nem teljes hónapokra (arányos célérték vagy „nincs adat”)
Szórás nélküli mutató (mindenkinek 100)A rész semmit sem változtat a rangsoronVegye ki a súlyozásból, vagy változtasson a pontozás módján

Végigszámolt példa: nyolc ember, két súlyozás

Feltételezett példa. Kitalált adatok egy üzletlánc nyolc értékesítési tanácsadójáról. A rendszernek három része van: Értékesítés (a terv %-ában, felső korlát 120), Minőség (a kiszolgálási ellenőrzés pontszáma, 0–100) és Vezetői értékelés (a szempontrendszer pontjainak %-ában). Szintek: 85 alatt „Fejlesztendő”, 85-től „Jó”, 100-tól „Kiváló”. A pontszám az adattal rendelkező részek súlyozott átlaga; az adat nélküli részt figyelmen kívül hagyják, a súlyát a többi rész veszi át.

Az A változat súlyozása 50% / 30% / 20%. A B változat 10 pontot áttesz az értékesítéstől az értékelésre: 40% / 30% / 30%. Horiának nincs értékelése a hónapban, így az ő pontszáma két részből számolódik.

MunkavállalóÉrtékesítés (korlát után)MinőségÉrtékelésA pontszámA szintA helyezésB pontszámB szintB helyezés
Ana118847699,40Jó295,20Jó2
Bogdan10496100100,80Kiváló1100,40Kiváló1
Cristina120 (teljesítve 132)726494,40Jó488,80Jó6
Dan81868883,90Fejlesztendő884,60Fejlesztendő8
Elena99908693,70Jó592,40Jó4
Florin72989684,60Fejlesztendő787,00Jó7
Gabriela111888097,90Jó394,80Jó3
Horia9092nincs adat90,75Jó690,86Jó5

Minden pontszám újraszámolható. Ana, A változat: 118 × 0,5 + 84 × 0,3 + 76 × 0,2 = 59 + 25,2 + 15,2 = 99,40. Horia, A változat: (90 × 0,5 + 92 × 0,3) ÷ 0,8 = 72,6 ÷ 0,8 = 90,75. Ugyanő a B változatban: (36 + 27,6) ÷ 0,7 = 90,86.

Mit mutat a példa

  • Egy szint megváltozik. Florin a „Fejlesztendő” (84,60) szintről a „Jó” (87,00) szintre kerül, pusztán azért, mert 10 súlypontot áttettek. Ha a szint bónuszról dönt, a súlyozásról hozott döntés Florin pénzéről szóló döntés.
  • A rangsor középen mozog. Cristina a 4. helyről a 6.-ra csúszik; Elena és Horia egy-egy helyet lép előre. Az első és az utolsó a helyén marad.
  • A megoszlás szűkül. Az A változatnál a minimum 83,90, a medián 94,05, a maximum 100,80, a szórás 5,98. A B változatnál 84,60, 91,63, 100,40 és 4,74. A B-vel nyolc emberből hat „Jó”.

Névleges súly és tényleges súly

Egy mutató a súlya és aszerint befolyásolja a rangsort, hogy mennyire különböznek az értékei az emberek között. Egyszerű becslés a súly és a mutató szórásának szorzata, elosztva ezeknek a szorzatoknak az összegével. A becslés figyelmen kívül hagyja a mutatók közötti korrelációt, ezért jelzésként használja, ne pontos mérésként.

RészSzórás (korlát után)A névleges súlyA becsült tényleges súlyB névleges súlyB becsült tényleges súly
Értékesítés16,2250%64,1%40%53,3%
Minőség7,5830%18,0%30%18,7%
Értékelés11,3420%17,9%30%28,0%

Az A változatban az értékesítésé a súly fele, mégis az emberek közötti különbségek csaknem kétharmadát magyarázza. A minőségnél 30% van leírva, de csak körülbelül 18%-kal járul hozzá, mert majdnem mindenkinek közeli a pontszáma. Ha a szándék az volt, hogy a rendszer a minőséget jutalmazza, a szimuláció megmutatja, hogy nem teszi.

A számítás az A változatra: értékesítés 0,5 × 16,22 = 8,110; minőség 0,3 × 7,58 = 2,274; értékelés 0,2 × 11,34 = 2,268; összeg 12,652; 8,110 ÷ 12,652 = 64,1%.

Fontos. A rendszerben leírt súly azt mondja meg, minek szánja a fontosságot. A szimuláció azt mondja meg, mi számít valójában. Az a mutató, amelynek az értékei mindenkinél közel vannak egymáshoz, kevés befolyással bír, akármekkora is a súlya.

Hogyan olvassa a pontszámok megoszlását

Nincs általánosan „helyes” megoszlás. Egy gondosan kiválasztott csapatban jogosan lehet sok „Jó” ember. A megoszlásnak azonban hihetőnek kell lennie annak, aki ismeri a csapatot, és meg kell tudni magyarázni.

Amit látMit jelent általábanMit ellenőrizzen
Mindenki ugyanazon a szintenA küszöbök túl tágak a pontszámok szóródásához képestA szintek küszöbeit a szimuláció minimumához és maximumához viszonyítva
A többség az elvárás alattIrreális célértékek vagy hibás adatforrásA célértékeket a múltbeli hónapokon és a mutatók definícióit
Egy csoport elkülönül a többitől (például egy egység)Eltérő körülmények vagy egységenként eltérő definíciókHogy szükség van-e egységenként eltérő célértékekre
Sok ember a korláton ugyanannál a résznélA célérték túl alacsony, vagy a korlát túl kicsiHányan érik el a korlátot az egyes teszthónapokban
Sok „pontszám nélkül” vagy kevesebb részből számolt pontszámAdatgyűjtési problémaKi tölti fel az adatokat, és meddig

Az egységenként eltérő célértékekről a különböző egységek KPI-célértékeiről szóló cikk szól. A hiányzó adatok folyamatszintű szabályáról a hiányzó adatokról a teljesítményértékelésben szóló cikk.

Az „indulásra kész” feltételei

A feltételeket a szimuláció előtt írja le, hogy ne az eredményhez igazítsa őket. Egy kiinduló lista, amelyet a saját helyzetéhez igazíthat:

  • Minden mutatónak van definíciója, forrása, adatfelelőse és szabálya a hiányzó adatra.
  • A súlyok összege 100%, és az egyes részek becsült tényleges súlya legfeljebb annyival tér el a névlegestől, amennyit elfogadhatónak ítélt (például 10 százalékponttal).
  • Minden teszthónapban a pontszámoknak legfeljebb egy előre meghatározott hányada (például 5%) számolódik kevesebb részből, mint a többi.
  • Egyik résznél sem áll az emberek több mint negyede tartósan, minden hónapban a korláton.
  • A szintek szerinti megoszlást a csapatot ismerő vezetők hihetőnek tartják, és minden vitatott esetre van írásos magyarázat.
  • Egy kis súlyváltozás (5–10 pont) legfeljebb néhány embert visz át egyik szintről a másikra; ha többet, tudja, miért.
  • Elkészült egy teljes számítási példa, amellyel a rendszert az embereknek bemutatják.

A listában szereplő küszöbök (10 pont, 5%, egy negyed) vezetési döntések, nem szabványok. Az a fontos, hogy a teszt előtt rögzítse őket.

A pilot lépései

  1. Rögzítse a tesztváltozatot. Jegyezze fel a súlyozást, a korlátokat, a szinteket és a hiányzó adatokra vonatkozó szabályt. Minden későbbi módosítás új változat lesz.
  2. Gyűjtse össze az adatokat. Az elmúlt 3–6 lezárt hónap, a rendszer teljes körére, azokból a forrásokból, amelyeket bevezetés után is használni fognak.
  3. Futtassa le az alapszimulációt. Minden hónapra jegyezze fel: hánynak van pontszáma, hánynak nincs, a minimumot, a mediánt, a maximumot és a szintek szerinti megoszlást.
  4. Vizsgálja az érzékenységet. Tegyen át 5–10 súlypontot a részek között, változtassa meg a korlátot és a küszöböket, egyszerre csak egy döntést. Jegyezze fel, ki vált szintet.
  5. Számolja ki a tényleges súlyt, és vesse össze a szándékkal. Javítson, ha egy rész akarata ellenére uralkodik el.
  6. Beszélje meg a furcsa eseteket a vezetőkkel: egy jó ember alacsony pontszámmal, egy hónap sok hiányzó adattal, egy egység, amely elkülönül a többitől. Mindegyik kap egy magyarázatot vagy egy javítást.
  7. Futtassa a pilotot 1–2 hónapig párhuzamosan, a pontszámokat megmutatva az embereknek, pénzügyi hatás nélkül. Gyűjtse össze a kérdéseiket.
  8. Ellenőrizze a bevezetés feltételeit, tegye közzé a végleges változatot, és mutassa be egy számítási példával az első olyan hónap előtt, amely már számít.

Figyelem. A román munka törvénykönyve (Codul muncii, 53/2003. sz. törvény) feljogosítja a munkáltatót, hogy meghatározza az egyéni teljesítménycélokat és az értékelési szempontokat (40. cikk (1) bekezdés f) pont), a belső szabályzatnak pedig tartalmaznia kell a szakmai értékelés szempontjait és eljárásait (242. cikk i) pont). Maga a tesztelés vezetési ajánlás. Ha a pontszám a fizetést vagy a bónuszt befolyásolja, egyeztessen a cég jogászával arról, hogyan kell a rendszert dokumentálni és közölni az alkalmazása előtt.

Gyakori hibák

  • Teszt egyetlen hónapon. Javítás: használjon 3–6 hónapot, hogy egy szokatlan hónap ne hangolja be a rendszert.
  • Az eredmény után leírt „kész” feltételek. Javítás: rögzítse őket az első szimuláció előtt.
  • Egyszerre több változtatás. Ha a súlyozást és a küszöböket egyszerre módosítja, már nem tudja, mi okozta a hatást. Javítás: egyszerre csak egy döntést változtasson.
  • A névleges súlyt valódi befolyásnak veszik. Javítás: becsülje meg a tényleges súlyt, és beszélje meg az eltérést.
  • A rendszer hangolása addig, amíg a „jó emberek” felülre nem kerülnek. A rendszer így a benyomások megerősítése lesz, nem mérés. Javítás: csak olyan okból változtasson a rendszeren, amelyet le tud írni (hibás célérték, következetlen definíció).
  • A hiányzó adatokat a tesztben figyelmen kívül hagyják. Javítás: számolja meg a kevesebb részből számolt pontszámokat, és rendezze a forrást bevezetés előtt.
  • Pénzügyi hatással járó pilot. Javítás: a pilot nem dönt pénzről; különben az emberek alkudoznak a rendszerről, ahelyett hogy tesztelnék.

Hogyan végzi el a tesztet a Pulsikában

A Pulsikában a KPI-rendszer neve KPI-értékelőlap. Az értékelőlap oldalán a „Próbafuttatás” kártya kiszámolja az értékelőlapot egy listából választott lezárt időszakra, anélkül hogy bármit elmentene. Az eredmény megmutatja, hány alanyt pontozott, hányan maradtak pontszám nélkül, a minimumot, a mediánt, a maximumot, a bónuszok összegét, hány összetevőhöz nem volt adat, a pontszámok hisztogramját és a szintek szerinti megoszlást.

  • Próbálja ki közzététel előtt. Egy piszkozat is lefuttatható egy múltbeli időszakra; közzétételig senkinek nem számol semmit. Az érzékenységhez módosítsa a súlyozást a piszkozatban („Fontosság”), és futtassa újra a szimulációt ugyanarra az időszakra.
  • Egyéni esetek. A szimuláció a megoszlást mutatja, nem a személyenkénti listát. Egy adott személyhez a szerkesztő „Kipróbálás” panelje egy valós példán mutatja meg egy rész eredményét; az összehasonlított rangsorokhoz használja a lenti fájlt.
  • Változatok. A közzétett értékelőlap rögzített; a módosításból a következő változat lesz, a már kiszámolt eredmények pedig a saját változatukhoz kötődnek.
  • Bevezetés után a „Pontszámok” oldal minden lezárt időszakra megmutatja, hogyan oszlik meg a csoport a szintek között, és hányan maradtak adat nélkül.
A csapat havi KPI-eredményei átlaggal, a pontszámok változásával, a teljesítményszintek közötti megoszlással és rangsorral.
A „Pontszámok” oldal egy hónap lezárása után: az átlagos pontszám, hánynak van pontszáma és hányan vannak adat nélkül, majd „A csoport megoszlása” szintenként. Ugyanezt a megoszlást látja a szimulációban bevezetés előtt.

A saját értékelőlapok összeállítása és a szimuláció a Professional és az Enterprise előfizetésben érhető el.

A szimulációs fájl

A sulyok-es-pontszamok-szimulacioja.xlsx fájl a fenti példát tartalmazza, képletekkel. Az „Adatok” munkalapon adja meg az emberek értékeit, a „Súlyok” munkalapon pedig két súlyozást; a „Szimuláció” és az „Összesítés” munkalap kiszámolja a pontszámokat, a szinteket, a helyezéseket, a helyezésváltozásokat, a megoszlást és a becsült tényleges súlyt. A színes cellákat Ön tölti ki.

Gyakori kérdések

Hány hónapnyi adat kell egy KPI-rendszer szimulációjához?

Használjon legalább három lezárt hónapot, és ha a tevékenység szezonális, hatot vagy többet. Egyetlen hónap lehet szokatlan: egy kampány, egy készlethiány, egy hosszú szabadság. Több hónapon látja, hogy a megoszlás stabil-e, és hogy ugyanazok az emberek kerülnek-e következetesen felülre vagy alulra, ami többet mond egyetlen hónap pillanatképénél.

Mit tegyek, ha egy mutatónak nincsenek korábbi adatai?

Szimulálja a rendszert nélküle, és az első hónapokban vegye fel nulla súllyal, csak tájékoztatásként. 2–3 hónapnyi valós adat után látja, hogyan változnak az értékek, és csak ekkor adjon neki súlyt. Másik lehetőség egy ideiglenes célérték, amelynél kifejezetten megmondja az embereknek, hogy az adott rész próbaidőn van, és még nem befolyásolja az eredményt.

Mennyit változhat a rangsor, ha módosítom a súlyozást?

Attól függ, mennyire különböznek egymástól az emberek az egyes mutatóknál. A cikk példájában 10 súlypont áthelyezése három ember helyezését és egy ember szintjét változtatja meg. Ha egy kis változtatás sok embert visz át egyik szintről a másikra, a pontszámok közel vannak a küszöbökhöz, és a rendszert óvatosan kell kommunikálni, különösen, ha a szint bónuszról dönt.

Mi egy mutató tényleges súlya?

A tényleges súly azt mutatja, mennyivel járul hozzá egy mutató az emberek pontszámai közötti különbségekhez, nem csak azt, ami a rendszerben le van írva. Egy nagyon szórt értékű mutató mérsékelt súllyal is nagy befolyással bír, az pedig, amelynél mindenkinek közeli az értéke, keveset számít. A súly × szórás becslés figyelmen kívül hagyja a korrelációkat, ezért ellenőrző jelzésként szolgál, nem pontos értékként.

Meg kell mutatnom a szimuláció eredményeit a munkavállalóknak?

A szimuláció egyéni pontszámait nem szükséges megmutatni, mert senkire nézve nem számítottak. Érdemes megmutatni a végleges rendszert, egy teljes számítási példát és esetleg a szintek szerinti névtelen megoszlást. A pilotot viszont az embereknek megmutatott pontszámokkal végzik, hogy időben kiderüljön, mit nem értenek és mit vitatnak.

Kinek kell részt vennie a rendszer tesztelésében?

Részt vesz, aki a rendszert összeállítja (általában a HR vagy a kontrolling), a vezetők, akik ismerik az értékelt embereket, és az adatforrások gazdái. A vezetők ellenőrzik, hogy a megoszlás hihető-e, az adatfelelősök pedig megmagyarázzák a furcsa értékeket. Az értékelt személyeknek nem kell jóváhagyniuk a rendszert, de a pilot során feltett kérdéseik megmutatják, mit kell jobban elmagyarázni.

Garantálja a szimuláció, hogy a rendszer helyes?

Nem, a szimuláció csak azt mutatja meg, hogyan viselkedik a rendszer a múltbeli adatokon. Nem tudja megmondani, hogy a kiválasztott mutatók azt mérik-e, ami a munkakörben számít, sem azt, hogyan változtatják meg az emberek a viselkedésüket, miután megismerik a szabályokat. Ezért bevezetés után az első három valós hónap után vizsgálja felül a rendszert, és figyelje, megjelennek-e nem kívánt hatások.

A következő lépések

Töltse le a szimulációs fájlt, cserélje le a kitalált adatokat egyetlen munkakör elmúlt három hónapjára, és írja le a bevezetés feltételeit, mielőtt az eredményre nézne. Ha a pontszám pénzről fog dönteni, folytassa a bónuszok küszöbeiről, gyorsítóiról és felső korlátairól szóló cikkel. Azokról a viselkedésekről, amelyekre egy rendszer rosszul ösztönözhet, a rossz viselkedésre ösztönző KPI-okról szóló cikk szól. Ha kitalált adatokon szeretne KPI-értékelőlapokat és pontszámokat látni, lépjen be a bemutató cégbe.

Hasznos volt ez a cikk?

Nézze meg, hogyan működik a Pulsika az Ön csapatában

Próbálja ki ingyen az összes modult, vagy kérjen bemutatót csapatunktól. Bankkártya nem szükséges.

vagy létrehozunk Önnek egy próbacéget a saját szervezeti felépítésével