Ugrás a tartalomhoz

Rossz viselkedésre ösztönző KPI-ok: a Goodhart-törvény és az ellenintézkedések

Miért kezdik „menedzselni” a bónuszhoz kötött mutatót, mi romolhat el nyolc munkakörben, hogyan változtatja meg a rangsort egy ellensúlyozó mutató, és az ötkérdéses teszt minden téttel járó KPI-hoz.

Szerző: a Pulsika csapata Teljesítmény Megjelent 12 perc olvasás

Egy lap két összekötött sorral. Az első szerint a mutató nagyobb mennyiséget kér, a második azt kérdezi, hogy a minőség is ugyanaz marad-e.

Egy KPI akkor ösztönöz rossz viselkedésre, ha a szám úgy is nőhet, hogy az az eredmény, amelyet Ön követ, nem nő. Az emberek nem feltétlenül „csalnak”: pontosan azt teszik, amit a mutató kér, a mutató viszont a munkának csak egy részét kéri. A cikk elmagyarázza a mechanizmust (a Goodhart-törvényt és rokonait), nyolc munkakörön megmutatja, mi romolhat el, és milyen ellensúlyozó mutató előzi meg, végigszámol egy példát, amelyben az ellensúlyozó mutató megváltoztatja a rangsort, és ad egy ötkérdéses tesztet bármely KPI-hoz, mielőtt pénzt kötne hozzá.

Gyors válasz. Az a mutató, amelyhez tét kapcsolódik (bónusz, rangsor, szankció), céllá válik, és az emberek a számot optimalizálják, nem az eredményt. A hatást megelőzheti egy ellensúlyozó mutatóval, amely csökkenne, ha a mennyiséget rossz módon érnék el, olyan forrásokból származó adatokkal, amelyeket a személy nem befolyásol, szúrópróbás ellenőrzéssel, valamint hirtelen lépcsők helyett folyamatos küszöbökkel. Minden KPI-t tegyen próbára ezzel a kérdéssel: „Hogyan nőhetne a szám úgy, hogy az eredmény nem nő?”

Fogalmak: Goodhart-törvény, Campbell-törvény, perverz ösztönző

A Goodhart-törvény azt a megfigyelést jelenti, hogy egy statisztikai szabályszerűség hajlamos összeomlani, amikor szabályozásra kezdik használni. Charles Goodhart közgazdász 1975-ben fogalmazta meg a monetáris politikára. A ma ismert forma – „ha egy mérőszámból cél lesz, megszűnik jó mérőszám lenni” – Marilyn Strathern (1997) antropológustól származik, egy brit egyetemek értékeléséről szóló cikkből.

A Campbell-törvény szerint minél többet használnak egy mennyiségi társadalmi mutatót döntésekhez, annál jobban ki van téve a torzító nyomásnak, és annál jobban eltorzítja azokat a folyamatokat, amelyeket követnie kellene. Donald T. Campbell az Evaluation and Program Planning (1979) folyóiratban tette közzé a megfogalmazást. Klasszikus példája a tesztre tanítás: a jegyek javulnak, a tudás nem.

A perverz ösztönző olyan jutalom, amely a kívánttal ellentétes hatást vált ki. Steven Kerr 1975-ben írta le a szervezeti változatát az „On the folly of rewarding A, while hoping for B” című cikkében: a cégek egy viselkedésben (B) reménykednek, de egy másikat (A) jutalmaznak, aztán csodálkoznak, hogy A-t kapják.

A kobrahatás azt az esetet jelöli, amikor az ösztönző éppen azt a problémát súlyosbítja, amelyet meg kellett volna oldania. A gyarmati Delhiben a kobrákért fizetett jutalmakról szóló anekdota népszerű, de a hitelessége vitatott. A levéltárakban dokumentált eset a patkányfarkakért fizetett jutalmaké Hanoiban, 1902-ben: megjelentek a farok nélküli patkányok, amelyeket életben hagytak, hogy szaporodjanak.

Fontos. Nem a mérés a probléma, hanem a tét, amelyet egy hiányos mérőszámra tesznek. Egy csak tájékoztatásként követett mutatónak kevesebb oka van elromlani. Ugyanazt a mutatót viszont, ha bónuszhoz vagy nyilvános rangsorhoz kötik, elkezdik „menedzselni”.

Miért romlik el egy jó mutató, amikor céllá válik?

Négy mechanizmus magyarázza szinte az összes esetet. Ellenőrzőlistaként is használhatja őket bármely új KPI-nál.

1. A mutató az eredménynek csak egy részét fedi le

A fogadott hívások száma a mennyiséget méri, nem a megoldást. Az értékesítés a bevételt méri, az utána érkező visszaküldéseket és panaszokat nem. Ha csak a mért résznek van tétje, az erőfeszítés oda költözik. Ordóñez, Schweitzer, Galinsky és Bazerman a célok első mellékhatásaként „a szűk fókuszt, amely elhanyagolja a cél nélküli területeket” nevezi meg; a listájukon az etikátlan viselkedés és a vállalt kockázatok növekedése is szerepel.

2. A személy kezében vannak az adatok

Ha az értékelt személy maga jelenti a számot (megtett látogatások, lezárt feladatok, a projekten ledolgozott órák), a szám attól is függ, mennyire szigorúan jelent. Ehhez nem kell rosszhiszeműség: egy „majdnem kész” feladat a hónap végén, amikor számít, könnyebben lesz „kész”.

3. A küszöbnél hirtelen lépcső van

Egy bónusz, amely a terv 100%-ánál indul, sajátos viselkedést hoz létre a küszöb körül. A hónap 28-án 97%-nál minden erőfeszítés megéri még 3%-ért, akár a következő havi eladások előrehozása is. 130%-nál megéri a következő hónapra halasztani az eladásokat, főleg ha van felső korlát. Az eredmények eloszlása megmutatja a hatást: sok érték közvetlenül a küszöb fölött, kevés közvetlenül alatta.

4. A rögzítés időpontja megválasztható

A rendeléseknek, a számláknak, a jegyek megoldásának vagy a felvételeknek van egy dátuma, amelyet valaki áthelyezhet. A nagy tétű havi mutatók az időszakok közötti áthelyezésre ösztönöznek. Az éves eredmény nem változik, a havi értékelés viszont annak a mérőszámává válik, ki milyen ügyesen választja meg a dátumot.

Egy dokumentált eset: hozzájárulás nélkül nyitott számlák

2016 szeptemberében az amerikai pénzügyi fogyasztóvédelmi hatóság (CFPB) 100 millió dollárra bírságolta a Wells Fargo bankot. A CFPB közleménye szerint a munkavállalók „az értékesítési célok és a javadalmazási ösztönzők hatására” az ügyfelek tudta nélkül nyitottak számlákat. A bank elemzése több mint kétmillió olyan betét- és kártyaszámlát azonosított, amelyet lehet, hogy az ügyfél nem engedélyezett.

Az eset az első két mechanizmust mutatja, a tét által felerősítve: a meglévő ügyfeleknek eladott további termékek mutatója (keresztértékesítés, cross-selling) nem mérte, hogy az ügyfél akarta-e a terméket, a számlákat maguk az értékeltek nyitották, a célok pedig a javadalmazáshoz kapcsolódtak. A CFPB kifejezetten megjegyzi, hogy a bank nem figyelte kellő gondossággal, hogyan alkalmazzák az ösztönzőprogramokat. Egy kis cég számára nem a méret a tanulság, hanem az ellensúlyozó mutató és az ellenőrzés hiánya.

Példák munkakörönként: mi romolhat el, és melyik mutató ellensúlyozza

Az alábbi táblázat szemléltető jellegű, a fenti mechanizmusokból épül fel; nem egy konkrét céget ír le. A harmadik oszlop azt mutatja, mi történhet, nem azt, ami biztosan megtörténik.

MunkakörTéttel járó KPILehetséges rossz viselkedésEllensúlyozó mutató vagy ellenintézkedés
Bolti értékesítési tanácsadóAz eladások értékeNyomás az ügyfeleken, nem megfelelő termékek, visszaküldésekVisszaküldési arány, a kiszolgálás értékelése (próbavásárlás, mystery shopping)
Ügyfélszolgálati operátorÁtlagos hívásidőMegoldás előtt lezárt hívásokMegoldás az első kapcsolatfelvételkor, ismételt hívások 7 napon belül
Szállodai recepciósKiegészítő értékesítés (upsell)Tolakodó ajánlat, lassú bejelentkezésA bejelentkezés ideje, az értékelések pontszáma, a számlázási hibák
IngatlanügynökA megtekintések számaMegtekintések nem minősített ügyfelekkelKonverzió megtekintésből ajánlatba, aláírt kizárólagos megbízások
ToborzóA betöltés idejeElsietett felvételek, gyenge illeszkedésMegtartás 90 nap után, a vezető értékelése a próbaidő végén
IT-támogatásLezárt jegyekMegoldás nélkül lezárt, több részre bontott jegyekÚjranyitott jegyek, a felhasználó visszaigazolása
Raktári operátorÓránként összekészített tételsorokÖsszekészítési hibák, hiányos rendelésekAz ellenőrzéskor talált vagy az ügyfél által reklamált hibák
EgységkoordinátorSzemélyi költségAlulméretezett műszakok, be nem jelentett túlórákAz ügyfelek várakozási ideje, a csapat fluktuációja

A gyógyszertárakban a szabálynak etikai és jogi oldala is van: bizonyos termékek eladására adott ösztönző ütközhet a szakmai előírásokkal. A részletek a gyógyszertári munkavállalók KPI-jairól szóló cikkben találhatók.

Végigszámolt példa: hogyan változtatja meg az ellensúlyozó mutató a rangsort

Feltételezett példa. Kitalált adatok. Két ügyfélszolgálati operátor, ugyanaz a hónap. Ana átlagos hívásideje 4 perc, és a problémák 55%-át az első kapcsolatfelvételkor megoldja. Bogdané 5,5 perc és 85%. Célértékek: 5 perc (a kevesebb a jobb) és 80% megoldás az első kapcsolatfelvételkor. Mindkét rész felső korlátja 120.

SzámításAnaBogdan
Hívásidő: célérték ÷ tényleges × 1005 ÷ 4 × 100 = 125 → felső korlát 1205 ÷ 5,5 × 100 = 90,91
Megoldás: tényleges ÷ célérték × 10055 ÷ 80 × 100 = 68,7585 ÷ 80 × 100 = 106,25
Pontszám csak a hívásidő alapján12090,91
Pontszám ellensúlyozó mutatóval, 50% / 50%(120 + 68,75) ÷ 2 = 94,38(90,91 + 106,25) ÷ 2 = 98,58
Visszatérő ügyfelek 1 000 problémára vetítve450150

Egyetlen mutatóval Ana tűnik a legjobbnak. Az ellensúlyozó mutatóval Bogdan kerül előre, és az utolsó sor megmutatja, miért: 1 000 problémából Ana 450 ügyfelének kell visszatérnie, Bogdannál csak 150-nek. A súlyozás számít: ha a hívásidő súlya 80%, a megoldásé 20% lenne, Ana pontszáma 0,8 × 120 + 0,2 × 68,75 = 109,75, Bogdané pedig 0,8 × 90,91 + 0,2 × 106,25 = 93,98 lenne. Egy jelképes súlyú ellensúlyozó mutató semmit sem ellensúlyoz.

Jelek, amelyek szerint egy mutatót „menedzselnek”

  • Torlódás a küszöbnél: jóval több eredmény 100% és 102% között, mint 97% és 99% között.
  • Ugrás az időszak végén: a hónap utolsó napjai hozzák az eredmény aránytalanul nagy részét, a következő hónap első napjai pedig gyengék.
  • Eltérés: a mutató nő, az általa képviselt eredmény nem (az eladások nőnek, az árrés vagy az ügyfélmegtartás csökken).
  • Gyanús egyformaság: mindenki pontosan eléri a célértéket, hónapról hónapra, kisebb ingadozással, mint amit a valódi munka megengedne.
  • Új panaszok: az ügyfelek vagy egy másik osztály kollégái éppen azt kifogásolják, amit a mutató nem mér.

Ellenintézkedések, amelyek működnek

Mutatópárok

Minden mennyiségi mutató mellé kerül egy minőségi, amely csökkenne, ha a mennyiséget rossz módon érnék el. A szabályt az útmutató a KPI-mutatók kiválasztásáról fogalmazza meg; itt a súlyozás számít: az ellensúlyozó mutatónak elég súlyt kell kapnia ahhoz, hogy megváltoztassa a szintet, ahogy a fenti példa mutatja.

Semleges forrásból származó adatok és szúrópróbás ellenőrzés

Az értékelt személy által jelentett számok helyett részesítse előnyben a rendszerekből származókat (számlázás, panasznyilvántartás, telefonközpont). Ahol a saját jelentés nem kerülhető el, havonta ellenőrizzen egy kis mintát, és előre jelentse be, hogy van ellenőrzés. A bejelentett ellenőrzés még azelőtt visszatarthat az eltéréstől, hogy megtörténne; a titkos csak utólag fedezi fel.

Folyamatos küszöbök és felső korlátok

Az eredménnyel arányos, esetleg felső korláttal ellátott kifizetés csökkenti az egyetlen pontra nehezedő nyomást. A küszöbök hasznosak maradnak, de kerülje el, hogy egyetlen százalékpont sokat változtasson az összegen. A lépcsőzetes, minőségi kapukkal ellátott bónuszok felépítését a teljesítménybónuszok küszöbeiről szóló cikk tárgyalja.

Hosszabb időszakok a könnyen áthelyezhető mutatóknál

Egy három hónapra összesített mutató vagy az utolsó három hónap átlaga feleslegessé teszi a hónapok közötti áthelyezést. Maradjon havi az, ami valóban havonta történik; kerüljön negyedéves alapra az, amit egy aláírással el lehet halasztani.

Csak tájékoztató mutatók

Nem kell mindennek súlyt kapnia, amit követ. Egy mutató, amely látszik a jelentésben, de nincs tétje, tisztább marad, és időben jelezheti, hogy egy másik mutatót „menedzselnek”.

Ötkérdéses teszt bármely téttel járó KPI-hoz

Minden mutatót vigyen végig az alábbi lépéseken, mielőtt bónuszhoz vagy rangsorhoz kötné. Egy teljes értékelőlapnál ez egy órát vesz igénybe.

  1. Valójában milyen eredményt akarunk? Írja le egyetlen mondatban, számok nélkül: „az ügyfél megoldott problémával távozik”.
  2. Hogyan nőhetne a szám úgy, hogy az eredmény nem nő? Jegyezzen fel legalább három utat. Kérje két olyan ember segítségét, aki ezt a munkát végzi: ők ismerik őket elsőként.
  3. Melyik mutató csökkenne az egyes utakon? Az a jelölt az ellensúlyozó mutatóra. Ha nincs mérhető ilyen, tervezzen be szúrópróbás ellenőrzést.
  4. Ki állítja elő az adatokat? Ha az értékelt személy, keressen semleges forrást vagy valaki más visszaigazolását.
  5. Mi történik a küszöb körül? Szimulálja az elmúlt hónapokon, hogyan változik a kifizetés 98%, 100% és 102% esetén. A szimulációhoz lásd: egy KPI-rendszer tesztelése.

Az indulás után három hónappal tekintse át az eredmények eloszlását, a fenti jeleket keresve.

Figyelem. A román munka törvénykönyve (Codul muncii, 53/2003. sz. törvény) feljogosítja a munkáltatót, hogy meghatározza az egyéni teljesítménycélokat és az értékelési szempontokat (40. cikk (1) bekezdés f) pont). A szakmai értékelés szempontjai és eljárásai a belső szabályzat kötelező minimális tartalmához tartoznak (242. cikk i) pont). Ha egy javadalmazáshoz kötött KPI-t módosít, ellenőrizze a cég jogászával, hol van leírva a szabály (szerződés, belső szabályzat, kollektív munkaszerződés), és hogyan kell közölni az emberekkel.

Gyakori hibák

  • Az emberek szankcionálása egy rosszul megtervezett mutató miatt. Ha az egész csapat „játszik” a mutatóval, akkor a mutató a probléma. Először a szabályt javítsa ki, aztán beszélje meg az egyéni eseteket.
  • Az optimalizálás és a csalás összekeverése. Egy eladás egynapos elhalasztása optimalizálás; egy számla hozzájárulás nélküli megnyitása csalás. Az első újratervezést kíván, a második fegyelmi eljárást, a román munkajog által előírt előzetes vizsgálattal.
  • Jelképes súlyú ellensúlyozó mutató. Egy 5%-os minőségi mutató nem ellensúlyoz egy 95%-os mennyiségi mutatót.
  • Túl sok ellensúlyozó mutató. Tíz ellenintézkedés olvashatatlanná teszi az értékelőlapot. Minden mennyiségi mutatóhoz egy jó ellensúlyozó mutató elég.
  • Lényegtelen ellenőrzések. Az az ellenőrzés, amely űrlapokat vizsgál a valódi eredmény helyett, maga is „menedzselt” mutatóvá válik.
  • A mutató módosítása az eredmények megismerése után. A módosítást a következő időszakokra vezesse be, és előre jelentse be.

Gyakori kérdések

Mit mond röviden a Goodhart-törvény?

A Goodhart-törvény szerint az a mérőszám, amelyet célként használnak, elveszíti az értékét mint mérőszám. Az emberek megtanulják a legrövidebb úton mozgatni a számot, és ez az út nem mindig vezet át azon az eredményen, amelyet a számnak mutatnia kellett volna. A ma használt megfogalmazás Marilyn Strathern (1997) nevéhez fűződik, aki Charles Goodhart közgazdász 1975-ös megfigyeléséből indult ki.

Ez azt jelenti, hogy ne kössük a bónuszokat KPI-okhoz?

Nem. Azt jelenti, hogy egy téttel járó KPI-nak olyan védelemre van szüksége, amelyet egy tájékoztató mutató nem igényel: egy minőségi ellensúlyozó mutatóra, semleges forrásból származó adatokra, szúrópróbás ellenőrzésre és hirtelen lépcső nélküli küszöbre. Ezek nélkül a bónusz a számot fizeti meg, nem az eredményt, és a különbség általában csak néhány hónap után látszik.

Hogyan lehet felismerni, hogy egy mutatót manipulálnak?

Nézze meg az eloszlást és a ritmust: sok eredmény közvetlenül a küszöb fölött és kevés közvetlenül alatta, ugrások a hónap utolsó napjaiban, a mutató nő, miközben a valódi eredmény stagnál. Ezután vesse össze egy olyan mutatóval, amelyet a személy nem befolyásol, például a visszaküldésekkel, a panaszokkal vagy ugyanazon ügyfelek ismételt hívásaival.

Mi az ellensúlyozó mutató?

Az ellensúlyozó mutató egy mennyiségi mutató mellé tett minőségi mutató, amelyet úgy választanak ki, hogy csökkenjen, ha a mennyiséget rossz módon érnék el. Az eladások mellé a visszaküldési arány, a lezárt jegyek mellé az újranyitott jegyek, a hívásidő mellé az első kapcsolatfelvételkori megoldás. Csak akkor működik, ha elég súlya van ahhoz, hogy megváltoztassa a pontszám végső szintjét.

Igaz történet a kobrahatás?

A gyarmati Delhi kobráiról szóló anekdotát nem erősítik meg biztos dokumentumok, és a hitelessége vitatott. A francia gyarmati levéltárakban dokumentált eset a hanoi patkányfarkaké 1902-ben: a farkanként fizetett jutalom oda vezetett, hogy a patkányokat életben hagyták, sőt tenyészteni kezdték őket. Az elv akkor is érvényes, ha az eredeti anekdota nem igaz.

Használható csapatmutató az egyéni játszmák elkerülésére?

A csapatmutató csökkenti a belső versengést és a személyes számra nehezedő nyomást, de nem szünteti meg a játszmákat: az egész csapat áthelyezheti az eladásokat a hónapok között. Ráadásul egy nagy súlyú csapatmutató keveset mond a személyről. Használja kis súllyal, az ellensúlyozó mutatókkal kiegyensúlyozott egyéni mutatók mellett.

Milyen gyakran kell felülvizsgálni egy téttel járó KPI-t?

Az indulás után három hónappal tekintse át az eredmények eloszlását, utána legalább évente egyszer. Azonnal vizsgálja felül, ha éppen azon a területen jelennek meg új panaszok, amelyet a mutató nem mér. A módosítás a következő időszakokra lép hatályba, és előre, egy számítási példával kell bejelenteni.

A következő lépések

Vegye elő egyetlen munkakör értékelőlapját, és vigyen végig minden mutatót az ötkérdéses teszten. Ahol talál egy utat, amelyen a szám eredmény nélkül nőhet, tegye mellé az ellensúlyozó mutatót vagy az ellenőrzést, és szimulálja a hatását az elmúlt hónapokon.

Hasznos volt ez a cikk?

Nézze meg, hogyan működik a Pulsika az Ön csapatában

Próbálja ki ingyen az összes modult, vagy kérjen bemutatót csapatunktól. Bankkártya nem szükséges.

vagy létrehozunk Önnek egy próbacéget a saját szervezeti felépítésével