Egy AI-bevezetést nem az mutat sikeresnek, hogy a rendszer működik. Az számít, hogy a kiválasztott folyamatban mérhetően csökken-e az idő, a költség vagy a hibaarány, a munkatársak ténylegesen használják-e, és közben kézben tartja-e a kockázatokat. Ehhez a bevezetés előtt kell rögzíteni a kiinduló állapotot, öt területen kell mutatókat választani (üzleti hatás, folyamat, technikai minőség, elfogadás, kockázat és megfelelés), és szakaszonként más-más kérdést kell feltenni. Az alábbiakban végigvesszük, hogyan épül fel egy ilyen mérési rendszer egy hazai kis- vagy középvállalatnál, egy kiszámolt példával együtt.

Stratify
Mérje az AI üzleti értékét
A Stratify az üzleti célokból indul ki, és segít olyan AI-megoldásokat kiválasztani, amelyek valós problémákra adnak mérhető választ.

Ismerje meg a Stratifyt

Röviden

  • Alapvonal nélkül nincs megtérülés. Az AI előtti átfutási időt, költséget és hibaarányt még az első pilot előtt rögzíteni kell.
  • A technikai pontosság még nem üzleti eredmény. A modell minősége mellett mérje az átfutási időt, a megspórolt munkaórát és azt, mennyi emberi ellenőrzés kell.
  • Az elfogadás is KPI. Ha a munkatársak nem használják a megoldást, a többi szám semmit nem ér.
  • 2026 augusztusa óta a megfelelés is mérendő terület. Az EU AI Act szabályainak többsége alkalmazandó, ezért a dokumentáció, az emberi felügyelet és a naplózás is a mutatók közé tartozik.
  • Szakaszonként más a kérdés. A felmérésnél a potenciált, a pilotnál a bizonyítékot, éles üzemben a tartós hatást és a stabilitást méri.

Tartalomjegyzék

Miért csúszik el az AI-projektek mérése?

A legtöbb cégnél nem az a gond, hogy nincs adat, hanem hogy rossz kérdésre válaszol. A fejlesztőcsapat pontosságot, válaszidőt és rendelkezésre állást riportol, a vezetés pedig azt szeretné tudni, megérte-e. A kettő között nincs híd, így a projekt a pilot után gyakran megreked: senki nem tudja megmondani, mennyit hozott.

A másik gyakori hiba, hogy a mérést a bevezetés végére hagyják. Ilyenkor már nincs mihez hasonlítani, mert a régi folyamatot senki nem mérte. A harmadik az eszközközpontú gondolkodás: ha a kiindulópont az, hogy „vezessünk be egy chatbotot”, akkor a siker mércéje is a chatbot lesz, nem az ügyfélszolgálat terhelése vagy a megoldási idő.

A hazai helyzet ezt különösen fontossá teszi. Az Európai Bizottság adatai szerint 2024-ben a magyar vállalkozások 7,41%-a használt AI-t, ami egy év alatt 101,4%-os növekedés, de még mindig jóval az uniós 13,48%-os átlag alatt van. A KSH 2025-ös digitális gazdasági helyzetképe alapján az AI a hazai vállalati gyakorlatban még inkább kivétel, mint szabály. A nagyobb cégeknél gyorsabb a felzárkózás: a K&H felmérése szerint a legalább 300 millió forint árbevételű cégek 58%-a már alkalmaz valamilyen AI-megoldást. Aki most indul, annak az a fő kérdése, hogy melyik kísérletből lesz valódi működési előny. Erre csak a mérés ad választ.

Magyar és uniós vállalati AI-használati arányok

Az alapvonal: amit a bevezetés előtt rögzíteni kell

Az alapvonal (baseline) a folyamat jelenlegi teljesítménye, AI nélkül. Ha ez nincs meg, a pilot végén csak benyomások maradnak („gyorsabbnak tűnik”). Az alapvonalhoz általában két-négy hét valós adat elég, ha a mintavétel reprezentatív.

Mit érdemes rögzíteni?

  1. Volumen: hány tétel fut át a folyamaton havonta (ajánlat, számla, ügyfélkérés, szerződés).
  2. Átfutási idő: egy tétel feldolgozása a beérkezéstől a lezárásig, és ebből mennyi az aktív munkaidő.
  3. Költség tételenként: az aktív munkaidő szorozva a teljes bérköltséggel, plusz a külső költségek.
  4. Hibaarány és újramunka: hány tételt kell javítani, visszaküldeni, újra feldolgozni.
  5. Szolgáltatási szint: határidőn belül lezárt tételek aránya, ügyfél-elégedettség, ha van mérve.
  6. Kivételek aránya: a tételek mekkora része nem illik a szokásos mintába. Ez mutatja meg előre, hol lesz szükség emberi döntésre.

Az alapvonal felvételekor a mérés módját is rögzítse: melyik rendszerből, milyen szűréssel, ki számolja. Így a pilot után ugyanazzal a módszerrel mérhet, és a különbség valóban az AI-nak lesz tulajdonítható, nem a számolási módszer változásának.

Az öt mutatócsoport

A NIST AI kockázatkezelési keretrendszere azt javasolja, hogy az AI-rendszerek mérése a teljes életciklus során terjedjen ki mennyiségi mutatókra (például pontosság, megbízhatóság) és minőségi értékelésekre (például méltányosság, adatvédelem) is. Ezt a gondolatot üzleti nyelvre fordítva öt mutatócsoportot javaslunk. Nem kell mindegyikből tíz mutató: csoportonként egy-három jól választott szám elég.

Mutatócsoport Kérdés, amire válaszol Példa KPI-k Jellemző mérési gyakoriság
Üzleti hatás Megéri-e? Megtakarított munkaóra, költség tételenként, árbevétel-hatás, megtérülési idő Havonta, negyedévente
Folyamat Gyorsabb és jobb lett-e a munka? Átfutási idő, első körös lezárási arány, újramunka aránya Hetente, havonta
Technikai minőség Jól dolgozik-e a rendszer? Pontosság a tesztmintán, téves válaszok aránya, válaszidő, rendelkezésre állás Folyamatosan, automatikusan
Elfogadás és kompetencia Használják-e az emberek? Aktív felhasználók aránya, AI-val kezelt tételek aránya, felülbírálási arány, képzésen részt vettek aránya Hetente a bevezetéskor, később havonta
Kockázat és megfelelés Kézben van-e a kontroll? Naplózott döntések aránya, emberi felülvizsgálat aránya, incidensek száma, dokumentáció teljessége Havonta, auditkor

Üzleti hatás

Ez a vezetés nyelve. A legegyszerűbb, mégis meggyőző mutató a tételenkénti költség változása, szorozva a volumennel. Az árbevétel-oldali hatás (gyorsabb ajánlatadás miatt több nyert üzlet) nehezebben mérhető, mert sok tényező befolyásolja, ezért ott érdemes kontrollcsoporttal vagy időszaki összevetéssel dolgozni, és óvatosan fogalmazni.

Folyamat

Az átfutási idő és az újramunka aránya gyakran előbb mozdul, mint a pénzügyi mutatók. Ezek jelzik korán, hogy a pilot jó irányba megy-e.

Technikai minőség

A pontosság fontos, de mindig az üzleti küszöbhöz viszonyítva. Egy dokumentumfeldolgozó rendszernél a 95%-os mezőszintű pontosság lehet kiváló vagy elfogadhatatlan, attól függően, mibe kerül egy hiba. Ezért a küszöböt az üzleti oldal határozza meg, nem a fejlesztő.

Elfogadás és kompetencia

Az Európai Bizottság magyar országjelentése szerint a fejlett technológiák, különösen az AI használata főleg a KKV-knál marad el, a digitális készségek hiánya miatt. Ebből egyenesen következik, hogy a belső továbbképzés és a tényleges használat aránya nem puha mutató, hanem a megtérülés feltétele. A felülbírálási arány (hány AI-javaslatot ír felül a munkatárs) kettős jelzés: ha túl magas, a rendszer nem elég jó; ha nulla, lehet, hogy senki nem ellenőriz. A HR-oldali bevezetésről és a munkatársak bevonásáról jó kiegészítő olvasmány ez a gyakorlati útmutató az AI HR-es alkalmazásáról.

Kockázat és megfelelés

A NIST mérési útmutatója külön hangsúlyozza, hogy kellenek visszajelzési csatornák, amelyeken a felhasználók és az érintettek jelezhetik a problémákat. A beérkezett jelzések száma és a lezárásuk ideje egyszerű, mégis sokat mondó mutató, amelyet a cégek gyakran kihagynak, mert csak a belső rendszernaplókat figyelik.

Egy kidolgozott példa: ajánlatadás egy nagykereskedésben

Az alábbi példa kitalált, de a számok egy tipikus hazai középvállalat nagyságrendjét tükrözik. A cél az, hogy lássa, hogyan áll össze a mutatókból egy döntésre alkalmas kép.

Kiinduló helyzet (alapvonal): egy építőanyag-nagykereskedés havonta 600 egyedi ajánlatot készít. Egy ajánlat összeállítása átlagosan 25 perc aktív munka, a hibás vagy hiányos ajánlatok aránya 9%. A teljes óraköltség 6 000 Ft.

A pilot célja: egy AI-asszisztens a beérkező e-mailből és a termékkatalógusból ajánlattervezetet készít, amelyet az értékesítő ellenőriz és küld ki. Az ellenőrzéssel együtt a célidő ajánlatonként 8 perc.

A pilot nyolcadik hetének eredményei:

Mutató Alapvonal Pilot Változás
Aktív idő ajánlatonként 25 perc 8 perc −17 perc
AI-val készült ajánlatok aránya 0% 70% +70 pont
Hibás ajánlatok aránya 9% 6% −3 pont
Emberi felülvizsgálat aránya nem releváns 100% kötelező
Felülbírált tételsorok aránya nem releváns 14% figyelendő

A számítás: 600 ajánlat 70%-a, azaz 420 ajánlat készül AI-val. Ajánlatonként 17 perc megtakarítás havonta 7 140 perc, vagyis 119 munkaóra. 6 000 Ft-os óraköltséggel ez havi 714 000 Ft felszabadított kapacitás. Ebből kell levonni a rendszer üzemeltetési költségét, és ebből számolható a megtérülési idő a fejlesztési ráfordításhoz képest.

Amit a számok mögött látni kell: a 70%-os használati arány azt jelzi, hogy az értékesítők harmada még a régi módon dolgozik. Ha a teljes 600 ajánlatra kiterjed a használat, a megtakarítás a fenti érték közel másfélszerese lehet. A 14%-os felülbírálási arány pedig megmutatja, melyik termékcsoportnál hiányos a katalógusadat. Ez nem AI-hiba, hanem adatminőségi feladat. Hasonló, iparági logikát mutatunk be a nagykereskedelmi ajánlatadásról szóló írásunkban.

Mit mérjen az egyes szakaszokban?

A mérési rendszer a projekttel együtt fejlődik. Minden szakasznak más a kérdése.

  1. Lehetőségfelmérés. Itt még becslés folyik: a folyamat volumene, a megtakarítható idő, az adat elérhetősége és a kockázati besorolás alapján rangsorolja az ötleteket. A kimenet egy priorizált lista, előzetes sikerkritériumokkal.
  2. Pilot. A kérdés: igazolható-e a hatás valós adatokon, ellenőrzött körben? Rögzítse előre a továbblépés feltételeit, például „ha az átfutási idő legalább 40%-kal csökken, és a hibaarány nem nő, megyünk tovább”. A pilotprojekt felépítéséről szóló útmutatónkban részletesen leírjuk, hogyan érdemes ezt megfogalmazni.
  3. Éles bevezetés és integráció. A kérdés: megmarad-e a hatás, ha a megoldás a teljes csapatnál, a vállalatirányítási rendszerhez kötve fut? Itt kerül előtérbe a használati arány, a rendelkezésre állás és az incidensek száma.
  4. Skálázás és folyamatos működtetés. A kérdés: stabil-e a teljesítmény, és hova érdemes kiterjeszteni? Ekkor a havi vezetői riportban már az üzleti hatás és a kockázati mutatók dominálnak, a technikai mutatók pedig automatikus riasztásként futnak a háttérben.

Fontos, hogy a továbblépési feltételeket a szakasz elején, írásban rögzítse. Ha a pilot után kezdik el keresni, mi számít sikernek, a döntés könnyen a lelkesedésen vagy a csalódáson múlik, nem a számokon.

Kontrollhatárok és a teljesítmény elcsúszása

Az AI-rendszerek teljesítménye idővel változhat: más típusú kérések érkeznek, változik a termékkör, frissül a mögöttes modell. A NIST telepített AI-rendszerek monitorozásáról szóló anyaga szerint a bevezetés utáni monitorozásra még nincsenek kiforrott, validált módszertanok és egységes fogalmak, ezért a cégnek magának kell kijelölnie, mit figyel.

A gyakorlatban ez üzleti kontrollhatárokat jelent. Például: ha a felülbírálási arány két egymást követő héten 20% fölé megy, vagy a téves válaszok aránya átlépi a megállapított küszöböt, az nem csak az IT-nak szól, hanem emberi felülvizsgálatot indít. Ilyenkor azt kell eldönteni, hogy az ügyfelek igényei változtak-e, vagy a rendszer romlott. A küszöböket az éles indulás előtt kell dokumentálni, mert csak így választható szét a várható ingadozás a valódi hibától.

Ez a fajta kontroll akkor működik jól, ha az üzleti és technikai mutatók egy helyen látszanak. Erre szolgál egy KPI-analitikát és vezetői dashboardot adó AI döntéstámogatási megoldás, ahol a vezető nemcsak azt látja, hogy fut-e a rendszer, hanem azt is, hogy mennyit spórol.

A megfelelés mint mérendő terület az AI Act alatt

Az uniós AI-rendelet (EU) 2024/1689 fokozatosan lép alkalmazásba: az Európai Bizottság idővonala szerint a szabályok többsége 2026. augusztus 2-től alkalmazandó, a teljes bevezetés 2028. augusztus 2-ig zárul. A rendelet célja az EUR-Lex összefoglalója szerint a biztonságos és megbízható AI-rendszerek fejlesztésének és elterjedésének ösztönzése az uniós egységes piacon. Az uniós egyszerűsítési csomag miatt egyes határidők módosulhatnak, ezért a konkrét kötelezettségeit mindig a hivatalos idővonalon és jogi szakemberrel egyeztesse.

Mérési szempontból ez három dolgot jelent:

  • Kockázati besorolás nyilvántartása: minden használt AI-rendszerről tudja, melyik kategóriába esik, és ki a felelőse.
  • Bizonyítékgyűjtés a pilottól kezdve: adatforrások dokumentálása, döntések naplózása, emberi felülvizsgálat. Ha ezek már a pilotban megvannak, a későbbi megfelelőségi munka nagy része kész.
  • Megfelelési költség projektenként: érdemes külön sorban követni, mennyi időt és pénzt visz el a dokumentáció és a kontroll, mert ez a megtérülési számítás része.

A rendelet 62. cikke a KKV-k számára külön támogatást ír elő, többek között elsőbbségi hozzáférést a szabályozói tesztkörnyezetekhez, valamint a méretükhöz igazított díjakat a megfelelőségértékelésnél. A hazai teendőkről az AI Act magyar cégekre gyakorolt hatásáról szóló cikkünk és az AI governance szabályozási kérdéseit összefoglaló írásunk ad részletesebb képet.

Hogyan látjuk mi

A munkánk során azt látjuk, hogy a mérés a legtöbb esetben nem a projekt végén, hanem az első megbeszélésen dől el. Ha a beszélgetés egy eszközzel indul, a mutatók is az eszközről fognak szólni. Ezért mi mindig az üzleti célból és a működési problémából indulunk ki: melyik folyamat fáj, mennyibe kerül most, és milyen változás érné meg a befektetést.

A második tanulságunk, hogy a governance-t nem lehet utólag ráhúzni egy kész megoldásra. A naplózást, az emberi felügyeletet, az auditálhatóságot és a jogosultságkezelést a pilot első napjától a megoldás részének tekintjük, és ezekhez is mutatót rendelünk. Így a kontroll nem fék, hanem az, ami lehetővé teszi a skálázást.

A harmadik: inkább kevesebb, de vállalható mutató. Egy jól megválasztott üzleti KPI, egy folyamatmutató, egy használati arány és egy kockázati mutató többet ér egy ötvensoros dashboardnál, amelyet senki nem néz. Fokozatos bevezetésben hiszünk, ahol minden lépés után a számok döntenek a következőről.

— Zsolt

A mérési keret első lépése

Ha szeretné, hogy a mutatók már az első naptól az üzleti célokhoz kötődjenek, az AI Discovery Workshop erre szolgál: egyszeri, 390 000 Ft-os díjért közösen azonosítjuk és priorizáljuk az AI-lehetőségeket, és meghatározzuk az előzetes sikerkritériumokat. A folytatásban a kontrollált AI-bevezetés keretében lehetőségfelméréssel és pilottal visszük végig a mérhető eredményig.

Gyakori kérdések

Hány KPI-t érdemes egy AI-projektnél követni?

A legtöbb pilothoz négy-hat mutató elég: egy-két üzleti hatás, egy folyamatmutató, egy technikai minőségi mutató, egy használati arány és egy kockázati mutató. Ennél több mutató szétszórja a figyelmet, és nehezíti a döntést. Éles üzemben a technikai mutatók bővülhetnek, de automatikus riasztásként, nem a vezetői riportban.

Mennyi idő után mérhető az AI bevezetésének hatása?

A folyamatmutatók, például az átfutási idő, általában már a pilot első heteiben elmozdulnak. A pénzügyi hatás megbízható méréséhez legalább egy-két hónapnyi stabil használat kell, mert az első hetekben a betanulás torzítja a számokat. A megtérülési időt ezért a pilot végén, az éles volumenre vetítve érdemes kiszámolni.

Mi a teendő, ha nincs adat a kiinduló állapotról?

Akkor a pilot előtt két-négy hétig mérje a folyamatot kézzel vagy a meglévő rendszerekből. Egy egyszerű táblázat is elég, ha rögzíti a tételek számát, az aktív időt és a hibákat. Az alapvonal nélkül indított pilot eredménye csak becslés marad.

A ChatGPT-hez hasonló általános eszközök használatát is mérni kell?

Igen, ha munkafolyamatban használják. Ilyenkor is érdemes követni, ki, mire és milyen adatokkal használja, mennyi időt takarít meg, és van-e emberi ellenőrzés a kimeneten. Ez az AI Act szerinti átláthatósági és adatvédelmi kötelezettségek miatt is fontos, a konkrét teendőkről érdemes jogi szakemberrel egyeztetni.

Források

Ajánlott

Tags: