Monitorozás

A monitorozás általában valamely rendszer, helyzet vagy tevékenység, vagy annak egy elemére irányuló megfigyelést és mérést jelent. A monitorozás folyamatos vagy rendszeres tevékenység, amelynek eredményeként egy rendszernek vagy egy elemének aktuális állapotáról vagy változásáról kaphatunk információt. A célértékektől való mért eltérés esetén tervezhető további intézkedés.  

Egészségmonitorozás

Az egészségmonitorozás a lakosság egészségi állapotára és annak meghatározó tényezőire irányuló folyamatos és rendszeres adatgyűjtés, elemzés és információszolgáltatás. Az így szerzett adatok döntő jelentőségűek az egészségügyi szolgáltatások értékelésében, tervezésben, valamint az egészségpolitikai döntések megalapozásában. A rendszeresen gyűjtött adatok alapján képet kaphatunk a lakosság egészségi állapotáról, meghatározhatók a népegészségügyi prioritások és megítélhetők a prioritások nyomán indított programok. Az adatok ezen felül előmozdítják a lakosság egészségének javításához nélkülözhetetlen kutatások indítását is.

Az országos egészségmonitorozási tevékenységből származó adatok összegyűjtésében és feldolgozásában a Népegészségügyi Elemzési Központ által létrehozott és üzemeltetett Információs Rendszer (NEKIR) a magyar lakosság egészségi állapotáról, az azt befolyásoló tényezőkről nyújt alapvető információkat a helyi egészségpolitikusok, népegészségügyi/egészségfejlesztési szakemberek, így az EFI-k számára.

A monitorozás és az értékelés szorosan összefüggő folyamatok, az értékelés nagymértékben épít a monitorozás eredményeire, az ott gyűjtött adatokra. Ezért célszerű a monitorozás és értékelés folyamatait együtt tervezni. 

Értékelés

Az értékelés egy folyamat, amelynek során az eredményeinket értékeljük a kitűzött célokhoz képest. Meghatározhatjuk az értékelt projekt, program, beavatkozás megfelelőségét, eredményeit, rövid és hosszabb távú hatásait, valamint hatékonyságát. Az értékelés olyan kontextuális faktorok vizsgálatára is irányul, amelyek egy-egy program vagy beavatkozás sikerességét befolyásolhatják.

Komplex programok értékelésekor célszerű átgondolni, hogy a többféle beavatkozást tartalmazó programoknak többféle kimenete, eredménye lehet a részcélok mentén, amelyek együttesen visznek közelebb az átfogó célok eléréséhez. Az idő függvényében, valamint a megcélzott egészség és/vagy társadalmi problémától függően a változás különböző szintjeit tapasztalhatjuk a program eredményeként és hosszabb távú hatásaként. 

Az értékelés több célból végezhető:

• elszámoljunk a partnerek és/vagy finanszírozók/támogató felé;
• felmérjük, hogy adott beavatkozás az elvárásoknak megfelelően zajlott-e le;
• megállapítsuk, egy program elérte-e a kitűzött célokat (ha igen, miért?/ha nem, miért nem?);
• megállapítsuk, a beavatkozás hatásos/hatékony volt-e;
• a beavatkozás fejlesztése, tervezése érdekében;
• további finanszírozás biztosításához;
• az egészségfejlesztés területén a meglévő evidenciák gazdagítása érdekében.

Attól függően, hogy mire irányul, illetve mi a célja az értékelésnek, többféle értékelési típust különböztetünk meg.

Értékelés típusai

A leggyakoribb értékelési típusok az egészségfejlesztésben a folyamatértékelés, az eredmény, hatásértékelés.

Folyamatértékelés

A folyamatértékelés során az alábbiakat vizsgálhatjuk:

• hogyan zajlott az egészségfejlesztési beavatkozás végrehajtása;
• milyen volt a beavatkozások minősége, megfelelősége;
• végrehajtás közben bevont/elért szereplők;
• a megvalósító szervezet kapacitásaira is: pl. mennyiben képes hatékonyan egészségfejlesztési programokat végrehajtani;
• (pl.: kulcsszereplők vagy a közösség tagjai, akik érintettek a beavatkozás hatásában), stb.

A folyamatértékeléshez kiválasztott indikátorok nem a programok eredményességét, hanem a terveknek és a célcsoportnak való megfelelést jelzik. A folyamatértékelés eredménye nem jelent garanciát a vizsgált program eredményességére vonatkozóan. A folyamatértékelés azonban fontos információkat ad a beavatkozások eredményességének értelmezéséhez, ezáltal hozzájárul a beavatkozás jövőbeni fejlesztéséhez is. 

Lehetséges kérdések egy folyamatértékelés során:

• Megfelelőek-e az EFI kapacitásai (milyenek ezek) és a megvalósításban részt vevő további partnerek kapacitásai a megvalósítás során?
• A beavatkozás eléri/elérte a tervezett módon a célcsoportokat és az érdekcsoportokat? Ha nem, miért nem?
• A beavatkozás minden része elérte a cél vagy érdekcsoportok minden csoportját?
• A résztvevők elégedettek-e a beavatkozással?
• A beavatkozás összes tervezett tevékenységét végrehajtották-e? Ha nem, mely tevékenységeket hagyták ki és mi volt ennek az oka?
• Milyen tényezők hátráltatták vagy segítették elő a beavatkozás megvalósítását?
• A beavatkozás kommunikációs anyagai és üzenetei (pl.: tájékoztató stb.) megfelelő volt-e az adott célcsoportnak?

Eredményértékelés

Az eredményértékelés egy beavatkozásnak a közvetlen, direkt hatásait méri. Azt mutatja, hogy milyen változást idézett elő a beavatkozás a célcsoport, az egyéb résztvevő szereplők, vagy a szélesebb környezet tekintetében. Ezért az eredményértékelés a hosszabb távú hatásokat megalapozó, rövidebb időhorizonton megvalósuló egyéni, közösségi vagy környezeti eredményekre fókuszál. Azaz egészségfejlesztési program specifikus célkitűzéseinek elérését vizsgálja.

Néhány példa kérdés, amelyre az eredményértékelés választ adhat:

• A gyerekkori testsúlymenedzsmentről célzott képzésen részt vevő védőnők hatékonyabban tudnak-e az elhízott gyerekeknek és családtagjainak tanácsot és támogatást adni azokhoz a védőnőkhöz képest, akik nem vettek részt ilyen képzésen?
• Egy példa EFI-vel együttműködő civil szervezetek által rendezett közösségi tini-klubok eredményeként – ahol pl.: szexuális egészséggel kapcsolatos csoportos tanácsadást tartottak fiataloknak – változott-e a fiatalok tudása, attitűdje? Változott-e a szexuális viselkedési gyakorlatuk?
• Voltak-e a programnak váratlan, esetleg negatív hatásai a célpopulációban?
• A beavatkozás eredményei indokolják-e a program további pénzügyi támogatását?

Összetett programok esetében nagyobb mérföldkövekhez, egy-egy nagyobb végrehajtási szakaszhoz igazítva célszerű tervezni eredményértékelést.  

Hatásértékelés

A komplex egészségfejlesztési beavatkozásoknak számos hatása lehet a célcsoporthoz tartozó egyének, a társadalmi és a fizikális környezet szintjén. Az elvárt hatások közösségi (populációs) szinten időben eltolva jelentkezhetnek; lesznek rövidtávon is érzékelhető hatások, illetve időben később mérhető hatások. A hatásértékelés során mért változások túlmutatnak a komplex beavatkozás közvetlen eredményein, ezáltal a beavatkozás által megfogalmazott átfogó célhoz kapcsolódnak.

A hatásértékelésnek végezhető a beavatkozás előtt egy tervezett beavatkozás, program jövőbeni lehetséges következményeinek felmérésére (ex-ante értékelés). A hatásvizsgálat történhet egy már megvalósult beavatkozás, program után, ekkor a megvalósított beavatkozás után annak hatásait méri. Egészségfejlesztés terén fontos a jól működő egészséginformációs rendszer megléte, ahol az egészségmonitorozás képes a szükséges egészségi állapot adatokat szolgáltatni a hatások mérésére a kívánt szinteken (országos, járási, stb.) és bontásban (pl.: nem, kor, társadalmi-gazdasági helyzet). 

A hatásértékelésnél alapvetően fontos a célrendszerek és értékelések harmonizált tervezése, a változási folyamatok ismerete. 

1.       táblázat: Tervezés és értékelés kapcsolódása

Átfogó cél	Hatásértékelés
Specifikus vagy részcélok	eredményértékelés
A beavatkozás megfelelősége, a megvalósítást támogató folyamatok és tevékenységek megfelelősége	folyamatértékelés

(Forrás: EFOP-1.8.0-VEKOP-17-2017-00001” azonosító számú projekt)

Egy beavatkozás értékelését is szükséges tervezni! Az értékelést már a komplex szolgáltatáscsomagok tervezésekor ajánlott átgondolni. Az értékelés tervezésekor értékelési tervet készül, ebben az alábbiakat célszerű meghatározni:
Az értékelés tervezése

• a célokat és az elérésükhöz tervezett beavatkozás összefüggései,
• az értékelés típusa,
• értékelési kérdések
• ezekhez illesztett értékelési módszertan, benne az értékelés gyakorisága, az értékelés adatgyűjtési eseményei, indikátorai
• értékelő személye (külső vagy belső értékelő), szerepe, feladatai

Különböző programértékelési módszertanok léteznek, ám az értékelést úgy kell megtervezni, hogy képes legyen a kiválasztott értékelési kérdésekre választ adni. Gyakori, hogy komplex beavatkozások értékelésekor ún. kevert módszertant alkalmaznak az értékelés során (pl.: dokumentumok áttekintése, kérdőíves felmérés, interjúk, fókuszcsoportok, média megjelenések vizsgálata stb.).

Az értékelési tervben célszerű, ha az alábbi négy elem összhangban van:  

• programcélok,
• az értékelés célja,
• értékelési kérdések,
• az értékeléshez rendelkezésre álló humán kapacitás és anyagi források.

Az értékelés tervezésekor a program beavatkozásainak és céljainak megfelelően az indikátorok kiválasztásakor fontos, hogy logikailag koherens és követhető gondolati lánc jöjjön létre az inputoktól a hatásokig. A folyamatmonitorozás mellett az eredményeket és a hatásokat is mérni kell, oly módon, hogy látható legyen, hogy az adott beavatkozás az adott eredményhez vezetett.

Az indikátorok kiválasztása

Az indikátorok mentén mérjük a tervezett beavatkozási lépések megvalósulását (bemeneti, folyamat és kibocsátási indikátorok), valamint a program eredményeit és hatásait (eredmény- és hatásindikátorok).

A szakirodalom általában az alábbi indikátortípusokkal találkozhatunk:

• Bemeneti indikátorok: ezek azokat a kapacitásokat jelzik, amelyek szükségesek a tervezett beavatkozás megvalósításához. Pl.: szükséges szakpolitikák, munkaerő ráfordítás, eszközök, költségek fedezete, partnerségek stb.
• Folyamatindikátorok: a projekt aktivitásait jelentik.
• A kibocsátási indikátorok: általában a kibocsátást mérik, amik a beavatkozási cselekvés teljesítménye, maguk az aktivitások.
• Az eredményindikátorok: a program által generált közvetlen és direkt változásokat mérik.
• A hatásindikátorok: a beavatkozás által generált további, közvetett hatásokat mérik. A hosszú távon ható következmények hatásait mérő mutatók, melyek túlmutatnak a direkt hatásokon és a közvetlen érintetten kívül mások helyzetét is befolyásolhatják.

                Az értékelés során az indikátorok adatforrásai lehetnek különböző szervezetek, intézmények által szolgáltatott adatok, vagy az értékelés miatt tervezett elsődleges információgyűjtés.

Gyakori, hogy a célok meghatározásához használt SMART követelményeket használják az indikátorok kiválasztási szempontjainál is.

Példa a gyerekkori elhízás ellátás javítását célzó beavatkozás változásfolyamatára és a lehetséges indikátorokra.

1. ábra: indikátorok típusai

 (Forrás: EFOP-1.8.0-VEKOP-17-2017-00001” azonosító számú projekt)

Tippek a komplex szolgáltatáscsomagok értékeléséhez:

• Az értékelésbe is célszerű bevonni a program szereplőit: a célcsoportot, megvalósítókat, további fontos érintett szereplőket.
• Az értékelés során többféle módszertant és adatgyűjtési módot érdemes alkalmazni.
• Az értékelésnek is van finanszírozás igénye. A program költségvetésének minimum 10%-át az értékelésre érdemes fordítani.
• Az egészségfejlesztési szolgáltatáscsomagok értékelése során vegyesen, egymással összefüggésben érdemes mérni a folyamatokat, az eredményeket és a hatást.
• Az EFI-nek érdemes képezni munkatársait az értékelés terén is.
• Az EFI tevékenységeinek, programjainak bemutatása során célszerű az értékelések eredményeit és módszertanát kommunikálni (például konferenciákon, workshopokon, megbeszéléseken, a honlapon).

Az értékelési folyamat végén az alábbi kérdésekre is választ tudunk adni:

• A program elérte-e az átfogó célját?
• Meg tudjuk érteni és határozni azokat a fontos feltételeket, amelyek a komplex egészségfejlesztési szolgáltatáscsomagok/szolgáltatások sikeres megvalósításához szükségesek?
• Meg tudjuk határozni, hogy ezek a feltételek reprodukálhatók-e más környezetben?

Példa egy, a képzések (pl.: ismeretterjesztő előadás) során használható értékelési megközelítésre. Ez a példa a Kirkpatrick–Phillips modellt alkalmazza az egészségfejlesztés területén a képzésekkel, előadásokkal, készségfejlesztő foglalkozásokkal kapcsolatos tanulási folyamatok értékelésére.

2. Ábra A Kirkpatrick–Phillips modell a tanulási folyamatok értékelésére

(Forrás: EFOP-1.8.0-VEKOP-17-2017-00001” azonosító számú projekt)

A Kirkpatrick-Phillips modell alkalmazásával könnyen értékelhetők az olyan egészségfejlesztési szolgáltatások, amelyek tanulási folyamat-alapúak, tehát valamilyen képzést, előadást foglalnak magukba. Látható, hogy ez a modell a képzésen részt vevők számát nem tekinti eredményindikátornak, mert önmagában a részvétel nem a tanulási folyamat része, ezáltal nem használható az eredményesség megítélésére. Itt is, mint az előző ábrán, kibocsátási indikátornak tekinthető.