Pierwszy artykuł przedstawiał monitoring jako proces systematycznego zbierania danych, podkreślając znaczenie jego przemyślanej i regularnej realizacji na każdym etapie projektu. Monitoring to jednak coś więcej niż samo gromadzenie informacji — stanowi istotny element uczenia się organizacji.
W niniejszym artykule pokazujemy, jak zaprojektować monitoring w sposób uporządkowany, aby umożliwiał rzetelną analizę danych jakościowych. Takie podejście pozwala nie tylko lepiej zrozumieć przebieg działań, lecz także wprowadzać trafne modyfikacje — zarówno w realizacji projektu, jak i w funkcjonowaniu całej organizacji. Systematycznie i na bieżąco gromadzone dane w ramach monitoringu mogą być również skutecznie wykorzystywane w procesie ewaluacji — zarówno wewnętrznej, jak i zewnętrznej.
Zasada 1: Stwórz narzędzia monitoringu umożliwiające porównywanie
Pamiętaj, aby zaplanować narzędzia monitorowania postępów już na początku projektu. Odkładanie tego na moment tuż przed terminem raportowania nie tylko zwiększa stres, ale też niesie ryzyko, że części danych nie da się już pozyskać.
Warto zadbać o to, by narzędzia pomiarowe miały spójną strukturę i zawierały podobne elementy — dzięki temu łatwiej uchwycić zmiany zachodzące w czasie. W praktyce często wystarczą 2–3 trafnie sformułowane pytania otwarte, na przykład:
Dla beneficjentów: co było najbardziej przydatne? co było trudne lub niezrozumiałe?
Dla obserwatorów procesu: co było najbardziej wartościowe? co nie zadziałało?
Nadaj narzędziom monitoringu taką strukturę, aby uzyskane wyniki były porównywalne — zarówno w czasie, jak i między osobami, które z nich korzystają. Jeśli na przykład „stop-klatki” przygotowuje wiele osób w różnych momentach (np. trenerzy, mentorzy czy case workerzy pracujący z różnymi grupami), warto wprowadzić elementy standaryzacji. Można np. poprosić o wybór trzech przymiotników z listy, które najlepiej opisują pracę danej grupy. Ułatwi to zestawianie i analizę zebranych danych.
Jednocześnie dobrze jest pozostawić przestrzeń na bardziej zindywidualizowane obserwacje — mogą one stanowić uzupełnienie ustrukturyzowanych pytań.
Czym są „pulse checki” i jak stosować je w praktyce?
„Pulse check” to krótka, cykliczna forma zbierania informacji o bieżących doświadczeniach uczestników lub obserwatorów projektu. Zamiast rozbudowanych ankiet opiera się na jednym lub dwóch prostych pytaniach zadawanych w regularnych odstępach czasu. Można go traktować jako szybkie „sprawdzenie pulsu” projektu — sygnał pokazujący, czy działania zmierzają we właściwym kierunku.
Przykład zastosowania: w półrocznym projekcie integracyjnym dla młodzieży co miesiąc zadawano pytanie: „Na ile czujesz się komfortowo w grupie?” (skala + opcjonalny komentarz). Po kilku pomiarach zespół zauważył spadek liczby pozytywnych odpowiedzi i odkrył, że w grupie pojawiły się animozje, o których prowadzący wcześniej nie wiedzieli. Dzięki temu możliwe było szybkie wprowadzenie nowych elementów i modyfikacja metod pracy.
Zasada 2: Analizuj prosto
Analiza danych jakościowych często budzi opór — bywa postrzegana jako czasochłonne przeglądanie długich wypowiedzi, żmudne kodowanie, konieczność korzystania ze specjalistycznego oprogramowania i trudność w wyciąganiu wniosków z pojedynczych historii. Tymczasem już na etapie rekrutacji zależy nam na otwartości: zachęcamy uczestników do opisywania własnymi słowami swoich motywacji i potrzeb. Trudności pojawiają się później — gdy dysponujemy kilkudziesięcioma zgłoszeniami w arkuszu i trudno dostrzec wspólne wzorce. Jak usprawnić ten proces?
W analizie danych jakościowych pomocne mogą być narzędzia oparte na sztucznej inteligencji, zwłaszcza te tworzone z myślą o badaczach i analitykach (np. NotebookLM). Warto jednak zachować ostrożność — nie należy wprowadzać do ogólnodostępnych narzędzi danych wrażliwych ani informacji umożliwiających identyfikację osób, a uzyskane wyniki zawsze trzeba weryfikować pod kątem ewentualnych błędów czy konfabulacji.
Zasada 3: Używaj danych od razu
Monitoring ma wartość dopiero wtedy, gdy zebrane dane przekładają się na konkretne działania. Dlatego kluczowe jest ich regularne analizowanie w trakcie realizacji projektu. Pomocne są w tym cykliczne spotkania zespołu wdrażającego lub partnerów projektu — warto je zaplanować z wyprzedzeniem i traktować priorytetowo.
Istotne, aby były to momenty wspólnej, uporządkowanej refleksji, a nie wyłącznie przestrzeń do rozwiązywania bieżących problemów. Takie spotkania mogą również działać motywująco, ponieważ pozwalają dostrzec i docenić to, co się udaje oraz przynosi pozytywne rezultaty.
Przykładowe pytania do regularnej refleksji wynikającej z monitoringu:
- Co działa i warto to kontynuować?
- Co nie działa i wymaga zmiany?
- Co chcemy przetestować inaczej?
- Jakie ryzyka i szanse w realizacji projektu pojawiły się, których nie braliśmy pod uwagę?
Podsumowanie
Monitoring to nie tylko systematyczne gromadzenie danych, lecz przede wszystkim ich świadome i celowe wykorzystywanie. Odpowiednio zaprojektowany i konsekwentnie prowadzony może pełnić funkcję „silnika” ewaluacji — zarówno wewnętrznej, jak i zewnętrznej — dostarczając rzetelnych, uporządkowanych informacji potrzebnych do oceny jakości i efektów działań.
W dynamicznie zmieniającej się rzeczywistości jego rola staje się szczególnie istotna. Wiele doświadczeń, emocji, kontekstów sytuacyjnych czy drobnych, lecz ważnych obserwacji umyka lub ulega zniekształceniu, gdy próbujemy odtworzyć je dopiero na etapie ewaluacji.
Kolejne dwa artykuły poświęcimy metodom partycypacyjnym wykorzystywanym w ewaluacji, które pozwalają lepiej uwzględniać różnorodne perspektywy i doświadczenia w procesie organizacyjnego uczenia się.
Dowiedz się więcej:
- Karina Janus, Analiza głosu odbiorców w NGO. Jak wspierać ją narzędziami AI, TechSoup Polska;
- Łucja Komaszewska, Karina Janus, Zarządzanie projektami w NGO z wykorzystywaniem technologii, część o Monitoringu postępów projektu, w tym o narzędziu Kanban, TechSoup Polska;
- Thematic, Best practices for analyzing open-ended questions. Your guide to making sense of free-text feedback;
- Royal Geographical Society, Presenting Qualitative Data;
- Thematic, How to Visualize Qualitative Data Insights with Dashboards;
Artykuł powstał w ramach kampanii upowszechniającej organizacyjne uczenie się: Od-ucz się tego co już nie działa, czytaj więcej.
Elżbieta Świdrowska – Posiada kilkunastoletnie doświadczenie prowadzenia badań społecznych i ewaluacji głównie z obszaru migracji i uchodźstwa w Polsce oraz projektów i programów współpracy rozwojowej w krajach postsowieckich (m.in. trzykrotnie ewaluowała Program Współpracy Rozwojowej MSZ RP). W latach 2019 – 20 prowadziła ewaluację programu National Endowment for Democracy w Ukrainie – ewaluacja projektów z zakresu Transparency and Accountability w 15 regionach Ukrainy. Autorka analizy Grupy Zagranica dotyczącej działań w Ukrainie w ramach Wieloletniego Programu Współpracy Rozwojowej 2016-2020. Ekspertka i trenerka z zakresu ewaluacji dla przedstawicieli ukraińskich władz samorządowych: „Ewaluacja polityk publicznych w działaniu”, a także mentorka organizacji wspierających osoby uchodźcze w Polsce z ramienia organizacji Mercy Corps.
