Najważniejsze wnioski

  • Brak wyniku nie mówi sam, czy błędna była teoria, wdrożenie, dopasowanie grupy, pomiar albo warunki. Dane o procesie są potrzebne do rozdzielenia tych wyjaśnień.
  • Wierność oznacza stopień, w jakim dostarczono zaplanowany model. Obejmuje treść, zasięg, częstotliwość, czas, dawkę i obecność składników krytycznych.
  • Wysoka wierność nie gwarantuje jakości. Mentor może przeprowadzić wszystkie sesje mechanicznie, bez relacji i kompetencji.
  • Dawka zaplanowana, dostarczona, odebrana i użyta to cztery różne wielkości. Dwanaście spotkań w kalendarzu nie oznacza dwunastu pełnych sesji ani zastosowania umiejętności.
  • Responsywność uczestnika opisuje, jak reaguje na interwencję: rozumienie, udział, pracę między spotkaniami i znaczenie. Nie wolno jej sprowadzać do posłuszeństwa.
  • Kompetencję praktyka ocenia się na podstawie zachowania i standardu, nie samego dyplomu, szkolenia lub stażu.
  • Terminowość jest składnikiem interwencji. Ta sama pomoc po trzech dniach i po trzech miesiącach może uruchomić inny mechanizm.
  • Program powinien wskazać składniki rdzeniowe, funkcje rdzeniowe oraz elementy adaptowalne. Bez tego „wierność” oznacza przywiązanie do formy albo całkowitą dowolność.
  • Wierność funkcjonalna zachowuje mechanizm, choć forma może się zmienić. Tłumaczenie, format hybrydowy lub inna metafora mogą być adaptacją zgodną z modelem.
  • Nie każda lokalna zmiana jest adaptacją. Ciche skracanie sesji z powodu braków kadrowych jest odstępstwem, nawet gdy przedstawia się je jako elastyczność.
  • Adaptację trzeba opisać: co, dla kogo, dlaczego, kiedy, na jakiej podstawie, jaki element rdzenia dotyka i jak zostanie oceniona.
  • Kontekst jest dynamiczny i wielopoziomowy. Obejmuje osobę, relacje, organizację, prawo, rynek usług, społeczność, konflikt i czas.
  • Program sam może zmieniać kontekst: stygmatyzować, zwiększać przepływ zgłoszeń, przeciążać usługę albo budować nową sieć.
  • Zasięg powinien obejmować cały lejek od populacji uprawnionej przez skierowanie i przyjęcie po otrzymanie modułu. Wysoki odsetek ukończenia wśród wyselekcjonowanych nie oznacza dobrego zasięgu.
  • Różne ośrodki mogą mieć tę samą nazwę i całkiem inną interwencję. Porównanie wyników wymaga porównania wersji, personelu, dawki, populacji i kontekstu.
  • Narzędzia kontroli wierności nie powinny zmieniać relacji w ukryty nadzór. Obserwacja, nagranie i dostęp do notatek wymagają podstawy, informacji i minimalizacji.
  • Monitorowanie procesu powinno być wystarczająco lekkie, aby praktyk wykonywał usługę, lecz dostatecznie precyzyjne, by odróżnić jej wersje.
  • Wykonawca nie powinien samodzielnie oceniać całej jakości własnej pracy. Potrzebne są superwizja, niezależna próbka, perspektywa uczestnika i audyt danych.
  • Wdrożenie jest wynikiem samym w sobie: akceptowalność, przyjęcie praktyki, dopasowanie, wykonalność, koszt, penetracja i trwałość są odrębne od wyniku uczestnika.
  • Skuteczność osiągnięta wyłącznie przez wyjątkowego założyciela może nie przetrwać skalowania. Trzeba mierzyć zależność od osoby.
  • Dobry raport pozwala powiedzieć: „model nie zadziałał mimo wystarczającej realizacji” albo „nie przetestowaliśmy modelu, bo kluczowy składnik nie dotarł”.

Cztery pytania po wyniku

Czy dostarczono program?

  • właściwej osobie;
  • we właściwym czasie;
  • w odpowiedniej dawce;
  • z elementami rdzeniowymi.

Czy dostarczono go dobrze?

  • kompetentnie;
  • w relacji;
  • bez szkód;
  • zgodnie z prawami;
  • z dopasowaniem.

Czy uruchomił mechanizm?

  • zaufanie;
  • nowe rozumowanie;
  • regulację;
  • relację;
  • dostęp;
  • sprawczość.

Czy kontekst pozwolił na wynik?

  • mieszkanie istniało;
  • praca była dostępna;
  • rodzina była bezpieczna;
  • instytucje współpracowały;
  • dawna grupa nie blokowała.

Bez tych pytań wynik jest czarną skrzynką.

Wierność wdrożenia

Klasyczny model Carroll i współautorów ujmuje wierność przez zgodność z zaplanowaną treścią, częstotliwością, czasem i zasięgiem, a jako moderatory wskazuje złożoność, strategie ułatwiające, jakość dostarczenia i responsywność uczestnika.1

Treść

Czy wykonano:

  • ocenę;
  • wspólne ustalenie celu;
  • ćwiczenie;
  • pracę nad scenariuszem;
  • plan kryzysowy;
  • przegląd;
  • zakończenie?

Częstotliwość

  • co tydzień;
  • co dwa tygodnie;
  • po kryzysie;
  • zgodnie z fazą.

Czas

  • długość sesji;
  • całkowity okres;
  • czas między modułami;
  • przerwa.

Zasięg treści

Jaka część zaplanowanego materiału została dostarczona.

Składnik krytyczny

Element, bez którego teoria nie przewiduje mechanizmu.

Przykład:

Mentoring bez jawnego zakresu poufności nie jest wierną wersją modelu opartego na zaufaniu.

Dawka

Zaplanowana

Dwanaście sesji po 60 minut.

Zaoferowana

Praktyk wyznaczył dziesięć terminów.

Dostarczona

Odbyło się osiem; dwie skrócono.

Otrzymana

Uczestnik był obecny i miał możliwość pracy.

Zaangażowanie

Rozumiał, odpowiadał, testował.

Użyta

Zastosował plan poza spotkaniem.

Dlaczego rozdzielać

Jeśli nie ma wyniku:

  • brak zaoferowanej dawki wskazuje na system;
  • brak obecności może wskazywać dostęp;
  • brak zaangażowania — dopasowanie lub relację;
  • brak użycia — słaby transfer;
  • brak wyniku mimo użycia — teorię ogniwa.

Nieliniowość

Może istnieć:

  • minimalny próg;
  • malejąca korzyść;
  • szkoda przy nadmiarze;
  • różna dawka dla podgrup.

Nie zakłada się automatycznie, że dwanaście jest dwa razy lepsze niż sześć.

Zasięg

Populacja docelowa

Kto zgodnie z modelem powinien otrzymać usługę.

Lejek

  1. uprawnieni;
  2. widoczni dla systemu;
  3. skierowani;
  4. ocenieni;
  5. przyjęci;
  6. rozpoczęli;
  7. otrzymali składnik;
  8. zakończyli;
  9. obserwowani.

Reprezentatywność zasięgu

Program może docierać głównie do:

  • łatwych przypadków;
  • mężczyzn;
  • osób mówiących językiem większości;
  • więźniów jednego zakładu;
  • osób dobrowolnych.

Trzeba porównać każdy etap według istotnych cech.

Nadmierny zasięg

Więcej nie zawsze lepiej. Przyjęcie osób bez związku z przemocą:

  • rozmywa model;
  • zwiększa stygmat;
  • przeciąża;
  • poprawia pozornie wyniki.

Niedostateczny zasięg

Osoby o największych barierach mogą odpadać przed usługą. Wysoki wskaźnik ukończenia maskuje brak dostępu.

Jakość dostarczenia

Co obejmuje

  • jasność;
  • relację;
  • dopasowanie;
  • bezpieczeństwo;
  • technikę;
  • tempo;
  • reakcję na kryzys;
  • refleksję;
  • granice.

Nie styl osobisty

Dwaj mentorzy mogą pracować inaczej i zachować jakość. Kryterium wiąże się z funkcją.

Metody

  • obserwacja;
  • nagranie;
  • próbka dokumentacji;
  • superwizja;
  • samoocena;
  • ocena uczestnika;
  • wynik zadania;
  • audyt incydentów.

Ryzyko Hawthorne'a

Praktyk może pracować lepiej, gdy jest obserwowany. Losowa próbka i rutynowy monitoring ograniczają wyjątkowy „występ”.

Nagrywanie

Wymaga:

  • celu;
  • podstawy lub zgody;
  • informacji;
  • zabezpieczenia;
  • ograniczonego dostępu;
  • terminu usunięcia;
  • planu na ujawnienie zagrożenia.

W części przypadków ryzyko jest zbyt duże. Można użyć obserwacji na żywo, symulacji i dokumentacji.

Responsywność uczestnika

Wymiary

  • obecność;
  • uwaga;
  • rozumienie;
  • znaczenie;
  • udział;
  • wykonanie;
  • informacja zwrotna;
  • użycie.

Nie posłuszeństwo

Krytyka, spór i odmowa jednego ćwiczenia mogą współistnieć z głęboką pracą. Uległość może być zarządzaniem wrażeniem.

Pomiar

  • krótka karta po sesji;
  • teach-back;
  • obserwacja;
  • zadanie;
  • wywiad;
  • przykład użycia.

Odpowiedzialność programu

Niska responsywność nie jest wyłącznie cechą uczestnika. Może wynikać z:

  • złego języka;
  • przymusu;
  • niejasnej roli;
  • słabego dopasowania;
  • zmęczenia;
  • niebezpiecznego miejsca;
  • nieistotnej treści.

Kompetencje praktyka

Wiedza

  • przemoc;
  • ideologie;
  • prawo;
  • dane;
  • zdrowie;
  • kontekst.

Umiejętności

  • rozmowa;
  • ocena;
  • planowanie;
  • granice;
  • deeskalacja;
  • dokumentacja;
  • współpraca.

Postawa

  • ciekawość;
  • szacunek;
  • świadomość uprzedzeń;
  • tolerancja niepewności;
  • gotowość do konsultacji.

Zachowanie

Najlepszy wskaźnik kompetencji:

  • co zrobił;
  • dlaczego;
  • jak zareagował;
  • czy korzysta z superwizji.

Szkolenie

Udział i test wiedzy są produktami. Potrzebne są:

  • symulacja;
  • obserwacja praktyki;
  • okres wdrożeniowy;
  • ponowna ocena;
  • superwizja.

Terminowość

Punkty

  • skierowanie → ocena;
  • ocena → plan;
  • plan → pierwszy moduł;
  • kryzys → reakcja;
  • zwolnienie → usługa;
  • wniosek → mieszkanie;
  • zmiana → przegląd.

Rozkład, nie sama średnia

Średnia 14 dni może ukrywać przypadki czekające 90. Raport:

  • medianę;
  • percentyle;
  • maksimum;
  • odsetek w standardzie;
  • przyczyny.

Czas jako mechanizm

Pomoc przed utratą mieszkania może zapobiec kryzysowi. Ta sama pomoc później naprawia szkodę. To inna interwencja.

Składniki rdzeniowe

Rdzeń treści

Co musi zostać wykonane.

Rdzeń funkcji

Jaki mechanizm musi zostać zachowany.

Rdzeń etyczny

  • dobrowolność w określonym zakresie;
  • prawa;
  • poufność;
  • zakaz dyskryminacji;
  • bezpieczeństwo.

Nie można „adaptować” praw dla wygody.

Rdzeń organizacyjny

  • superwizja;
  • plan;
  • przegląd;
  • koordynator;
  • reakcja kryzysowa.

Dowód rdzenia

Składnika nie nazywa się krytycznym wyłącznie dlatego, że twórca go lubi. Podstawa:

  • teoria;
  • badania;
  • analiza mechanizmu;
  • porównanie wersji;
  • konsensus z uzasadnieniem.

Adaptacja

Dlaczego potrzebna

  • język;
  • wiek;
  • płeć;
  • kultura;
  • ideologia;
  • prawo;
  • dostęp;
  • technologia;
  • niepełnosprawność.

Co można zmienić

  • przykład;
  • metaforę;
  • język;
  • miejsce;
  • format;
  • tempo;
  • kolejność przy zachowaniu warunków;
  • partnera.

Co wymaga szczególnego przeglądu

  • mechanizm;
  • próg;
  • dobrowolność;
  • raportowanie;
  • dawka;
  • składnik krytyczny;
  • grupa.

Karta adaptacji

  • data;
  • inicjator;
  • problem;
  • element;
  • typ;
  • grupa;
  • dowód;
  • wpływ na rdzeń;
  • zatwierdzenie;
  • pomiar;
  • wynik;
  • decyzja.

Adaptacja planowana

Model z góry określa:

Jeśli uczestnik nie czyta płynnie, treść jest przedstawiana ustnie i przez scenariusz; funkcją pozostaje samodzielne rozpoznanie alternatyw.

Adaptacja reaktywna

Powstaje w praktyce. Może być wartościowa, ale wymaga szybkiego zapisu i przeglądu.

Modyfikacja niezgodna

Usunięcie pracy nad przemocą, aby uniknąć trudnej rozmowy, zmienia funkcję.

Wierność funkcjonalna

Forma a funkcja

Forma:

  • 60-minutowa sesja;
  • drukowany arkusz;
  • metafora.

Funkcja:

  • bezpieczne ćwiczenie reakcji;
  • rozpoznanie automatycznej interpretacji;
  • wykonanie planu.

Test

Po zmianie pytamy:

  • czy zasób nadal dociera;
  • czy mechanizm jest możliwy;
  • czy wynik pośredni powstaje;
  • czy szkoda się nie zwiększa.

Przykład

Spotkanie osobiste zmieniono na wideo.

Zgodne, jeśli:

  • prywatność;
  • relacja;
  • dostęp;
  • ćwiczenie

pozostają wystarczające.

Niezgodne, jeśli uczestnik rozmawia pod kontrolą rodziny i nie może mówić.

Wierność i adaptacja — paradoks

Skrajność 1

Niczego nie wolno zmienić.

Skutek:

  • niedopasowanie;
  • brak dostępu;
  • szkoda;
  • rytualne wykonanie.

Skrajność 2

Każdy robi to, co uważa.

Skutek:

  • brak wspólnego modelu;
  • nieporównywalność;
  • niewidoczny dryf.

Rozwiązanie

  • rdzeń;
  • strefa adaptacji;
  • procedura;
  • wersja;
  • dane;
  • przegląd.

Kontekst

MRC traktuje kontekst jako dynamiczne, wielowymiarowe warunki fizyczne, organizacyjne, społeczne, kulturowe, polityczne i ekonomiczne, a teorię programu zaleca rozwijać i testować na kolejnych etapach.2

Indywidualny

  • status;
  • potrzeby;
  • język;
  • zdrowie;
  • motywacja.

Relacyjny

  • rodzina;
  • grupa;
  • mentor;
  • ofiary;
  • rówieśnicy.

Organizacyjny

  • obciążenie;
  • kultura;
  • kierownictwo;
  • dane;
  • personel;
  • lokal.

Międzyinstytucjonalny

  • mandat;
  • przepływ;
  • odpowiedzialność;
  • konflikt;
  • czas.

Lokalny

  • rynek;
  • mieszkania;
  • transport;
  • usługi;
  • stygmat.

Polityczny i prawny

  • prawo;
  • wybory;
  • incydent;
  • finansowanie;
  • media.

Konfliktowy

  • aktywność grupy;
  • przemoc;
  • migracja;
  • odwet;
  • bezpieczeństwo.

Kontekst jako przyczyna

Blokuje

Brak mieszkania uniemożliwia zastosowanie planu.

Wzmacnia

Silna sieć pracodawców zwiększa wynik modułu pracy.

Odwraca

Lider religijny postrzegany jako agent państwa osłabia zaufanie.

Zmienia grupę

Po ataku rośnie liczba skierowań o niższej trafności.

Jest zmieniany

Program:

  • tworzy nową sieć;
  • zmienia próg;
  • obciąża usługę;
  • wywołuje opór;
  • buduje kompetencje.

Pomiar kontekstu

Dziennik

  • zmiany prawa;
  • personel;
  • incydenty;
  • usługi;
  • media;
  • konflikty;
  • finansowanie.

Pomiar cykliczny

Nie tylko w punkcie bazowym. Kontekst zmienia się w czasie.

Źródła

  • dokumenty;
  • rejestry;
  • wywiady;
  • obserwacja;
  • wskaźniki lokalne;
  • media.

Priorytet

Nie mierzy się wszystkiego. Wybiera się warunki z teorii i zdarzenia mogące wyjaśnić zmianę.

Współpraca instytucji

Wskaźniki

  • jasność ról;
  • czas odpowiedzi;
  • kompletność minimum danych;
  • obecność właściwych osób;
  • wykonanie decyzji;
  • spory;
  • podwójne zadania;
  • przerwy.

Nie liczba spotkań

Dziesięć narad może oznaczać koordynację albo chaos.

Jakość decyzji

  • właściciel;
  • termin;
  • podstawa;
  • wykonanie;
  • przegląd.

Kontynuacja

Szczególnie ważne:

  • przed zwolnieniem;
  • po przeprowadzce;
  • po zmianie prowadzącego;
  • po zakończeniu finansowania.

Rotacja personelu

Co mierzyć

  • odejścia;
  • wakaty;
  • czas rekrutacji;
  • staż;
  • obciążenie;
  • przekazanie;
  • przerwy;
  • superwizję.

Mechanizm szkody

Rotacja może:

  • przerwać relację;
  • wymusić powtarzanie historii;
  • zwiększyć błąd;
  • zmienić wersję programu;
  • opóźnić reakcję.

Zależność od założyciela

Pytania:

  • czy inni osiągają jakość;
  • czy model jest udokumentowany;
  • czy superwizja jest przenoszalna;
  • czy relacje instytucjonalne są wspólne.

Wyniki wdrożeniowe

Literatura implementation science rozróżnia między innymi akceptowalność, przyjęcie, dopasowanie, wykonalność, wierność, koszt, penetrację i trwałość.3

Akceptowalność

Czy program jest uznawany za dopuszczalny przez uczestnika, praktyka i partnera.

Przyjęcie

Czy organizacja i pracownik faktycznie zaczęli używać modelu.

Dopasowanie

Czy odpowiada problemowi, grupie i miejscu.

Wykonalność

Czy można go wykonać przy realnych zasobach.

Penetracja

Jak głęboko stał się częścią praktyki, a nie pilotażem jednej osoby.

Trwałość

Czy rdzeń i jakość utrzymują się po projekcie.

Koszt wdrożenia

Szkolenie, system, superwizja, czas i adaptacja, nie tylko sesja.

Projekt pomiaru

Przed startem

  • manual;
  • teoria;
  • rdzeń;
  • adaptacje;
  • wskaźniki;
  • próbka;
  • odpowiedzialność;
  • ochrona danych.

W trakcie

  • automatyczne produkty;
  • krótka karta;
  • okresowa obserwacja;
  • superwizja;
  • doświadczenie uczestnika;
  • kontekst;
  • incydenty.

Po etapie

  • analiza wersji;
  • związek z wynikiem;
  • porównanie ośrodków;
  • negatywne przypadki;
  • decyzja.

Próbkowanie

Nie trzeba obserwować każdej sesji. Próbka powinna obejmować:

  • każdego praktyka;
  • fazy;
  • trudne przypadki;
  • różne formaty;
  • losową część;
  • sytuacje po skardze.

Narzędzia

Checklista

Dobra dla obecności składnika, słaba dla jakości.

Skala kotwiczona zachowaniem

Opisuje:

  • słaby;
  • wystarczający;
  • dobry

na obserwowalnych przykładach.

Dokumentacja

Powinna odróżniać:

  • wykonanie;
  • obserwację;
  • interpretację;
  • decyzję.

Ankieta uczestnika

Ważna dla:

  • jasności;
  • relacji;
  • dopasowania;
  • szkód.

Ryzyka:

  • nacisk;
  • selekcja;
  • utożsamienie satysfakcji ze skutecznością.

Wywiad

Wyjaśnia adaptacje i bariery. Nie zastępuje pomiaru wykonania.

Wiarygodność oceny

Oceniający

  • szkolenie;
  • kalibracja;
  • manual;
  • ślepa próbka, gdy możliwe;
  • konflikt interesów.

Zgodność

Próbkę koduje więcej niż jedna osoba. Raportuje się miarę i sposób rozwiązywania rozbieżności.

Drift oceniającego

Standard może łagodnieć. Potrzebna okresowa ponowna kalibracja.

Samoocena

Jest użyteczna dla refleksji, ale zwykle zawyża zgodność i nie jest jedynym źródłem.

Strategie wdrożenia

Interwencja jest usługą dla uczestnika. Strategia wdrożenia ma sprawić, że organizacja i praktyk będą tę usługę właściwie stosować.

Przykłady

  • szkolenie;
  • superwizja;
  • materiały;
  • przypomnienie;
  • konsultant;
  • lider lokalny;
  • audyt i informacja zwrotna;
  • zmiana formularza;
  • dodatkowy personel;
  • zabezpieczony czas;
  • porozumienie między instytucjami.

Łańcuch

strategia wdrożenia → zachowanie praktyka → jakość usługi → mechanizm uczestnika → wynik.

Liczba przeszkolonych nie jest więc dowodem zmiany uczestników.

Specyfikacja

Każda strategia określa:

  • aktora;
  • działanie;
  • odbiorcę;
  • czas;
  • częstotliwość;
  • intensywność;
  • uzasadnienie;
  • wynik wdrożeniowy.

Nie:

Zapewnimy wsparcie.

Lepiej:

Superwizor co dwa tygodnie przez pół roku przegląda z mentorem jedną losową i jedną trudną sprawę według skali kompetencji; po wyniku poniżej standardu ustala ćwiczenie i ponowną obserwację w ciągu miesiąca.

Dopasowanie do bariery

Brak wiedzy:

  • szkolenie;
  • instrukcja.

Brak umiejętności:

  • symulacja;
  • coaching.

Brak czasu:

  • zmiana obciążenia;
  • prostszy proces.

Konflikt mandatu:

  • uzgodnienie ról;
  • decyzja prawna.

Brak akceptacji:

  • konsultacja;
  • współprojektowanie.

Szkolenie nie rozwiąże braku etatu ani sprzecznych poleceń.

Wierność strategii

Także wsparcie może nie zostać wykonane: superwizja staje się raportem administracyjnym, audyt nie wraca do praktyka, a lider nie ma czasu. Mierzy się usługę i sposób jej wdrażania osobno.

Cykl wdrożenia

Rozpoznanie

  • obecna praktyka;
  • przepływ;
  • bariery;
  • zasoby;
  • ryzyko.

Przygotowanie

  • model;
  • rdzeń;
  • zespół;
  • dane;
  • szkolenie;
  • umowy;
  • pilotaż.

Wczesne wdrożenie

  • mała liczba;
  • intensywna superwizja;
  • szybka informacja;
  • rejestr adaptacji;
  • przegląd szkód.

Rutynizacja

  • stałe stanowiska;
  • budżet;
  • wdrożenie nowych pracowników;
  • audyt;
  • odpowiedzialność kierownictwa.

Utrzymanie

  • jakość po odejściu lidera;
  • aktualizacja;
  • odnowienie kompetencji;
  • dane o wyniku.

Wycofanie

Program może zakończyć element, który nie uruchamia mechanizmu, jest niewykonalny, szkodzi albo ma lepszą alternatywę. Usuwanie nieskutecznej praktyki jest zarządzaniem jakością.

Manual i elastyczność

Manual minimalny

  • cel;
  • grupa;
  • mechanizmy;
  • rdzeń;
  • sekwencja;
  • dawka;
  • kompetencje;
  • prawa;
  • dane;
  • kryzys;
  • adaptacje;
  • zakończenie.

Czerwone

Niezmienne bez formalnego przeprojektowania:

  • prawa;
  • zakaz szkody;
  • próg pilny;
  • rdzeń bezpieczeństwa;
  • granice danych.

Żółte

Zmienne po konsultacji i zapisie:

  • dawka;
  • kolejność;
  • partner;
  • format;
  • zakres modułu.

Zielone

Zmienne przez praktyka w granicach funkcji:

  • przykład;
  • język;
  • tempo;
  • materiał;
  • miejsce.

Manual żywy

Aktualizacja ma numer wersji, datę, powód, dowód, wpływ i okres przejściowy. Praktycy muszą wiedzieć, która wersja obowiązuje.

Obciążenie i wykonalność

Czas bezpośredni

Sesja, spotkanie, rozmowa.

Czas pośredni

  • przygotowanie;
  • dokumentacja;
  • narada;
  • kontakt;
  • dojazd;
  • superwizja;
  • kryzys.

Program liczący tylko godzinę sesji niedoszacowuje zasób i wymusza ukryte skróty.

Caseload

Nie tylko liczba osób. Waga może uwzględniać fazę, intensywność, liczbę partnerów, bezpieczeństwo, kryzys i dojazd.

Obciążenie pomiarem

Każdy formularz kosztuje czas, uwagę, relację, ochronę danych i analizę. Wskaźnik bez użytkownika i decyzji należy usunąć.

Minimum użyteczne

Rutynowo:

  • dawka;
  • rdzeń;
  • adaptacja;
  • incydent;
  • wynik bezpośredni;
  • kontekst krytyczny.

Okresowo:

  • obserwacja jakości;
  • kompetencja;
  • doświadczenie uczestnika;
  • audyt.

Ewaluacyjnie:

  • głębokie wywiady;
  • dodatkowe skale;
  • niezależne kodowanie.

Trwałość

Finansowa

  • stały budżet;
  • koszt superwizji;
  • czas partnerów;
  • wymiana personelu.

Organizacyjna

  • rola w strukturze;
  • procedura;
  • właściciel;
  • zastępstwo;
  • dane.

Kompetencyjna

  • szkolenie nowych;
  • praktyka;
  • kalibracja;
  • dostęp do eksperta.

Relacyjna

  • partnerstwa;
  • zaufanie;
  • kanał uczestników;
  • kontakt społeczności.

Techniczna

  • utrzymanie systemu;
  • aktualizacja;
  • cyberbezpieczeństwo;
  • eksport danych.

Po projekcie

Pomiar po 6–12 miesiącach obejmuje liczbę praktyków nadal używających modelu, wersję, jakość, budżet, adaptacje i utrzymanie wyników.

Diagnostyka miejsca awarii

Etap 1. Wejście

Czy właściwa osoba została rozpoznana, skierowana, oceniona i przyjęta?

Etap 2. Dostarczenie

Czy otrzymała właściwy składnik, dawkę, termin i kompetentnego praktyka?

Etap 3. Odbiór

Czy mogła zrozumieć, uczestniczyć, zaufać i ćwiczyć?

Etap 4. Mechanizm

Czy powstała relacja, zdolność, alternatywa lub sprawczość?

Etap 5. Transfer

Czy mechanizm został użyty poza programem?

Etap 6. Wynik

Czy zachowanie i funkcjonowanie się zmieniły?

Etap 7. Utrzymanie

Czy zmiana przetrwała kryzys i zakończenie?

Drzewo decyzji

Brak wejścia:

  • popraw próg i dostęp.

Brak dostarczenia:

  • napraw zasoby i logistykę.

Brak odbioru:

  • dostosuj format i relację.

Brak mechanizmu:

  • zakwestionuj składnik lub dopasowanie.

Mechanizm bez transferu:

  • ćwicz w środowisku.

Transfer bez wyniku:

  • zakwestionuj teorię ogniwa.

Wynik bez utrzymania:

  • zbadaj kontekst i zakończenie.

Pełny przykład: mentoring po zwolnieniu

Model

Mentor rozpoczyna kontakt przed zwolnieniem, spotyka się w 48 godzin po nim, pracuje co tydzień przez trzy miesiące, tworzy plan, łączy z dwiema rolami poza dawną siecią i korzysta z superwizji.

Rdzeń

  • ciągła, jawna relacja;
  • wykonanie kroków;
  • nowa sieć;
  • kontakt przed kryzysem.

Ośrodek A

  • pełna dawka;
  • jeden mentor;
  • szybki kontakt;
  • wysoka jakość;
  • lokalni pracodawcy;
  • zaufanie widoczne;
  • relacje powstają.

Ośrodek B

  • podobna liczba spotkań;
  • trzech mentorów;
  • start po miesiącu;
  • raportowanie treści;
  • brak partnerów;
  • poprawne odpowiedzi;
  • brak kontaktu w kryzysie.

Oba raportują „12 sesji”, lecz tylko A dostarcza funkcjonalny model.

Ośrodek C

Rdzeń i jakość są dobre, lecz uczestnik traci mieszkanie i wraca do rodziny związanej z grupą. Brak wyniku nie oznacza automatycznie błędu mentoringu; kontekst zablokował utrzymanie, a teoria całego programu mogła pominąć mieszkanie.

Ośrodek D

Wszystko dostarczono i mieszkanie istnieje, lecz nie powstaje relacja. Problemem może być dopasowanie albo sama hipoteza o mentorze dla tej podgrupy.

Dane potrzebne

Nie tylko liczba sesji:

  • ciągłość;
  • czas startu;
  • zakres raportu;
  • jakość;
  • zaufanie;
  • wykonanie kroków;
  • sieć;
  • mieszkanie;
  • kryzysy.

Porównanie ośrodków

Wspólne

  • grupa;
  • definicja;
  • rdzeń;
  • dawka;
  • narzędzie;
  • czas.

Różne

  • kontekst;
  • adaptacja;
  • personel;
  • usługi;
  • próg;
  • finansowanie.

Tabela wersji

Element Ośrodek A Ośrodek B Znaczenie
mentor etatowy NGO relacja i niezależność
dawka 12 6–12 różna ekspozycja
raport obecność treść zaufanie
praca partnerzy brak mechanizm sieci

Nie ranking

Gorszy wynik ośrodka z trudniejszą grupą i lepszym wykrywaniem nie oznacza gorszej jakości.

Panel wdrożenia

Zasięg

  • uprawnieni;
  • skierowani;
  • przyjęci;
  • rozpoczęli;
  • otrzymali rdzeń;
  • zakończyli.

Dawka

  • zaplanowana;
  • zaoferowana;
  • dostarczona;
  • odebrana;
  • użyta.

Jakość

  • kompetencja;
  • relacja;
  • bezpieczeństwo;
  • zgodność dokumentacji;
  • ocena uczestnika.

Termin

  • mediana;
  • percentyl 90;
  • odsetek w standardzie;
  • przypadki krytyczne.

Organizacja

  • wakaty;
  • caseload;
  • superwizja;
  • wykonane decyzje;
  • przerwy;
  • rotacja.

Adaptacje

  • liczba;
  • typ;
  • element rdzenia;
  • powód;
  • zatwierdzenie;
  • wynik.

Kontekst

  • mieszkania;
  • praca;
  • usługi;
  • prawo;
  • incydenty;
  • media.

Szkody

  • naruszenia;
  • skargi;
  • rezygnacje;
  • konflikty;
  • działania naprawcze.

Progi i kolory

Nie uniwersalne

Próg zależy od modelu. Dla pilnej oceny 48 godzin może być standardem; dla rozpoczęcia edukacji potrzebny jest inny.

Zielony

Standard osiągnięty i dane wystarczające.

Żółty

Odchylenie, niepewność lub trend wymagający przeglądu.

Czerwony

Rdzeń niedostarczony, poważna szkoda albo poziom poniżej minimalnego standardu.

Szary

Brak danych.

Szary nie jest zielonym. Panel powinien pokazywać kompletność obok wyniku.

Nie kompensować

Wysoka frekwencja nie równoważy naruszenia danych. Średnia jakość nie może ukrywać praktyka poniżej minimum.

Trend

Pojedynczy czerwony wynik może wynikać z błędu, ale poważny incydent wymaga reakcji. Dla innych wskaźników ważniejszy jest trend i wzór.

Pętla informacji zwrotnej

Dobra informacja

  • szybka;
  • konkretna;
  • oparta na przykładzie;
  • związana ze standardem;
  • możliwa do wykonania;
  • sprawdzana ponownie.

Zła informacja

Proszę zwiększyć jakość i zaangażowanie.

Nie wskazuje zachowania.

Do praktyka

  • prywatna;
  • rozwojowa;
  • oddzielona od sankcji, gdzie możliwe;
  • połączona z coachingiem.

Do zespołu

  • wzory;
  • bariery;
  • porównanie wersji;
  • rozwiązania.

Do kierownictwa

  • zasoby;
  • ryzyka;
  • decyzje;
  • odpowiedzialność.

Do uczestnika

Program powinien komunikować, jakie zmiany wprowadził po uwagach, bez ujawniania innych osób.

Zamknięcie pętli

Audyt bez ponownego pomiaru mówi, że wydano zalecenie, nie że wdrożenie się poprawiło.

Hybrydowa ewaluacja skuteczności i wdrożenia

Typ 1

Priorytetem jest wynik uczestnika, a wdrożenie bada się, by go interpretować.

Typ 2

Równolegle bada się wynik i strategię wdrożenia.

Typ 3

Priorytetem jest strategia wdrożenia; wynik uczestnika jest drugorzędny.

Zastosowanie

Nowy, słabo sprawdzony moduł:

  • typ 1.

Moduł z pewnymi dowodami przenoszony do nowego systemu:

  • typ 2.

Dobrze ustalony model rozpowszechniany w wielu placówkach:

  • typ 3.

W deradykalizacji dowody o samym efekcie bywają słabe, więc nie należy uznawać modelu za „ustalony” tylko dlatego, że jest znany.

Audyt minimalny

Co miesiąc

  • lejek;
  • czas;
  • dawka;
  • incydenty;
  • wakaty;
  • adaptacje.

Co kwartał

  • próbka jakości;
  • kalibracja;
  • doświadczenie uczestników;
  • partnerzy;
  • kontekst;
  • szkody.

Co rok

  • aktualność teorii;
  • rdzeń;
  • wyniki;
  • nierówności;
  • koszt;
  • trwałość;
  • decyzja o wersji.

Po zdarzeniu

  • oś czasu;
  • wykonanie;
  • mechanizm;
  • informacje;
  • decyzje;
  • bariery;
  • naprawa.

Analiza po incydencie nie może zakładać, że sam negatywny wynik dowodzi błędu praktyka.

Co raportować publicznie

Można

  • wersję;
  • rdzeń;
  • zasięg;
  • dawkę zagregowaną;
  • kwalifikacje;
  • terminowość;
  • adaptacje;
  • braki;
  • szkody zagregowane;
  • ograniczenia.

Ostrożnie

  • małe podgrupy;
  • konkretny ośrodek;
  • rodzaj przypadku;
  • unikalne adaptacje.

Nie ukrywać

Bezpieczeństwo danych nie usprawiedliwia pominięcia:

  • liczby rezygnujących;
  • słabego wdrożenia;
  • zmiany definicji;
  • rotacji;
  • konfliktu interesów.

Interpretacja wyniku

Wynik dobry, wierność wysoka

Model jest wiarygodnym kandydatem. Nadal potrzebne porównanie przyczynowe.

Wynik dobry, wierność niska

Możliwe:

  • adaptacja poprawiła model;
  • działa inny składnik;
  • selekcja;
  • pomiar.

Wynik słaby, wierność wysoka

Możliwe:

  • teoria błędna;
  • zła grupa;
  • kontekst blokuje;
  • wynik źle dobrany.

Wynik słaby, wierność niska

Nie wiadomo, czy model działa. Najpierw naprawa lub zakończenie niewykonalnego modelu.

Wynik mieszany

Należy analizować domeny, wersje, osoby i kontekst.

Scenariusze

Ośrodek ma 95% ukończeń

Audyt pokazuje, że:

  • przyjmuje mało osób;
  • wypisuje po dwóch nieobecnościach;
  • ukończenie oznacza obecność.

Wskaźnik nie dowodzi jakości.

Mentor skraca sesje

Powód: więzienie regularnie spóźnia doprowadzenie.

To bariera systemowa, nie „adaptacja do potrzeb”. Program mierzy rzeczywistą dawkę i negocjuje logistykę.

Format online zwiększa dostęp

Frekwencja rośnie, ale uczestnicy nie mają prywatności. Wierność produktu rośnie, mechanizm relacji może spadać.

Lokalny partner zmienia metafory

Jeśli ćwiczenie zachowuje funkcję i wynik, adaptacja może zwiększać dopasowanie.

Rotacja po szkoleniu

Wskaźnik liczby przeszkolonych pozostaje wysoki, lecz praktykę prowadzą nowi ludzie. Trzeba mierzyć aktualną zdolność.

Program po ataku

Rośnie liczba skierowań i presja na szybką ocenę. Kontekst zmienia grupę, dawkę i zachowanie pracowników. Porównanie przed–po bez tego jest mylące.

Checklista wersji programu

  • Jaka nazwa i numer?
  • Jaka grupa?
  • Jaki rdzeń?
  • Jakie mechanizmy?
  • Jaka dawka?
  • Jakie kompetencje?
  • Jakie adaptacje?
  • Jakie dane?
  • Jakie granice?
  • Od kiedy?

Checklista przypadku

  • Czy był uprawniony?
  • Czy otrzymał właściwy moduł?
  • Kiedy?
  • Ile zaoferowano?
  • Ile dostarczono?
  • Ile odebrał?
  • Jaka jakość?
  • Jaka responsywność?
  • Jakie adaptacje?
  • Jaki kontekst?
  • Jaki mechanizm?
  • Jakie szkody?

Checklista ośrodka

  • Czy model jest udokumentowany?
  • Czy rdzeń jest znany?
  • Czy adaptacja ma procedurę?
  • Czy personel jest kompetentny?
  • Czy obciążenie jest bezpieczne?
  • Czy superwizja działa?
  • Czy czas jest mierzony?
  • Czy współpraca wykonuje decyzje?
  • Czy uczestnik ma głos?
  • Czy audyt jest niezależny?
  • Czy dane są kompletne?
  • Czy istnieje ciągłość?
  • Czy mierzymy kontekst?
  • Czy porównujemy wersje?

Standard końcowy

„Ten sam program” powinien oznaczać więcej niż wspólną nazwę. Dwa ośrodki można porównywać dopiero, gdy wiadomo:

  • kogo przyjmują;
  • jaki rdzeń dostarczają;
  • w jakiej dawce i jakości;
  • przez kogo;
  • kiedy;
  • z jakimi adaptacjami;
  • w jakim kontekście.

MRC zaleca traktować rozwój, wykonalność, ewaluację i wdrożenie jako powiązane fazy oraz stale wracać do teorii, kontekstu, interesariuszy i niepewności.2 Program nie jest gotowym przedmiotem niezależnym od miejsca; jest interakcją modelu z ludźmi i systemem.

Najważniejsze rozróżnienie brzmi:

Czy teoria została uczciwie przetestowana?

Jeśli kluczowy moduł nie dotarł, relacja była przerywana, a mieszkanie nie istniało, brak wyniku nie jest czystym testem teorii. Jeśli rdzeń dostarczono kompetentnie, mechanizm nie powstał i wynik się nie zmienił, program powinien zakwestionować model, nie tylko żądać większej dawki.

Źródła