Seuranta ja itsearvioinnin merkitys - Kuntoutusportti
Seuranta ja itsearvioinnin merkitys - Kuntoutusportti
Seuranta ja itsearvioinnin merkitys - Kuntoutusportti
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>Seuranta</strong> <strong>ja</strong> <strong>itsearvioinnin</strong> <strong>merkitys</strong><br />
Janne Jalava<br />
<strong>Seuranta</strong>päällikkö, dosentti<br />
RAY/avustusosasto<br />
19.2.2013 1
<strong>Seuranta</strong> ei valvo vaan kehittää<br />
• Seurannan tavoitteena on<br />
• Auttaa löytämään <strong>ja</strong> levittämään hyviä käytäntöjä.<br />
• Paneutua syvällisemmin juurruttamisen haasteisiin.<br />
• Välttää uusimasta vähemmän onnistunutta tekemistä.<br />
• Seurannan välineitä ovat<br />
• Tuloksellisuus- <strong>ja</strong> vaikutusselvitys (osa vuosiselvitystä)<br />
• Projektin loppuraportti<br />
• Asuntojen <strong>ja</strong> asukasvalinnan selvitys<br />
• Erillisselvitykset (valitut kohteet)<br />
• Valvonta tekee kuluseurantaa <strong>ja</strong> laillisuusvalvontaa sekä seuraa<br />
kilpailuvaikutuksia.<br />
• Selvityslomake on kehitetty yhteistyössä järjestöjen kanssa.<br />
19.2.2013 2
Tuloksellisuus- <strong>ja</strong> vaikutusselvitykset<br />
– kuinka usein?<br />
Vuosittain<br />
•C‐projektit<br />
Joka toinen vuosi<br />
•Ak‐toiminnot<br />
Käydään läpi tarpeen mukaan, valvonnan asia enemmän<br />
• Yleisavustukset<br />
19.2.2013 3
TULOKSELLISUUS- JA VAIKUTUSSELVITYS (TVS)<br />
PROSESSINA<br />
TULOKSELLISUUS‐ JA<br />
VAIKUTUSSELVITYS<br />
ANALYYSI<br />
KÄYNTI JÄRJESTÖSSÄ <br />
SEURANTA‐ JA KEHITTÄMIS‐<br />
RAPORTTI<br />
KOMMENTIT JÄRJESTÖLLE/<br />
EI TARVETTA KOMMENTEILLE<br />
19.2.2013 4
Tuloksellisuus <strong>ja</strong> vaikutusselvityksen rakenne<br />
• Kohteen perustiedot (esitäytetty verkkoasioinnissa)<br />
• Kuusi kysymysosiota:<br />
1. Arvio tavoitteiden saavuttamisesta <strong>ja</strong> toimintaan liittyvistä<br />
kehittämistarpeista<br />
2. Toiminnan määrää <strong>ja</strong> laajuutta kuvaavat tiedot<br />
Kerätyn tiedon koostaminen <strong>ja</strong> raportointi:<br />
3. Työntekijöiden näkökulma<br />
4. Vapaaehtoistoimijoiden näkökulma<br />
5. Osallistu<strong>ja</strong>/kohderyhmänäkökulma<br />
6. Yhteistyökumppaneiden näkökulma<br />
Avustusosasto, Vaikuttavaa! -kiertue 2012 5
Itsearviointi – mistä kyse?<br />
• Järjestön itse, omana toimintana, toteuttamaa arviointia, jonka<br />
avulla saadaan selville toimijoiden näkemykset mm.<br />
• toimintaan liittyvistä kehittämistarpeista,<br />
• tärkeinä pidetyistä asioista,<br />
• toiminnan vahvuuksista sekä<br />
• aikaansaaduista tuloksista <strong>ja</strong> kehityksestä.<br />
• Väline organisaatioiden, (kuten RAY:ltä avustusta saavien järjestöjen)<br />
toiminnan <strong>ja</strong> yksittäisten työntekijöiden tekemän työn kehittämiseen<br />
sekä suunnitteluun.<br />
• Parhaimmillaan helppoa, yksinkertaista <strong>ja</strong> palkitsevaa.<br />
• Kyse ei missään nimessä ole arvostelusta, syyllisten etsinnästä tai<br />
sormella osoittelusta.<br />
19.2.2013 6
Itsearviointi – mistä kyse?<br />
• RAY ei suosita käyttämään mitään yksittäistä tapaa tai mallia tehdä<br />
itsearviointi.<br />
• Mikään malli ei ole RAY:n näkökulmasta katsottuna myöskään<br />
arvokkaampi kuin toinen.<br />
• Mikäli järjestöllänne on jo käytössä toimiva itsearviointimalli, on<br />
suositeltavaa hyödyntää myös <strong>ja</strong>tkossa sitä.<br />
• Oleellista on, että itsearviointi vastaa järjestön omiin tarpeisiin <strong>ja</strong><br />
tuottaa tietoa toiminnan kehittämisen tueksi sekä toiminnalla<br />
aikaansaaduista tuloksista <strong>ja</strong> vaikutuksista.<br />
19.2.2013 7
Missä järjestökenttä menee?<br />
19.2.2013 8
Arvioinnin tila järjestöissä<br />
• Keväällä 2011 RAY teetti kyselyn ”arvioinnin tilasta” järjestöjen<br />
keskuudessa.<br />
• Kysely osoitettiin vuosina 2009 <strong>ja</strong> 2010 RAY:ltä projektiavustusta<br />
saaneille järjestöille (n=545). Ulkopuolelle ra<strong>ja</strong>ttiin järjestöt, jotka olivat<br />
saaneet RAY:ltä vain investointiavustusta.<br />
• Kyselyyn vastasi yhteensä 420 järjestöä vastausprosentin ollessa noin<br />
77 %.<br />
• Kyseessä ensimmäinen kerta, kun täysin vastaavanlainen tutkimus<br />
toteutetaan.<br />
• Koskela T. (2012). Kehittämishankkeiden arvioinnin tila. Motiivit <strong>ja</strong><br />
arviointitiedon hyödyntäminen sosiaali- <strong>ja</strong> terveysalojen järjestöissä.<br />
Avustustoiminnan raportte<strong>ja</strong> 28. RAY.<br />
19.2.2013 9
Arvioinnin tila järjestöissä -yhteenvetoa<br />
• Arviointikäytännöt ovat hyvin vaihtelevia <strong>ja</strong> yhteinen<br />
kehittämishankkeiden arviointikulttuuri puuttuu sosiaali- <strong>ja</strong><br />
terveysalan järjestöjen keskuudesta.<br />
• Noin kolmannes järjestöistä ei ole toteuttanut lainkaan omien<br />
kehittämishankkeiden arviointe<strong>ja</strong> vuosien 2009 – 2010 välisenä aikana.<br />
• Arvioinnin mahdollisuuksia hanketoiminnan kehittämisessä ei ole<br />
sisäistetty kuin osassa järjestöjä.<br />
• Läheskään kaikissa järjestöissä ei ole riittävästi osaamista toteuttaa<br />
arviointia itse tai tilata hanketta koskeva ulkoinen arviointi.<br />
• Arviointiin suhtaudutaan varsin positiivisesti järjestöjen keskuudessa.<br />
• Resurssien <strong>ja</strong> osaamisen puute arviointiin liittyen ovat ilmeisiä varsinkin<br />
pienempien järjestöjen keskuudessa.<br />
• Itsearviointien toteuttaminen kehittämishankkeissa on ollut selvästi<br />
yleisempää kuin ulkoisten arviointien tilaaminen.<br />
19.2.2013 10
Arvioinnin tila järjestöissä -yhteenvetoa<br />
• Vain pienessä osassa järjestöjä kehittämishankkeiden itsearvioinnit <strong>ja</strong><br />
ulkoiset arvioinnit nähdään toisiaan tukevina välineinä<br />
hanketoiminnan kehittämisessä.<br />
• Kehittämishankkeiden arvioinnit ovat tarjonneet aidosti välineitä<br />
toiminnan kehittämiseen järjestöissä.<br />
• Alle 5 % järjestöistä on tilannut RAY:n yleisavustuksella <strong>ja</strong> noin<br />
kymmenesosa RAY:n kohdennetulla toiminta-avustuksella rahoitetun<br />
toiminnan ulkoisen arvioinnin vuosien 2009 – 2010 välisenä aikana.<br />
• Alle neljännes järjestöistä on toteuttanut RAY:n yleisavustuksella<br />
rahoitetun <strong>ja</strong> hieman alle puolet RAY:n kohdennetulla toimintaavustuksella<br />
rahoitetun toiminnan <strong>itsearvioinnin</strong>.<br />
19.2.2013 11
Vastaajien näkemykset kehittämishankkeiden<br />
itsearvioinneissa kohdatuista ongelmista (vastausten<br />
lkm.)*<br />
*Avovastaukset koodattu <strong>ja</strong> luokiteltu numeraaliseen muotoon<br />
19.2.2013 12
Itsearvioinnin suunnittelu on tärkeää!<br />
19.2.2013 13
Itsearvioinnin suunnittelu (1/3)<br />
1. Täsmennä <strong>ja</strong> ra<strong>ja</strong>a <strong>itsearvioinnin</strong> kohde.<br />
• Oleellista on ra<strong>ja</strong>ta, kohdistuuko itsearviointi yksittäiseen projektiin,<br />
kohdennetulla tai yleisavustukselle rahoitettuun toimintaan vai<br />
esimerkiksi koko järjestön toimintaan.<br />
2. Suunnitelmaa tehtäessä on oleellista käydä keskustelua <strong>ja</strong> tarkentaa<br />
kaikille osapuolille, miksi itsearviointia tehdään <strong>ja</strong> mitä sillä<br />
tavoitellaan.<br />
3. Arviointisuunnitelmaan on myös hyvä tarkentaa <strong>ja</strong> kir<strong>ja</strong>ta<br />
toiminnan/projektin tavoitteet <strong>ja</strong> kohderyhmät arvioitavaan muotoon.<br />
4. Arviointisuunnitelma laadittaessa on tärkeä pohtia <strong>ja</strong> päättää, mitä<br />
asioita arvioidaan (=arviointikohteet).<br />
• Oleellinen kysymys on, minkä arvioiminen vie toimintaa tai projektia<br />
eteenpäin?<br />
19.2.2013 14
Itsearvioinnin suunnittelu (2/3)<br />
5. Osana arviointisuunnitelman laadintaa tulee pohtia <strong>ja</strong> päättää,<br />
millaista tietoa <strong>ja</strong> keneltä tarvitaan toiminnan kehittämisen tueksi.<br />
• Numeraalinen arvio vs. laadullinen arvio vai sekä että<br />
6. Tämän jälkeen on oleellista keskustella <strong>ja</strong> päättää, miten tieto<br />
kerätään <strong>itsearvioinnin</strong> toteuttamiseksi.<br />
• Vaihtoehtoisia <strong>ja</strong> tehokkaita menetelmiä ovat mm. kyselyt (joko<br />
sähköiset tai lomakekyselyt) <strong>ja</strong> keskustelutilaisuudet/työpa<strong>ja</strong>t. Kyselyn<br />
voi toteuttaa myös sähköpostikyselynä.<br />
7. Seuraavaksi tulee päättää <strong>itsearvioinnin</strong> aikataulu.<br />
• Milloin tieto kerätään <strong>ja</strong> analysoidaan? Miten usein itsearviointi on<br />
perusteltua toteuttaa?<br />
• A<strong>ja</strong>nkohdan tulisi kytkeytyä luontevasti järjestön/projektin omaan<br />
”vuosikelloon”, jotta itsearviointi tukee mahdollisimman hyvin toiminnan<br />
kehittämistä.<br />
19.2.2013 15
Itsearvioinnin suunnittelu (3/3)<br />
8. Oleellista on myös päättää vastuista <strong>ja</strong> kir<strong>ja</strong>ta ne<br />
arviointisuunnitelmaan.<br />
• Kuka tai mikä tahon vastaa tiedon keräämisestä?<br />
• Kuka vastaa kerätyn tiedon analysoinnista <strong>ja</strong> yhteenvedon tekemisestä?<br />
• Keitä kutsutaan mukaan mahdolliseen itsearviointityöpa<strong>ja</strong>an?<br />
9. Resursointi on oleellinen osa suunnitelmaa.<br />
• Itsearvioinnin säännölliseen toteuttamiseen keskeisesti vaikuttava tekijä<br />
on käytössä oleva aika.<br />
• Suunnitelmaa tehtäessä tulee arvioida, miten paljon kunkin työvaiheen<br />
toteuttaminen vaatii työaikaa <strong>ja</strong> kenellä on mahdollisuus toteuttaa ne.<br />
10. Arviointisuunnitelmaa laadittaessa on hyvä ennakoida, missä<br />
yhteyksissä <strong>ja</strong> kenelle tuloksista tiedotetaan.<br />
11. Arviointisuunnitelmaa <strong>ja</strong> sen tarkoituksenmukaisuutta on perusteltua<br />
tarkastella säännöllisin väliajoin, esimerkiksi vuosittain.<br />
19.2.2013 16
Yhteenveto/muistilista<br />
• Tee itsearviointisuunnitelma, sitouta henkilöstö mukaan!<br />
• Valitse toiminnan luonnetta <strong>ja</strong> tarpeita vastaava itsearviointimalli <strong>ja</strong> muokkaa sitä<br />
tarvittaessa<br />
• Itsearviointi on väline oman toiminnan kehittämiseen. Hyödynnä tietoa myös vuosi-<br />
/toimintakertomuksissa sekä raportoinnissa rahoitta<strong>ja</strong>lle.<br />
• Tee itsearviointia säännöllisesti. Kyse on hyvin arkisesta asiasta.<br />
• Itsearviointi edellyttää osallistujilta kykyä asettaa oma toiminta kriittisen tarkastelun<br />
kohteeksi.<br />
• Oleellista on, että itsearviointien tuloksista keskustellaan avoimesti, tuloksia käsitellään<br />
toimijoiden <strong>ja</strong> yhteistyökumppaneiden kanssa <strong>ja</strong> toimintaa kehitetään esille nousseiden<br />
havaintojen poh<strong>ja</strong>lta.<br />
• Itsearviointi päättyy johtopäätösten tekemiseen <strong>ja</strong> kehittämiskohteiden valintaan.<br />
Valitkaa korkeintaan 2-3 kehittämiskohdetta seuraavalle tarkastelukaudelle.<br />
• Itsearvioinnin tulos voi olla sekin, että koulutuksen todetaan sujuvan järjestön tarpeisiin<br />
nähden riittävän hyvin, jolloin laa<strong>ja</strong>mittaista kehittämistyötä ei edes tarvita, vaan<br />
voimavarat kannattaa käyttää johonkin muuhun.<br />
• Esimiehet/toiminnasta vastuussa olevat henkilöt (esimerkiksi projektipäälliköt)<br />
vastaavat siitä, että yhteisesti sovittuihin kehittämiskohteisiin kiinnitetään huomiota<br />
konkreettisten toimenpiteiden avulla.<br />
19.2.2013 17
Change language