Cómo evaluar el impacto de la entidad sin morir en el intento

Comenzar a evaluar el impacto de la actividad que lleva a cabo una organización puede convertirse en toda una aventura. Más allá de qué metodología de evaluación usamos, y del ámbito en el que trabajamos, hay algunos aspectos que vale la pena tener en cuenta si no queremos morir en el intento de evaluar el impacto de nuestra entidad.

La dirección y el equipo profesional deben avanzar juntos. La evaluación de impacto es un proceso que implica reflexionar sobre qué quiere conseguir la entidad, de qué manera debe hacerlo y qué resultados consigue. Asimismo, es posible que surjan nuevas tareas (recogida de información, sesiones de reflexión de resultados), que habrá que prever y hacer visibles. Es imprescindible contar con el compromiso de toda la entidad para sumar las diversas visiones y experiencias, y para integrar la evaluación en el día a día de los equipos.

No pretendamos evaluar todo. Fijémonos en lo esencial, en aquellos aspectos en los que realmente queremos y podemos incidir a través de nuestra actuación. Seguramente, con unos cuantos indicadores tendremos suficiente para empezar a tener información muy relevante.

Hay que ajustar las expectativas desde el inicio. Es bueno que tanto profesionales como Dirección tengan claro desde el principio qué implica el proceso de evaluación, qué información se podrá obtener con la metodología empleada y para qué servirá. ¡También es muy importante tener presente que los resultados de la evaluación no tienen por qué ser positivos! No siempre podremos presumir que hacemos las cosas bien. Pero saber qué es lo que no funciona es justamente lo que nos permitirá aprender y mejorar.

Aprovechemos esfuerzos: ¡la entidad ya hace mucho trabajo! Es probable que a estas alturas vuestra entidad ya haga cosas que, a pesar de tener otros objetivos, os sirvan también para evaluar el impacto: seguramente recoger datos relevantes de los usuarios o les paséis cuestionarios de valoración del servicio. Hay que pensar qué información puede ser útil para la evaluación y cómo procesarla para poder analizarla desde este punto de vista. Es importante integrar al máximo los diversos procesos para no cargar los equipos de trabajo innecesariamente y garantizar el éxito en la recogida.

Aprovechemos también los esfuerzos de los demás. Cada vez más son las entidades que evalúan sus programas y que ponen a disposición de todos los resultados y las metodologías empleadas. Esto sirve tanto a la hora de diseñar la evaluación como si lo que queremos es saber qué tipo de estrategias se han demostrado efectivas a la hora de abordar una problemática, en el caso de que no podamos evaluar nuestra propia intervención. Para ello, pueden ser útiles los bancos de indicadores, como el de Global Value Exchange, o recopilaciones de estudios de evaluación de impacto, como los de la What Works Network, promovida por el gobierno del Reino Unido. ¡Hacemos el chismoso y nos ahorraremos mucho trabajo!

Las TIC nos pueden facilitar mucho el trabajo. Evaluar puede implicar mover una gran cantidad de información, sobre todo si los programas de nuestra entidad tienen muchas personas usuarias, si también recogemos datos provenientes de familiares u otros profesionales, etc. Ante esto, hacer uso de las TIC nos puede facilitar mucho el trabajo. Herramientas específicas para la evaluación como la Well-being Measure de la NPC, o la herramienta Valora, creada por la Fundación Pere Tarrés, nos permiten gestionar con facilidad todo el proceso de recogida y análisis.

Núria Comas

Investigadora social en el departamento de Consultoría y Estudios de la Fundación Pere Tarrés

Com avaluar l’impacte de l’entitat sense morir en l’intent

Començar a avaluar l’impacte de l'activitat que duu a terme una organització pot convertir-se en tota una aventura. Més enllà de quina metodologia d’avaluació fem servir, i de l’àmbit en què treballem, hi ha alguns aspectes que val la pena tenir en compte si no volem morir en l’intent d’avaluar l’impacte de la nostra entitat.

La direcció i l’equip professional han d’avançar plegats. L’avaluació d’impacte és un procés que implica reflexionar sobre què vol aconseguir l’entitat, de quina manera ho ha de fer i quins resultats aconsegueix. Alhora, és possible que sorgeixin noves tasques (recollida d’informació, sessions de reflexió de resultats), que caldrà preveure i fer visibles. És imprescindible comptar amb el compromís de tota l’entitat per tal de sumar les diverses visions i experteses, i per integrar l’avaluació en el dia a dia dels equips.  

No pretenguem avaluar-ho tot. Fixem-nos en allò essencial, en aquells aspectes en què realment volem i podem incidir a través de la nostra actuació. Segurament, amb uns quants indicadors en tindrem prou per començar a tenir informació molt rellevant.  

Cal ajustar les expectatives des de l’inici. És bo que tant professionals com direcció tinguin clar des del començament què implica el procés d’avaluació, quina informació es podrà obtenir amb la metodologia emprada i per a què servirà. També és molt important tenir present que els resultats de l’avaluació no tenen per què ser positius! No sempre podrem presumir que fem les coses bé. Però saber què és el que no funciona és justament el que ens permetrà aprendre i millorar. 

Aprofitem esforços: l’entitat ja fa molta feina! És probable que a hores d’ara la vostra entitat ja faci coses que, tot i tenir altres objectius, us serveixin també per avaluar l’impacte: segurament recolliu dades rellevants de les persones usuàries o els passeu qüestionaris de valoració del servei. Cal pensar quina informació us pot ser útil per a l’avaluació i com processar-la per poder analitzar-la des d’aquest punt de vista. És important integrar al màxim els diversos processos per tal de no carregar els equips de feina innecessàriament i garantir l’èxit en la recollida.

Aprofitem també els esforços dels altres. Cada cop més són les entitats que avaluen els seus programes i que posen a disposició de tothom els resultats i les metodologies emprades. Això serveix tant a l’hora de dissenyar l’avaluació com si el que volem és saber quin tipus d’estratègies s’han demostrat efectives a l’hora d’abordar una problemàtica, en cas que no puguem avaluar la nostra pròpia intervenció. Per a això, ens poden ser útils els bancs d’indicadors, com el de Global Value Exchange, o reculls d’estudis d’avaluació d’impacte, com els de la What Works Network, promoguda pel govern del Regne Unit. Fem el xafarder i ens estalviarem molta feina!

Les TIC ens poden facilitar molt la tasca. Avaluar pot implicar moure una gran quantitat d’informació, sobretot si els programes de la nostra entitat tenen moltes persones usuàries, si també recollim dades provinents de familiars o altres professionals, etc. Davant d’això, fer ús de les TIC ens pot facilitar molt la feina. Eines específiques per a l’avaluació com la Well-being Measure de la NPC, o l’eina Valora, creada per la Fundació Pere Tarrés, ens permeten gestionar amb facilitat tot el procés de recollida i anàlisi.

Núria Comas
Investigadora social al departament de Consultoria i Estudis de la Fundació Pere Tarrés

Avaluar l’impacte per millorar la intervenció: reptes i solucions

La necessitat d’avaluar l’impacte

Les entitats no lucratives que duen a terme programes socials estan cada vegada més sotmeses a les demandes de demostrar l’impacte que tenen les seves actuacions. Es troben, doncs, amb una major exigència de provar que el canvi que volen produir en les persones amb les quals treballen s’està donant realment gràcies a la seva intervenció.

Aquesta demanda creixent prové, sobretot, de les institucions finançadores d’aquests programes, ja siguin públiques o privades. Això es deu, en part, al gran pes que han anat adquirint les entitats no lucratives en la gestió de serveis públics de l’àmbit de les polítiques socials i comunitàries. A més, en un context de disminució de recursos i d’increment de les necessitats socials a les quals s’ha d’atendre, es fa imprescindible demostrar amb evidències els efectes transformadors de les intervencions que es duen a terme.

Però l’avaluació d’impacte també suposa un gran procés d’aprenentatge i de millora per a les pròpies entitats. Es tracta d’una oportunitat per entendre millor l’activitat pròpia, conèixer els resultats obtinguts i, a partir d’aquesta informació, prendre decisions orientades a la millora del servei. Així, els resultats d’una avaluació d’impacte poden donar lloc a la introducció de petites modificacions en el funcionament d’un programa, a grans canvis en la metodologia de la intervenció, o a l’expansió o rèplica d’una actuació.

Tot plegat ha fet créixer l’interès per l’avaluació d’impacte tant per part de les institucions finançadores com per part de les entitats no lucratives.

Les dificultats a l’hora de dur a terme una avaluació d’impacte

Les entitats es troben, però, amb obstacles de diversos tipus a l’hora de desenvolupar una avaluació d’impacte de la seva intervenció.

L’escassetat de recursos econòmics i humans suposa una primera dificultat, especialment si es tracta d’avaluacions d’alt rigor acadèmic i/o dissenyades a mida de l’acció de l’entitat. Com dèiem, en el context actual, els equips d’aquestes organitzacions estan sotmesos a una creixent pressió i pot haver-hi dificultats en la incorporació en el dia a dia de l’entitat de la recollida de dades, l’anàlisi i la reflexió que implica una avaluació d’impacte. Això passa especialment quan l’avaluació té com a part dels seus objectius la millora de la gestió i de la intervenció, ja que és important que el propi equip de professionals tingui un paper actiu en la interpretació i l’ús de la informació obtinguda.

Per una altra banda, les organitzacions no lucratives solen dur a terme programes basats en diverses metodologies d’intervenció, de manera que pot no existir una única línia de treball que guiï el conjunt de l’activitat desenvolupada per l’entitat. Això pot dificultar el disseny de l’avaluació i la interpretació de la informació obtinguda.

Com superar aquestes dificultats?

Des del departament de Consultoria i Estudis de la Fundació Pere Tarrés s’ha desenvolupat un sistema d’avaluació que permet superar aquestes dificultats i facilita a les entitats endinsar-se en el món de l’avaluació d’impacte de manera senzilla i orientada a la millora.

Aquest sistema es basa en el consens, per part de tots els agents implicats, de la teoria del canvi del programa que es vol avaluar. Hi ha d’haver un acord sobre quin és el canvi que es vol generar en les persones beneficiàries (impacte) i en quina és la cadena de causalitats que són necessàries per tal que aquest impacte efectivament es produeixi. Aquest és el fonament a partir del qual es pot dissenyar l’avaluació en si mateixa.

L’altre gran pilar del sistema d’avaluació és l’eina web Valora, dissenyada pel Departament de Consultoria i Estudis de la Fundació. Aquesta eina permet el desenvolupament de l’avaluació de manera progressiva, amb pocs recursos econòmics i amb una dedicació raonable de temps per part dels professionals de l’entitat. En aquest sentit, proporciona dues grans avantatges. Primerament, facilita la recollida de dades de tots els agents implicats en la intervenció (persones usuàries, professionals, voluntàries, familiars, etc.) i la generació d’informació rellevant i actualitzada. Però també ofereix un conjunt de models d’avaluació estàndard que permeten encetar un procés d’avaluació des del primer moment, pensat sobretot per totes aquelles entitats que no tenen recursos per desenvolupar la seva teoria del canvi.

D’aquesta manera, les entitats estan en disposició d’obtenir una gran quantitat de dades rellevants, sense dedicar gaires esforços en el procés d’avaluació. Això els permet concentrar-se en allò veritablement important: l’ús que es fa d’aquesta informació, ja sigui amb l’objectiu de donar a conèixer l’activitat i l’impacte de l’entitat, amb el de rendir comptes, o amb el d’aprendre i prendre decisions orientades a la millora de la intervenció i la gestió.

Per a tenir-ne més informació:

Cuevas, J. (2015). Instrumento web estandarizado para la evaluación del impacto en programas sociales gestionados por entidades sin ánimo de lucro. Ponència al V Congrés de la Red Española de Política Social.

Farré, M. i Cuevas, J. (2015). Límites y alternativas a laevaluación de impacto para programas sociales y comunitarios, Zerbitzuan: Revista de Servicios Sociales, 58, 137-146.

Núria Comas López

Tècnica de projectes de Consultoria i Estudis de la Fundació Pere Tarrés