Quel impact cette action a-t-elle eu sur le public cible ? Qu’a-t-il retenu de notre message ? Avons-nous permis une modification des comportements ?
Partant de ce constat, le réseau pyrénéen Éducation conservation casseur d’os (Ecco) s’est engagé dans un vaste processus d’évaluation de ses projets pédagogiques Cap gypaète menés auprès d’un ensemble de classes du primaire et du secondaire. Et, afin de garantir la rigueur de la démarche et l’objectivité du traitement des données, nous avons sollicité le laboratoire de psychologie sociale de l’université Paul-Valéry à Montpellier et l’association Arecs spécialisée dans le traitement statistique des données. Notre parcours s’est alors déroulé en quatre étapes :
1 - choisir une méthode compatible ;
2 - identifier les compétences à évaluer ;
3 - choisir la technique de mesure ;
4 - mener l’évaluation et traiter les réponses.
Choisir une méthode
Les « protocoles expérimentaux » les plus rigoureux préconisent d’évaluer les compétences du public avant, puis après la réalisation du programme. Hélas, le programme avait déjà été lancé lorsque le dispositif d’évaluation a pu se mettre en place ! Nous avons alors opté pour une méthodologie dite des « groupes de comparaison statique » (Campbell et Stanley, 1963). C’est ainsi que le très grand nombre d’élèves ayant bénéficié de cette action de prévention (classes expérimentales) nous permettait de comparer leurs résultats à ceux de classes « témoins » n’ayant pas bénéficié de ces interventions. Ces dernières ont été choisies en fonction de leurs niveaux scolaires et de leurs implantations géographiques dans des écoles des Pyrénées. L’appariement selon ces variables rendait la comparaison possible entre des compétences initiales « probables », et celles des classes « expérimentales ».
La mesure des changements, induits par les interventions, est appréhendée en comparant les résultats des classes expérimentées et témoins. Un test statistique de comparaison des fréquences observées permet de dire dans quelle mesure les différences peuvent bien être attribuées aux effets de l’intervention ou, au contraire, aux effets du hasard.
Identifier les compétences
Les compétences visées par un programme tel que Cap gypaète étaient à la fois
cognitives (concernant les espèces et leurs milieux de vie) mais aussi sociales (valeurs, conscience, attitudes et pratiques favorables à la protection des espèces menacées ou, plus généralement, à l’éco-citoyenneté).
Ces compétences peuvent être classées (travaux de Flavell), selon plusieurs niveaux d’acquisition et d’intégration.
- Le niveau du savoir. L’évaluation s’intéresse à l’acquisition de connaissances, ou des connaissances déclaratives, que le sujet peut restituer en déclarant, par écrit ou oralement, « ce qu’il sait ».
- Le niveau du savoir-faire. Il s’agit d’évaluer la maîtrise des comportements, performances, ou connaissances procédurales… à savoir les opérations maîtrisées par le sujet pour réaliser une tâche.
- Le niveau du savoir être. C’est l’évaluation de l’engagement, l’investissement, parfois stratégique, du sujet dans ses actions, et les attitudes qu’il adopte dans une situation donnée (connaissances contextuelles). Comment l’élève réagirait dans une situation particulière ?
Notre premier travail a donc été d’établir un échantillon des compétences à évaluer.
Choisir la technologie
La technique du questionnaire à choix multiples (QCM) nous a semblé la plus appropriée à notre situation (public jeune, nombreux, captif) : nous devions évaluer rapidement, avec le maximum d’objectivité et de précision, les changements de compétences d’un grand nombre d’enfants.
Toutefois si le QCM est bien adapté pour évaluer des savoirs, il permet plus difficilement de mesurer des comportements ou des attitudes.
Il a donc fallu se contenter de poser quelques questions susceptibles de révéler les connaissances sur les pratiques appropriées et sur les intentions des élèves. Cependant, s’agissant de déclarations, il est difficile de conclure sur le comportement réel de l’enfant dans une situation précise en pleine nature.
Nous avons alors bâti un questionnaire, de concert entre les acteurs du réseau Ecco et le laboratoire de psychologie sociale de l’université de Montpellier. Il comportait une cinquantaine de questions. 
Pour compléter cette technique, et afin de recueillir des informations plus qualitatives, une dizaine d’interviews ont également été réalisées, un an plus tard.
Traiter les réponses
Dès la fin des projets scolaires (fin juin), les questionnaires ont été transmis, par les membres du réseau Ecco, via les enseignants, à tous les enfants ciblés (classes témoins et expérimentales).
Près de 350 questionnaires ont été renseignés et recueillis. Leur traitement a pu être réalisé rapidement par l’Arecs, grâce à des outils informatiques appropriés (scanner et logiciel de traitement). L’exploitation des données a ensuite été faite par le laboratoire de psychologie sociale.