• Waël Abdallah

D’une expérimentation sociale à une politique publique éducative : un long chemin


Étude de cas du dispositif de Médiation Sociale en Milieu Scolaire (MSMS) pour lutter contre le harcèlement et la violence à l’école Résumé Alors qu’il touche au moins 10% des élèves, le harcèlement scolaire est un enjeu éducatif majeur qui concerne la majorité des écoles et collèges français. Cette importante prévalence justifie donc la nécessité d’avoir un programme de lutte qui puisse être généralisé à l’échelle du territoire national. Toutefois, il n’existe à ce jour pas de preuve solide concernant l’effet des différents dispositifs de prévention sur le déclin de la violence à l’école et du harcèlement scolaire car la majorité des évaluations de ces programmes ne sont pas de nature expérimentale. Afin de répondre aux limites soulevées par la littérature scientifique, le réseau national France Médiation a mis en place un programme de Médiation Sociale en Milieu Scolaire (MSMS) évalué par une équipe d’économistes du Laboratoire Interdisciplinaire d’Évaluation des Politiques Publiques (LIEPP) de Sciences Po et soutenu par le Fonds d’Expérimentation pour la Jeunesse (FEJ). Il s’agit du plus grand essai contrôlé randomisé d’une intervention scolaire pour réduire le harcèlement. À partir d’une étude de cas de ce dispositif, cet article explique quels sont les pré-requis nécessaires à la généralisation d’une expérimentation sociale et quelles sont les difficultés qui peuvent arriver et doivent être surmontées afin d’aboutir à terme à la conception d’une politique publique. Introduction Créé en 2008, le Fonds d’Expérimentation pour la Jeunesse (FEJ) soutient de nombreuses innovations sociales en faveur de la réussite scolaire et de l’insertion professionnelle des jeunes de moins de vingt-cinq ans afin d’éclairer in fine la conception de politiques publiques. La célébration de ses dix ans, le 6 décembre 2018, était ainsi l’occasion de dresser un bilan de ses différents programmes d’expérimentation. Parmi les projets portés par le FEJ, ces dernières années, certains se sont par exemple concentrés sur la question de la prévention et de la lutte contre le harcèlement et la violence à l’école, un problème largement répandu, avec une prévalence d’au moins 10% (Olweus, 1993 ; Debarbieux, 2011), mais qui reste pour autant très mal identifié par les communautés éducatives. C’est pour répondre à cet enjeu crucial que le FEJ a lancé, en partenariat avec l’Éducation nationale, en 2012, un appel à projet afin de mettre en place et d’évaluer simultanément différentes interventions avant de les généraliser. L’une d’elle consistait notamment à faire intervenir en milieu scolaire des tiers (i.e. des médiateurs sociaux) pour développer un climat positif au sein des écoles, faciliter la prévention et l’identification des situations de violence, ainsi que réduire l’absentéisme et l’exclusion. Ce programme de Médiation Sociale en Milieu Scolaire (MSMS), porté par le réseau national France Médiation et évalué par une équipe d’économistes du Laboratoire Interdisciplinaire d’Évaluation des Politiques Publiques (LIEPP) de Sciences Po, est à ce jour le plus grand essai contrôlé randomisé d’une intervention scolaire pour réduire le harcèlement. Il s’agit ainsi d’une étude de cas riche en enseignements pour mieux appréhender les étapes nécessaires au passage d’une innovation sociale à une politique publique éducative, tout comme les difficultés pouvant accompagner ce long processus. Cet article montrera ainsi que (1) si le MSMS remplit les conditions indispensables au bon déroulement d’une expérimentation sociale afin que celle-ci puisse éventuellement être généralisée, (2) les résultats actuels de cette intervention invitent à conduire d’autres expérimentations avant de pouvoir la déployer sur l’ensemble du territoire français. Le MSMS, une innovation sociale soutenue par le Fond d’Expérimentation pour la Jeunesse (FEJ) et rigoureusement évaluée par une équipe de chercheurs... Pour pouvoir être généralisée à grande échelle, une mesure éducative doit d’abord démontrer son efficacité et son impact sur le problème qu’elle vise à résorber. Or, la littérature scientifique sur les programmes de prévention et de lutte contre le harcèlement scolaire révèle qu’il n’existe à ce jour pas de preuve solide concernant l’effet de ces différentes expériences sur le déclin de la violence à l’école. A contrario, la rigueur du protocole du projet MSMS est telle qu’elle permet de mesurer une potentielle relation causale entre son intervention et son impact sur le taux de harcèlement et l’amélioration du climat scolaire. En effet, alors que les évaluations conduites jusqu’à présent étaient essentiellement non expérimentales ou quasi-expérimentales — comme le montre la méta-analyse de Ttofi et Farrington (2011) — le design de l’expérience MSMS repose sur la mise en place d’un essai contrôlé randomisé à une très large échelle ; ce qui lui permet d’éviter de souffrir de biais méthodologiques, comme le biais de sélection (i.e. des échantillons qui ne sont pas sélectionnés de manière aléatoire risquent de ne pas être représentatif d’un ensemble plus large de la population), et de garantir ainsi la validité interne comme externe de son évaluation (Karthik et Niehaus, 2017). Au cours de l’expérience MSMS, les 40 territoires de l’échantillon ont en effet été divisés en 2 sites scolaires comprenant chacun 1 collège et 2 ou 3 écoles primaires. Chacun des sites était ensuite placé aléatoirement soit sous une condition contrôle (i.e. non bénéficiaire de l’intervention), soit sous une condition expérimentale (i.e. bénéficiaire de l’intervention). Un tel design permet ainsi de construire un “contrefactuel” et dès lors de comparer les effets d’une intervention à ce qui serait advenu dans un “état de nature” (Gurgand, 2014). Autrement dit, cela signifie qu’une quelconque différence observée entre les deux groupes ne peut qu’être le résultat de l’intervention et non de facteurs externes, et que par conséquent des enseignements fiables et pertinents peuvent être tirés de l’expérience MSMS pour éclairer la décision publique. Une revue systématique sur le recours aux expériences contrôlées randomisées pour les questions d’éducation confirme d’ailleurs qu’un tel design permet bien de démontrer l’effet causal d’interventions éducatives (e.g. 80,8% des expériences passées en revue ont pu générer des preuves des effets des interventions éducatives évaluées) (Connolly, Keenan et Urbanska, 2018). Mais au-delà du biais de sélection, d’autres obstacles peuvent semer d’embûches le chemin allant d’une expérimentation sociale à sa généralisation. L’un deux est notamment la dépendance au contexte. Autrement dit, quand bien même un impact est démontré à la suite d’une expérimentation, il se pose toujours la question de savoir si les effets obtenus se reproduiront sur d’autres territoires, dans d’autres contextes, dans le cas d’une éventuelle généralisation. Particulièrement difficile à surmonter totalement, comme le rappelle Banerjee et ses collègues (2017), cette limite fondamentale à tout travail empirique (Gurgand, 2018) peut néanmoins être en partie neutralisée par la conduite d’expérimentations à de très larges échelles (Karthik et Niehaus, 2018). Or, là encore, le programme MSMS respecte cette condition indispensable à l’essaimage et tend ainsi à garantir la validité externe de son étude d’impact. En effet, ayant été déployé dans pas moins de 80 collèges et 226 écoles, répartis sur 66 communes et 12 académies, le projet MSMS est en effet la plus grande expérience contrôlée randomisée d’une intervention scolaire pour prévenir et lutter contre le harcèlement. Ainsi testé dans une diversité de contexte, le programme MSMS augmente donc ses chances de réplicabilité sur différents territoires. Au-delà de son rôle d’évaluation, la fiabilité d’un protocole expérimental permet aussi de jouer un rôle instrumental pour favoriser l’acceptation de l’intervention par le gouvernement (Banerjee et al., 2017). Du fait de la rigueur méthodologique de ses expérimentations, le FEJ peut donc être considéré comme un laboratoire d’innovations publiques fondé sur des preuves (McGann et al., 2018 ; Fuller et al., 2016), dont la singularité dans le paysage institutionnel français est en effet de reposer sur des méthodes quantitatives. Or, le cadre organisationnel même dans lequel s’inscrit l’expérimentation est également d’une grande importance afin d’aboutir à terme à une éventuelle généralisation. En effet, il peut, par exemple, être pertinent que l’expérimentation soit conduite telle qu’elle pourrait l’être dans la réalité ; autrement dit, qu’elle ne soit pas mise en place par l’équipe d’experts qui l’évalue mais bien par les acteurs qui pourraient en être également chargés à l’avenir si l’intervention devait être mise à l’échelle afin de se confronter dès la phase d’expérimentation aux obstacles de pilotage. Or, en suivant une logique ascendante de partenariat-public-privé (Kerivel & James, 2018), le projet MSMS s’inscrit dans cette idée de collaboration et de distinction des rôles entre une équipe de chercheurs externes, en charge de l’évaluation, d’une part, et des acteurs des terrains responsables de la coordination du projet, d’autre part (i.e. en l’occurrence, l’association France Médiation devait s’occuper du recrutement et de l’entraînement des médiateurs ; de la recherche de financements et partenaires supplémentaires ; etc.). En partie financé par le FEJ, l’intervention MSMS, a par ailleurs bénéficié du soutien d’un panel d’acteurs très variés — tels que le Ministère de l’Éducation nationale et celui des Affaires Urbaines — qui appartenaient tous à un comité de pilotage auquel France Médiation et l’équipe de chercheurs de Sciences Po devaient rendre des comptes tant sur la mise en place du programme que sur son évaluation. Ainsi, la collaboration avec des partenaires gouvernementaux, dédiant des fonds au projet, peut apparaître comme un atout considérable pour faciliter le bon déroulement d’une expérimentation tout comme pour accroître la fiabilité des résultats de son évaluation. Néanmoins, cela ne garantit pas pour autant la possibilité de passage à l’échelle.



...qui nécessite toutefois davantage d’expérimentations avant de pouvoir être déployée à l’échelle. La généralisation d’une intervention requiert de comprendre avec précision les mécanismes sous-jacents au phénomène qu’elle cible. Or, à partir des observations empiriques engendrées par l’expérimentation MSMS, est-il possible d’appréhender totalement la théorie du changement conduisant à la réduction du harcèlement ? Alors que les résultats agrégés ne permettent pas de tirer de conclusion générale sur l’efficacité du programme, en regardant de plus près l’hétérogénéité qui s’en dégage — notamment selon l’âge des médiateurs et des enfants — deux effets significatifs peuvent être observés : (1) une diminution de 46% de la probabilité de se sentir harcelé sur la catégorie d’enfants qui était la plus vulnérable à la question du harcèlement scolaire (i.e. les garçons de 6ème) ; (2) les interventions ayant eu lieu avec un médiateur âgé de plus de 25 ans ont eu plus d’effets que les autres (Algan, Guyon & Huillery, 2015). Mais, malgré la robustesse de ces résultats, plusieurs zones d’ombre restent à élucider, notamment sur la question de l’efficacité du programme selon son intensité, ainsi que sur l’âge idéal auquel il vaudrait mieux intervenir. L’absence d’effet notable au niveau des écoles primaires pourrait être due, par exemple, au fait que les médiateurs ont passé moins d’heures dans ces établissements que dans les collèges. Une autre hypothèse pourrait être celle de la moindre maturité des enfants de primaire par rapport aux collégiens, plus susceptibles de développer des capacité de self-contrôle (Ttofi et Farrington, 2011). Aussi, pour éclairer ces incertitudes, d’autres expérimentations pourraient être menées en mettant par exemple en place des interventions d’une plus grande intensité. Par ailleurs, d’autres méthodes de recherche pourraient être employées, telles que la passation de questionnaires, d’entretiens qualitatifs ou de tests psychométriques, pour complémenter les résultats des essais randomisés contrôlés et mieux capturer la cause ultime derrière le phénomène du harcèlement scolaire. A partir des observations empiriques issues de l’intervention MSMS, il n’est donc pas possible pour l’heure d’orienter les politiques publiques sur la question du harcèlement scolaire. Mais peut-être cela sera-t-il possible au terme d’autres expérimentations et des enseignements qui leur seront subséquents. Le problème est que la conduite d’autres expérimentations demande prosaïquement du temps et de l’argent. L’exemple de passages à l’échelle réussi de certains programmes comme “La Mallette des parents” (i.e. des outils pour encourager l’implication des familles dans la scolarité de leurs enfants) ou “Teaching At the Right Level” (i.e. une approche pédagogique pour enseigner à des enfants répartis dans différents groupe de niveau) montrent en effet que ceux-ci ont nécessité plusieurs expérimentations, échelonnés sur plusieurs années. Il leur a donc fallu bénéficier de soutiens financiers et institutionnels importants car comme le souligne Duflot, la généralisation est souvent moins une question de technique que de “volonté politique” (Duflot, 2018). Afin de pouvoir éventuellement être généralisé à une échelle nationale, le programme MSMS va dès lors devoir relever plusieurs obstacles qui dépassent la seule démonstration rigoureuse de son impact. En effet, de nombreuses difficultés sont intervenues pendant la phase d’expérimentation, telles que l’hostilité de certaines écoles à l’accueil de médiateurs venus de l’extérieur ; l’irruption de dépenses imprévues ; le délais de la mise en place des interventions (réduites alors à 13 mois au lieu de 18) ; la nécessité d’inclure d’autres sites comme la Martinique ; etc. En conséquence de ces aléas, l’expérimentation a dû subir quelques modifications par rapport à ses plans initiaux, qui certes permettent de tirer des enseignements sur les obstacles que le programme pourrait rencontrer à l’échelle, mais qui questionne dans le même temps la capacité de France Médiation par exemple à coordonner un programme d’une telle envergure. Aussi, pour réussir l’essaimage du programme MSMS, les équipes en charge de ce projet devront non seulement conduire d’autres expérimentations susceptibles d’apporter des preuves fiables et rigoureuses de son effet sur la réduction du taux de harcèlement, mais également parvenir à surmonter des obstacles organisationnels et institutionnels en faisant preuve de conviction et de persuasion pour communiquer leurs résultats. Enfin, il peut-être souligné que le temps induit par la conduite de multiples expérimentations peut à terme mener à la conception de politiques publiques inadaptées au nouveaux contexte social dans lequel elles s’inscrivent. Comme la majorité des enjeux sociaux, le harcèlement scolaire est en effet un problème évolutif, dès lors susceptible de se manifester sous d’autres formes au gré des évolutions sociotechniques. En témoigne d’ailleurs le récent appel à projets lancé par Facebook pour juguler le problème du discours de haine en ligne et du cyber-harcèlement. Sans doute, peut-il être ainsi avancé que les phénomènes de harcèlement se produiront dans les années à venir davantage au sein d’espaces virtuels plutôt que dans des milieux scolaires, et qu’ils prendront de plus en plus la forme d’agressions verbales plutôt que physiques. Aussi, est-il nécessaire d’anticiper ces possibles évolutions pour rendre l’intervention MSMS non pas seulement scalable mais aussi durable, c’est-à-dire capable de s’adapter à un nouveau contexte social. En définitive, la plus grande difficulté du passage à l’échelle d’une innovation sociale à une politique publique éducative semble moins être un problème de spatialité que de temporalité, du fait d’un décalage important entre le temps lisse et long nécessaire à la recherche et l’expérimentation, et le temps court et chaotique dans lequel s’inscrit la conception de politiques publiques. Dès lors quelle leçon en tirer pour de futurs décideurs ? Peut-être celle que la généralisation d’une innovation sociale est un long processus pour lequel il faut s’armer de patience, et duquel on tire sans doute moins d’enseignements mécaniques et reproductibles à l’identique, qu’une meilleure compréhension des difficultés à contourner et des obstacles à surmonter. Aussi, bien que les résultats issus de l’expérimentation MSMS ne permettent pas à l’heure actuelle de généraliser le dispositif à l’ensemble du territoire française par la mise en place d’une politique publique éducative, plusieurs étapes pour aller vers cet objectif peuvent néanmoins être suggérées à partir des enseignements issus du déroulement de l’expérience et des accrocs qui l’ont ponctuée. En effet, celle-ci a montré que : (1) l’efficacité du programme était accrue lorsque les médiateurs étaient plus expérimentés ; (2) le programme était particulièrement bénéfique pour la catégorie d’enfants qui était la plus vulnérable à la question du harcèlement scolaire (i.e. les garçons de 6ème). Ces deux résultats prometteurs invitent ainsi à assurer la qualité et la formation du recrutement des médiateurs sociaux et à réaliser un travail de communication sur leur métier ainsi que sur les apports et résultats du dispositif pour permettre une adhésion plus large au programme au sein des professionnels de l’Éducation nationale qui y ont parfois été réticents. Toutefois, des zones d’ombre restent à éclairer en déployant d’autres expérimentations avant de pouvoir garantir un essaimage du programme sur l’ensemble du territoire français. La question de l’absence d’effet significatif dans les écoles primaires pourrait notamment être élucidée en conduisant une nouvelle expérimentation dans laquelle la présence des médiateurs au sein des écoles primaires serait aussi soutenue que dans les collèges. Une des limites des méthodes d’évaluation aléatoire est en effet parfois de ne pas tenir compte des effets potentiellement différentiels de l’intervention à l’étude selon les contextes et sur différents sous-groupes d’élèves. Conduire d’autre expérimentation permettraient ainsi d’identifier non pas des relations causales générales mais de discerner plus finement pour quelles catégories d’élèves le programme a un impact et sous quelles circonstances.

Références

Algan Y., Guyon N., Huillery E. (2015). Rapport d’évaluation Comment lutter contre la violence et le harcèlement à l’école et au collège ? Effets du dispositif de médiation sociale France Médiation et d’un dispositif de prise de conscience du niveau de violence, LIEPP, Sciences Po., Fonds d’expérimentation pour la Jeunesse. http://www.experimentation.jeunes.gouv.fr/IMG/pdf/Synthese_RF_EVA_APSCO4_20.pdf

Banerjee, A., Banerji, R., Berry, J., Duflo, E., Kannan, H., Mukerji, S., Shotland, M. & Walton, M. (2017). From proof of concept to scalable policies: challenges and solutions, with an application. Journal of Economic Perspectives, 31(4), 73-102. https://doi.org/10.3386/w22931

Connolly, P., Keenan, C. & Urbanska, K., (2018). The trials of evidence-based practice in education: a systematic review of randomised controlled trials in education research 1980–2016, Educational Research, 60:3, 276-29. https://doi.org/10.1080/00131881.2018.1493353

Duflot, E. (février, 2018). Le rôle de l'expérimentation dans le domaine éducatif. Collège de France.https://www.college-de-france.fr/site/stanislas-dehaene/symposium-2018-02-01-15h00.html

Debarbieux, É. (2011). Refuser l’oppression quotidienne : la prévention du harcèlement à l’École, Rapport de l’Observatoire International de la Violence à l’école au ministre de l’Éducation nationale, de la Jeunesse et de la Vie associative. http://media.education.gouv.fr/file/2011/64/5/Refuser-l-oppression-quotidienne-la-prevention-du-har celement-al-ecole_174645.pdf Fuller, M. & Lochard, A. (2016). Public policy labs in European Union member states, Publications de l’Union européenne, Luxembourg. https://doi:10.2788/799175 Gurgand, M. (décembre, 2018). Le FEJ et la réflexion sur les méthodes et modalités d’évaluation des expérimentations sociales et des dispositifs jeunesse. INJEP. Gurgand, M. (février, 2014). Que nous apprennent les expérimentations sociales ? Collège de France.https://www.college-de-france.fr/site/pierre-michel-menger/seminar-2014-02-21-11h00.htm Karthik, M. & Niehaus, P. (2017). Experimentation at Scale. Journal of Economic Perspectives, 31(4).https://www.jstor.org/stable/pdf/44425383.pdf?refreqid=excelsior%3Ab68e2fe06dbfc39e609d dd27c135cd58 Karthik, M. & Niehaus, P. (2018). Why studies should be conducted on a larger scale. VoxEu.org, 10 october. https://voxdev.org/topic/methods-measurement/why-studies-should-be-conducted-larger-scale Kerivel, A. & James, S. (2018). L’expérimentation sociale : étapes et méthodes d’évaluation. Fiches repères, INJEP. McGann, M., Blomkamp, E., & Lewis, J. M. (2018). The rise of public sector innovation labs: experiments in design thinking for policy. Policy Sciences, 1-19. https://doi.org/10.1007/s11077-018-9315-7 Olweus, D. (1993). Bullying at school: What we know and what we can do. Malden, MA: Blackwell Publishing. Ttofi, M. M., & Farrington, D. P. (2011). Effectiveness of school-based programs to reduce bullying: A systematic and meta-analytic review. Journal of Experimental Criminology, 7(1), 27-56. https://link.springer.com/article/10.1007/s11292-010-9109-1


  • Blanc LinkedIn Icône
  • Blanc Twitter Icon
  • Blanc Facebook Icône

La Revue d'affaires publiques 2019 ©. 

27, rue Saint Guillaume - 75337 Paris Cedex 07
Tél : +33 (0)1 45 49 50 50

Par courriel