Les recherches sur l’inspection scolaire en Europe. Un entretien avec Melanie Ehren

Melanie Ehren est une professeure en gouvernance des établissements scolaires et des systèmes éducatifs à l’université Vrije d’Amsterdam, Pays-Bas, directrice de l’institut de recherche LEARN ! et professeure honoraire à University College, Institute of Education (Londres). Ses travaux universitaires se concentrent sur l’efficacité des systèmes de responsabilisation et d’évaluation et ils visent à contribuer à une meilleure compréhension de l’interaction entre la responsabilisation et le système éducatif au sens large dans la lutte contre les inégalités et l’amélioration des résultats des élèves. Elle a participé à de nombreux projets internationaux sur ces questions :

– Étude financée par l’ESRC sur « La responsabilité, la capacité et la confiance pour améliorer les résultats d’apprentissage en Afrique du Sud »

– Étude comparative Erasmus+/KA2 de l’UE sur les inspections polycentriques des réseaux d’établissements scolaires dans quatre pays.

– Étude comparative financée par l’UE sur l’impact des inspections scolaires dans six pays européens.

– Projet financé par Nuffield sur la nature, la prévalence et l’efficacité des stratégies utilisées pour préparer les élèves aux tests de mathématiques de la deuxième phase de scolarité.

Traduction de la vidéo. à voir ici : http://sk.sagepub.com/video/skpromo/5PbLA3/melanie-ehren-and-jamie-clarke-discuss-inspection-and-accountability-of-sch?fromsearch=true

MELANIE EHREN : Bienvenue. Je m’appelle Melanie Ehren. [Dr. Melanie Ehren, University College London] Je suis de l’Institut d’éducation de l’UCL. Je dirige également le Centre de recherche de l’UCL sur l’évaluation et la responsabilité en matière d’éducation. Et cette étude de cas porte sur les effets et les effets secondaires des inspections scolaires. Je parlerai d’une analyse documentaire que nous avons réalisée dans le cadre du centre de recherche, qui résume et décrit les effets premiers et secondaires des inspections scolaires. Je parlerai également des facteurs qui maximisent l’impact des inspections scolaires et des mécanismes de changement qui sous-tendent les inspections scolaires.

[Effets premiers et secondaires des inspections dans les établissements scolaires]

Sur cette diapositive (voir la vidéo), vous pouvez donc voir les éléments que nous avons utilisés. Elle résume l’analyse documentaire que nous avons effectuée dans le cadre de cette étude de cas. Vous pouvez voir qu’il y a un total de 114 études dans cette revue de la littérature, y compris des recherches qualitatives et quantitatives et des méthodes mixtes. La plupart des recherches sur les inspections scolaires ont été mises en œuvre en Angleterre et aux Pays-Bas.

Il est donc important de comprendre que lorsque nous parlons de recherche sur les inspections scolaires, cela se passe particulièrement dans ces deux pays, ce qui rend assez difficile la généralisation des résultats de ce type de recherche à d’autres contextes. Mais les recherches que nous avons incluses dans cette analyse documentaire donnent une idée de ce à quoi ressemblent les effets premiers et secondaires. Ainsi, cette revue de la littérature saisit tout particulièrement les effets premiers et secondaires des inspections scolaires. Et sur la diapositive suivante (voir la vidéo), vous pouvez voir les catégories utilisées dans la recherche pour parler de ces effets. Il y a cinq catégories au total que nous utilisons pour les décrire.

La première est ce que l’on appelle les effets conceptuels. Et ce sont les types d’effets où les enseignants et les chefs d’établissement réfléchissent à la qualité de leur école, à la qualité de leur leçon en réponse à l’inspection scolaire. Ainsi, les enseignants et les chefs d’établissement se préparent à l’inspection scolaire, examinent une partie du cadre d’inspection, certaines des lignes directrices publiées par les inspecteurs de l’éducation, et les utilisent pour réfléchir à la qualité de leur enseignement et à la qualité de leur établissement. Les intentions de changement sont également le résultat du retour d’information (feedback) des inspections. Ainsi, lorsque les inspecteurs scolaires ont visité des établissements scolaires, ils fournissent un retour d’information sur les domaines problématiques, les domaines d’amélioration. Et en réponse à ces inspections, les enseignants et les chefs d’établissement se réunissent souvent pour discuter de certains de ces retours d’information et réfléchir aux domaines dans lesquels ils pensent que des changements sont nécessaires dans l’établissement.

C’est la première catégorie d’effets. Rien ne se passe à ce stade de l’établissement. Ce sont simplement les enseignants et les chefs d’établissement qui réfléchissent aux domaines dans lesquels ils peuvent améliorer l’enseignement et l’apprentissage. Et ensuite, dans la phase suivante de l’effet, ils élaborent des plans d’amélioration. Ils expriment leur intention de modifier certaines de ces pratiques.

Il ne s’agit pas encore d’un type de changement spécifique. Cela fait toujours partie de cet effet conceptuel.

La troisième catégorie comprend ce type de changement de comportement, où les enseignants et les chefs d’établissement modifient effectivement leur comportement en réponse aux inspections. Cela peut inclure la mise en place de nouvelles évaluations mais aussi des changements dans leurs pratiques d’enseignement. Cela peut inclure des changements de comportement. Une catégorie spécifique comprend l’auto-évaluation scolaire, lorsque les établissements scolaires mettent en œuvre ces évaluations ou améliorent la qualité de l’auto-évaluation scolaire en réponse aux inspections scolaires.

 Nous constatons ce genre d’effet en particulier dans les systèmes où les inspecteurs utilisent ces auto-évaluations tout au long de leurs inspections et, peut-être, fournissent également un retour d’information sur la qualité de ces auto-évaluations scolaires. Les établissements scolaires qui améliorent l’auto-évaluation de leur établissement ou qui mettent en œuvre ces évaluations sont considérées comme ayant une meilleure capacité d’améliorer leur propre établissement. Elles sont mieux à même de conduire l’amélioration de l’établissement de manière continue tout au long de l’année et également en réponse aux inspections scolaires.

Ensuite, la dernière catégorie, nous allons voir des améliorations réelles de l’apprentissage des élèves. Et c’est le résultat final des inspections scolaires que de nombreux inspecteurs espèrent évidemment voir à la suite de leurs inspections. Certaines de ces études, notamment en Angleterre et aux Pays-Bas, ont montré une amélioration des résultats des élèves à la suite des inspections scolaires, en particulier dans les établissements scolaires faibles, c’est-à-dire celles qui avaient échoué lors d’une première évaluation d’inspection. Mais certaines de ces études montrent également une baisse des résultats des élèves à la suite des inspections scolaires. Et l’hypothèse ici est que tout le temps consacré à la préparation d’une visite d’inspection est en fait une perte de temps pour l’enseignement et l’apprentissage, ce qui entraînerait une baisse des résultats des élèves. Nous avons donc un tableau mitigé des effets premiers et secondaires des inspections scolaires dans les différents types de systèmes. Les inspections n’ont pas seulement des effets positifs, elles ont aussi des conséquences ou des effets secondaires imprévus.

La diapositive suivante  (voir vidéo) montre les types de conséquences involontaires que nous constatons lors des inspections. Et ces types d’effets ont été classés par de nombreux chercheurs. Campbell, par exemple, a commencé ce travail il y a une vingtaine d’années. Smith a parlé des effets secondaires non intentionnels des mesures de performance. Mais ces trois catégories sont particulièrement issues des travaux de de Wolf et Janssens, qui ont résumé les travaux sur les conséquences involontaires des inspections scolaires et des mesures de performance. Et ils parlent de comportement stratégique non intentionnel, de comportement stratégique intentionnel, et des effets secondaires de ces deux types de comportement.

Ainsi, lorsque nous parlons de la première catégorie de comportement stratégique involontaire, ce dont nous parlons réellement, c’est de la manière dont les évaluations, telles que les inspections scolaires, influencent le comportement des établissements scolaires, des enseignants et des chefs d’établissement de manière involontaire. Par exemple, en réduisant les programmes scolaires, en motivant les enseignants à suivre un plan de cours très scénarisé pour enseigner conformément à l’inspection, pour enseigner pour la réussite à l’examen, les établissements scolaires réagissent aux inspections d’une manière qui pourrait réduire ce qu’ils font d’une façon qui n’est pas voulue par les inspecteurs de l’éducation. On trouve également dans la littérature des exemples de paralysie organisationnelle où les établissements scolaires s’abstiennent d’innover, s’abstiennent d’améliorer parce qu’elles craignent que toute amélioration ou innovation ne corresponde pas au cadre d’inspection.

C’est vraiment la première catégorie de conséquences non intentionnelles. Lorsque nous examinons la deuxième catégorie de comportements stratégiques involontaires, il s’agit du type de réponses qui sont très intentionnelles, plus intentionnelles que la première catégorie. Il pourrait s’agir d’exemples de manipulation des données envoyées aux inspecteurs. Elle comprend des exemples de fraude des établissements scolaires en matière d’enseignement, de tests, ou d’envoi de données inexactes aux inspecteurs dans le but d’être évalués plus positivement sur le cadre d’inspection. Et ces deux types de comportements stratégiques peuvent avoir des effets secondaires en termes de baisse des résultats des élèves, ou bien ils peuvent avoir des effets secondaires en démotivant le personnel qui ne s’améliore pas dans l’établissement. Donc, lorsque nous parlons des effets et des effets secondaires des inspections scolaires et des résultats des recherches dans ce domaine, nous voyons vraiment la nature variée et multidimensionnelle des inspections scolaires, ce qui m’amène à cette dernière diapositive (voir vidéo), qui résume les travaux dans ce domaine.

Et ce que vous pouvez voir sur cette diapositive, c’est qu’une leçon essentielle pour réfléchir aux effets et aux effets secondaires de l’inspection scolaire, c’est que les effets sont variés et multidimensionnels. Et ils varient d’une école à l’autre. Ils varient d’un système d’inspection à l’autre. Et ils varient selon les catégories d’établissements scolaires. Les établissements scolaires qui sont évalués comme étant en échec verront différents types d’effets par rapport aux établissements scolaires qui sont évalués comme étant très performants. Cela nous amène donc à réfléchir sur les facteurs qui maximisent l’impact des inspections et sur certains des mécanismes sous-jacents de changement, ce dont je parlerai dans la prochaine diapositive.

[Facteurs qui maximisent l’impact des inspections]

Ainsi, lorsque nous pensons aux facteurs qui maximisent l’impact des inspections, nous parlons à nouveau de trois types de catégories de facteurs qui motiveraient l’impact des inspections.

La première est celle des conditions qui doivent être en place dans les établissements scolaires pour que les inspections soient efficaces. Et c’est aussi ce dont j’ai parlé précédemment. Les établissements scolaires qui ont été évaluées comme étant très performantes ont souvent la capacité de s’améliorer. Et ces établissements scolaires constatent différents types d’effets. Ils sont peut-être en mesure de mettre en place un retour d’information sur les inspections de manière plus efficace que les établissements scolaires qui sont évalués comme étant en échec.

 Nous pouvons également voir des conditions dans les systèmes d’inspection, des facteurs dans la façon dont les inspections sont mises en œuvre qui auraient un effet sur l’efficacité du système tout entier. Par exemple, ce que nous constatons dans les recherches, c’est que les inspections qui utilisent des seuils pour distinguer les établissements scolaires en échec de celles qui sont performants ont plus d’effet que celles qui ne classeraient pas les établissements scolaires comme étant en échec ou très performants. En particulier, les établissements scolaires qui sont désignés comme étant en échec mettraient en œuvre davantage d’améliorations et plus rapidement après une visite d’inspection. Et la mise en place de ce seuil motiverait les établissements scolaires à le faire réellement. Nous constatons également que les systèmes d’inspection avec ce type de seuil motivent les établissements scolaires tout au long des années à s’assurer qu’ils obtiennent des résultats supérieurs au seuil. Cela motive donc l’amélioration même au-delà de la simple visite d’inspection.

 La troisième catégorie concerne les conditions externes dans lesquelles les établissements scolaires et les systèmes d’inspection fonctionnent. Nous pouvons constater que les établissements scolaires ont souvent besoin d’un accompagnement pour s’améliorer. Et le fait que les systèmes éducatifs disposent de cet accompagnement serait un facteur bénéfique lorsqu’on réfléchit à l’impact des inspections scolaires. Dans une récente étude de l’UE, nous avons également examiné en particulier les mécanismes de changement qui sous-tendent les inspections. Et ces mécanismes de changement nous indiquent comment les établissements scolaires réagissent aux visites d’inspection et comment nous pouvons réfléchir aux processus de changement qui ont lieu lorsque les inspections sont mises en œuvre dans les établissements scolaires. Et la diapositive (voir vidéo) que vous voyez maintenant présente le cadre conceptuel qui met en évidence ces mécanismes de changement.

Vous voyez donc sur cette diapositive trois grandes catégories de mécanismes de changement.

La première est ce que nous avons appelé la fixation d’attentes. Et ce mécanisme de changement clarifie la manière dont l’inspection fixe les attentes dans les établissements scolaires. Grâce aux cadres, aux lignes directrices et aux protocoles que les inspecteurs de l’éducation utilisent dans leurs inspections et à la publication de ces protocoles – sur Internet, par exemple – les établissements scolaires savent ce que l’inspecteur attend d’elles en termes de qualité de l’enseignement, de qualité de l’organisation scolaire. Et ils utilisent ces protocoles et ces lignes directrices pour élaborer leurs propres plans afin d’éclairer leur auto-évaluation scolaire. Mais aussi, d’autres acteurs du système éducatif utilisent ces protocoles et lignes directrices pour soutenir l’amélioration des établissements scolaires.

Ainsi, le simple fait qu’il existe un cadre avec des normes d’inspection, qui est à la disposition des établissements scolaires, crée déjà un mécanisme de changement qui garantit que les établissements scolaires commencent à s’améliorer et essaient de répondre à ces normes d’inspection.

Le deuxième mécanisme concerne le retour d’information (feedback) des inspections. Les établissements scolaires utilisent ces recommandations d’inspection et les indications d’amélioration. Le retour d’information que les inspecteurs fournissent à la fin d’une visite d’inspection, mais aussi dans un rapport d’inspection, sont des directives très claires quant aux établissements scolaires qui ont besoin d’améliorations. Et la mesure dans laquelle ce retour d’information est considéré comme pertinent par l’établissement, la mesure dans laquelle il est considéré comme précis, la mesure dans laquelle il s’inscrit dans le plan d’amélioration de l’établissement lui-même favorise ce processus. Les établissements scolaires, qui estiment que le retour d’information est pertinent et correspond réellement à ce qu’ils font déjà, acceptent ce retour d’information plus rapidement et l’utilisent pour informer leurs propres plans d’amélioration.

Le troisième et dernier mécanisme de changement concerne les actions des parties prenantes, telles que les parents. Dans de nombreux cas, les inspecteurs publient des rapports d’inspection, et ils attendent des parents, mais aussi des autres parties prenantes, qu’ils utilisent ce rapport dans leur communication aux établissements scolaires. Par exemple, les parents sont censés utiliser le rapport d’inspection pour choisir un bon établissement. Et ce mécanisme est censé motiver les établissements scolaires pour essayer d’obtenir de bons résultats dans le cadre de l’inspection. Mais les parents sont également censés utiliser ce rapport d’inspection pour parler aux chefs d’établissement des changements à apporter à l’établissement. Et certaines recherches suggèrent que dans certains domaines où il existe une concurrence entre les établissements scolaires, les établissements scolaires accordent plus d’attention aux rapports d’inspection en tenant compte des commentaires et en utilisant les rapports pour s’améliorer. Ces trois mécanismes de changement expliquent donc réellement comment une inspection conduit à une amélioration, comment les établissements scolaires utilisent le retour d’information pour améliorer leur propre auto-évaluation scolaire, et comment cela conduit, dans le meilleur des cas, à une amélioration des résultats des élèves.

[Conclusion] 

J’espère donc vous avoir donné une idée des effets et des effets secondaires des inspections scolaires, des mécanismes de changement et de certains des facteurs dans les établissements scolaires, dans les systèmes d’inspection et dans le contexte externe des établissements scolaires qui seraient à l’origine de ce changement.

Cette diapositive (voir vidéo) montre un exemple de la façon dont l’OFSTED (inspection anglaise) fixe des attentes, ou essaie de fixer des attentes. Elle montre comment ils utilisent les clips YouTube pour que les établissements scolaires examinent les bons exemples, les bonnes pratiques. Et en utilisant YouTube et des exemples de bonnes pratiques, ils ont vraiment essayé de fixer des attentes dans les établissements scolaires sur un bon enseignement et une bonne qualité.

Pouvez-vous citer des exemples dans votre propre pays de la manière dont un inspecteur de l’éducation essaie de fixer des attentes en matière d’éducation de qualité ? Quelles sont ces attentes ? Existe-t-il des clips YouTube similaires, ou peut-être même des flux Twitter, réalisés par des inspecteurs de l’éducation qui signaleraient ce genre de bonnes pratiques ? Et à quoi ressembleraient-ils ?

Il est évident qu’il y a beaucoup plus à dire quand on pense aux systèmes d’inspection.

Comment les systèmes d’inspection varient-ils d’un pays à l’autre ? Comment évoluent-ils au fil du temps ? À quoi ressemblent les modèles dans les systèmes plus décentralisés ?

Ce sont toutes des questions dont je n’ai pas parlé. Toutefois, si vous souhaitez approfondir la question, j’ai ajouté un livre sur ce sujet, qui vous sera utile si vous voulez en savoir plus sur les inspections scolaires efficaces. Et cette dernière diapositive (voir vidéo) vous montre la couverture du livre. Elle indique également l’adresse du site web du projet de l’UE dont j’ai parlé et du site web de mon centre de recherche, qui vous conduira à d’autres études et travaux dans ce domaine. Je vous encourage donc à lire ce livre. Et j’espère que cet exposé vous a donné une sorte d’aperçu du domaine qui vous sera utile pour en savoir plus sur les inspections scolaires efficaces.