Enquêtes internationales sur le rendement scolaire et sur les attitudes des élèves
Le point de départ consiste en une thématique dont l’intérêt dépasse les préoccupations d’un seul pays, et pour laquelle une comparaison entre pays ou systèmes éducatifs serait éclairante, comme le niveau de compétence des adultes en compréhension à la lecture ou les attitudes en matière de civisme des jeunes de 18 ans. Un groupe d’experts et/ou de représentants de chaque pays se met alors au travail, généralement sous l’égide d’une organisation internationale (UE, UNESCO, OCDE, IEA…). Il s’agit de déterminer précisément les domaines à évaluer et de mettre au point un cadre théorique. Ensuite, les développeurs de test construisent une batterie d’épreuves. Des études pilotes puis un essai de terrain mené dans chaque pays ont pour fonction de valider l’ensemble des instruments de l’étude et des processus d’administration, afin de fonder les analyses et comparaisons internationales sur des données valides et fiables. Lors de l’étude principale, un échantillon représentatif de la population concernée est évalué. Enfin, les données sont traitées et analysées.
Elles permettent de « classer » les systèmes éducatifs selon différentes dimensions – leur efficacité, leur équité… (palmarès).
Elles ouvrent les yeux sur d’autres réalités, d’autres structures, sur le fait que nos fonctionnements ne sont pas universels.
Ce qui nous semble la règle est parfois l’exception : par exemple dans 11 des 34 pays OCDE, plus de 95 % des élèves sont à l’heure dans leur parcours (ils sont dans l’équivalent de notre 4e secondaire) ; dans 19 pays sur 34, l’âge de la première orientation est 15 ou 16 ans.
Elles permettent de faire des liens entre les caractéristiques des systèmes et leurs performances, leur équité…; on peut tirer des informations pertinentes de cette diversité, c’est comme un laboratoire géant. Par ex. les pays qui pratiquent le redoublement ont-ils de meilleurs résultats ou est-ce l’inverse ? Quand la Pologne décide de prolonger d’un an le tronc commun, observe-t-on un nivellement par le bas ?
Bien sûr, la comparaison a ses limites : on ne peut pas importer sans prudence des « recettes » prêtes à l’emploi d’un pays à l’autre. Néanmoins, la comparaison fournit des pistes et des balises qui sont à prendre en considération et qui ont plus de valeur et de solidité que de simples opinions.
Depuis sa fondation au début des années 1960 par le professeur Gilbert de Landsheere, le Laboratoire de pédagogie expérimentale de l’Université de Liège a joué un rôle de premier plan dans les enquêtes internationales.
Au niveau international, tout d’abord, Gilbert de Landsheere est en effet un des pionniers qui, aux côtés de T.N. Postelthwaite et de T. Husén ont fondé l’Association internationale pour l’évaluation du rendement scolaire, mieux connue sous le nom I.E.A.
Dès 1964, la Belgique a participé à une étude sur le rendement en mathématique dans douze pays. La Belgique francophone a ensuite participé dès la fin des années 1960 à la Six subjects study. Dès cette époque, c’est au Laboratoire de pédagogie expérimentale qu’est confiée la mise en œuvre de l’enquête et l’analyse des résultats.
Ce bref historique montre le rôle fondateur et dynamique qu’a joué le Laboratoire/Service de pédagogie expérimentale de l’ULg dans la mise sur pied et la réalisation des enquêtes internationales. Le service « aSPe » s’inscrit résolument dans cette filiation.
Plusieurs chercheurs de l’Université de Liège font partie des comités d’experts internationaux qui pilotent au plus haut niveau les enquêtes internationales. Pour ne citer que les plus récentes, Aletta Grisay a joué un rôle de premier plan dans le processus de création de PISA au départ du réseau Ines A de l’Ocdé ; elle a été pendant de longues années membre du Technical Advisory Group (TAG) de PISA. Christian Monseur est également membre du TAG de PISA et de I.E.A.-Pirls et expert référent en matière d’échantillonnage pour PISA. Marcel Crahay a été, au début des années 1990, membre du Steering Group de l’I.E.A.-PPP (preprimary project). Dominique Lafontaine est, depuis le début de PISA, membre du groupe d’experts internationaux pour la lecture ; elle a aussi été membre du groupe d’experts internationaux pour la lecture dans le cadre de Pirls 2006. Ainsi, pour les enquêtes PISA 2000, 2009 et 2012, l’aSPe fait partie du consortium de centres de recherches qui, sous la responsabilité de l’Australian Council of Educational Research (ACER), pilote les enquêtes PISA. Des chercheurs de l’aSPe font également partie des équipes de développeurs d’items en lecture, tant pour les tests classiques que pour la lecture sur ordinateurs (Ariane Baye et Patricia Schillings) et en mathématiques (Isabelle Demonty et Annick Fagnant). L’aSPe de l’Université de Liège constitue incontestablement un centre de référence en la matière, dont l’expertise est reconnue sur le plan international.
Enfin, pour la Communauté française, c’est l’aSPe qui gère la mise en œuvre de l’enquête PISA, de l'enquête PIRLS et de l'Etude européenne des compétences en langues et qui procède à l’analyse des résultats.
Baye, A. (2001). Evaluations internationales : Les enjeux du jour et de l'histoire. Les Cahiers du Service de Pédagogie Expérimentale, 7-8, 11-23. Liège, Belgique : Service de Pédagogie expérimentale de l’Université.
http://hdl.handle.net/2268/84172
Baye, A. (2004). La gestion des spécificités linguistiques et culturelles dans les évaluations internationales de la lecture. Politiques d'Education et de Formation : Analyses et Comparaisons Internationales, 11, 55-70.
http://hdl.handle.net/2268/84139
Lafontaine, D., & Demeuse, M. (2003). Influence du contenu et des modalités d'évaluation sur les indicateurs d'équités. In Les actes du Colloque de l'Adméé sur le thème Evaluation entre efficacité et équité. Les Cahiers du Service de pédagogie expérimentale, 15-16. Liège, Belgique : Service de Pédagogie expérimentale de l’Université.
http://hdl.handle.net/2268/80543
Lafontaine, D., & Blondin, C. (2004). Regards sur les acquis des élèves en Communauté française Apports des enquêtes de l’I.E.A, de PISA et des évaluations externes. Bruxelles : De Boeck.
http://hdl.handle.net/2268/5469
Blondin, C. & Lafontaine, D., (2005). Les acquis scolaires des filles et des garçons en lecture, en mathématiques et en sciences. Un éclairage historique basé sur les enquêtes internationales. Education et francophonie, XXXIII, 1, 37-57. En ligne sur la page http://www.acelf.ca/c/revue/index.php.
Lafontaine, D., & Baye, A. (2007). Au-delà du palmarès : quels enseignements tirer des enquêtes internationales comme PISA ? In CIFoP (Ed.). Nos régions en Europe : voies d’impasse, voies d’avenir. Quel développement pour la Wallonie et Bruxelles. Charleroi : Centre interuniversitaire de formation permanente, 225-247.
http://hdl.handle.net/2268/28872
Lafontaine, D. (2010). Les standards internationaux en éducation : la place des situations et des contextes in D. Masciotra, F. Medzo & P. Jonnaerts, (Eds). Vers une approche située en éducation. Réflexions, pratiques, recherches et standards, Cahiers scientifiques de l'ACFAS., 55-70.
http://hdl.handle.net/2268/80534
Lafontaine, D. (2010). Evaluations internationales des systèmes éducatifs et évaluations externes nationales : points de convergences et de tension. Eduquer, 12-16.
http://hdl.handle.net/2268/74977
Monseur, C., & Lafontaine, D. (2006). Le caractère relatif des indicateurs de tendance. Revue suisse des Sciences de l’Education, 3-28,353-371.
http://hdl.handle.net/2268/9415
Les enquêtes :
Initiée par la trentaine de pays membres de l’OCDE et administrée actuellement dans plus de 70 pays, l’étude vise à mesurer les performances des élèves de 15 ans (où qu’ils soient dans leur parcours scolaire) en lecture, mathématiques et sciences.
Une partie du site de l'OCDE est consacrée entièrement à PISA :
Un site présente également toutes les informations relatives à PISA en Communauté française :
Résultats PISA 2018
Retrouvez les résultats sur notre site dédié à PISA 2018 en Fédération Wallonie-Bruxelles :
Résultats PISA 2015
Conférence de presse PISA 2015
PISA expliqué à tous : pistes pour améliorer l’enseignement en Belgique francophone (la vidéo, la présentation)
Résultats PISA 2012
Conférence de presse PISA 2012
Exemples de questions PISA 2012
Les élèves de 15 ans face aux ordinateurs dans le cadre du PISA 2012 en FW
La culture mathématique à 15 ans : Premiers résultats de PISA 2012 en Fédération Wallonie-Bruxelles
Publications
La culture mathématique à 15 ans. Premiers résultats de PISA 2012 en Fédération Wallonie-Bruxelles (2013). Les Cahiers des Sciences de l’éducation, 34. Université de Liège : Service d’analyse des systèmes et des pratiques d’enseignement.
premiers resultats pisa 2012 cahiers 34 .pdf
Les élèves de 15 ans face aux ordinateurs dans le cadre du PISA 2012 en Fédération Wallonie-Bruxelles. Résultats en résolution de problèmes, culture mathématique et lecture sur ordinateur (2014). Les Cahiers des Sciences de l’éducation, 36. Université de Liège : Service d’analyse des systèmes et des pratiques d’enseignement.
face aux ordinateurs cahiers 35 .pdf
Lafontaine, D., & Demeuse, M. (2003). Acquis des élèves à 15 ans et parcours de formation. Capital humain et marchés du travail : perspectives régionales et européennes. Enseignement et formation - marché du travail : quelles articulations ? Actes du 15e Congrès des Economistes belges en langue française, du 28 novembre au 29 novembre 2002. Namur.
http://hdl.handle.net/2268/80541
Monseur, C., Baye, A., & Quittre, V. (2009). Organisation et apports de l'enquête PISA. DIRECT, 16, 45-63.
http://hdl.handle.net/2268/84100
Lafontaine, D., Baye, A, Burton, R., Demonty, I., Matoul, A., & Monseur, C. (2003). Les compétences des jeunes de 15 ans en Communauté française en lecture, en mathématiques et en sciences. Les Cahiers du Service de Pédagogie expérimentale, 13-14. Université de Liège, Belgique : Service de Pédagogie expérimentale.
https://hdl.handle.net/2268/9836
Baye, A, Demonty, I., Fagnant, A., Matoul, A., Monseur, C., & Lafontaine, D., (2006). Les compétences des jeunes de 15 ans en Communauté française en mathématiques, en lecture et en sciences. Résultats de l’enquête PISA 2003. Les Cahiers du Service de Pédagogie expérimentale, 19-20, Service de Pédagogie expérimentale de l’Université.
http://hdl.handle.net/2268/5467
Baye, A., Fagnant, A., Hindryckx, G., Lafontaine, D., Matoul, A., & Quittre, V. (2009). Les compétences des jeunes de 15 ans en Communauté française en sciences, en mathématiques et en lecture. Résultats de l’enquête PISA 2006. Les Cahiers des Sciences de l’Education, 29-30. Université de Liège, Belgique : Unité d’analyse des systèmes et des pratiques d’enseignement.
http://hdl.handle.net/2268/19520
Baye, A., Quittre, V., Hindryckx, G., Fagnant, A., & Lafontaine, D. (2009). Les acquis des élèves en culture scientifique : Premiers résultats de PISA 2006.
http://hdl.handle.net/2268/79743
Baye, A, Demonty, I., Matoul, A., Lafontaine, D., & Monseur, C. (2010). La lecture à 15 ans. Premiers résultats de l’enquête PISA 2009. Les Cahiers des Sciences de l’Education, 31, 1-21. Université de Liège, Belgique : Unité d’analyse des systèmes et des pratiques d’enseignement.
http://hdl.handle.net/2268/79559
Baye, A, Demonty, I., Fagnant, A., Matoul, A., Lafontaine, D., & Monseur, C . (2005). PISA 2003 : au-delà des moyennes, des constats qui forcent à l'action, Les infos de l'Agers - Tables rondes, 1, 2-5.
http://hdl.handle.net/2268/79759
Baye, A, Demonty, I., Fagnant, A., Matoul, A., Monseur, C., & Lafontaine, D., (2004). PISA 2003 : Quels défis pour notre système éducatif ?
http://hdl.handle.net/2268/79760
Lafontaine, D., & Monseur, C. (2009). Gender Gap in Comparative Studies of Reading Comprehension : to what extent do the test characteristics make a difference? European Educational Research Journal. Special issue on PISA and gender. 8(1), 69-79.
http://hdl.handle.net/2268/10908
Enquête internationale sur le développement des compétences en lecture des élèves de 4e année
L’objectif de l’étude PIRLS est de mesurer le niveau de compréhension en lecture des élèves de 4e année de l’enseignement fondamental. L’étude vise également à appréhender les éléments de contexte culturels, socioéconomiques, pédagogiques, familiaux et individuels, qui peuvent rendre compte des performances observées dans chaque pays ainsi que des différences de performances observées entre pays. C‘est pourquoi PIRLS recueille un vaste éventail d’informations par le biais de questionnaires adressés aux différents interlocuteurs de l’école (élèves, enseignants et chefs d’établissement) ainsi qu’aux parents des élèves testés.
Pour en savoir plus
Communication des résultats de PIRLS 2016
Communication des résultats de PIRLS 2011
Capsules video
Afin de concrétiser les informations contenues dans la présentation des résultats PIRLS rédigée à l’attention des enseignants du primaire, quatre capsules vidéo ont été réalisées avec le soutien de l'Institut de Formation et de Recherche en Enseignement Supérieur (IFRES) de l’Université de Liège.
Ces capsules, d’une durée qui oscille entre 6 et 12 minutes, abordent successivement quatre thématiques en lien avec l’enseignement/apprentissage de la lecture.
1. Des changements de pratiques professionnelles : des étudiantes du Master en Sciences de l’éducation décrivent la manière dont leur pratiques professionnelles en lien avec l’évaluation de la compréhension en lecture ont évolué suite à l’analyse des résultats et des outils d’évaluation relatifs à l’étude PIRLS 2011.
Regarder la capsule 1 en ligne
2. Des changements de pratiques professionnelles : des étudiantes du Master en Sciences de l’éducation décrivent la manière ils ont mis en place des cercles de lecture dans leur classe afin notamment de développer des stratégies de compréhension en lecture chez leurs élèves.
Regarder la capsule 2 en ligne
3. Les processus de compréhension qui ont constitué des obstacles pour les élèves de quatrième année primaire lors de l’enquête internationale PIRLS 2011 : ces processus sont explicités au départ du texte à visée narrative intitulé « La Tarte Anti-Ennemi » de Derek Munson. Certaines questions relatives au texte sont analysées en termes de processus de compréhension à mettre en œuvre, ceux-ci étant mis en lien avec les compétences telles que formulées dans le référentiel officiel des Socles.
Regarder la capsule 3 en ligne
4. Les résultats d’une analyse des réponses produites par des élèves de 4e année primaire aux questions relatives au texte intitulé La Tarte Anti-Ennemi. Cette analyse d’erreur éclaire la nature des difficultés éprouvées par les élèves pour aller au-delà d’une compréhension littérale, interpréter ou encore apprécier ces textes.
Regarder la capsule 4 partie 1 en ligne
Évaluer les compétences en langues modernes d’élèves de l’enseignement secondaire
La Commission européenne a décidé en 2005 de mettre sur pied une évaluation des compétences en langues. Le processus est piloté par un Conseil consultatif composé de représentants des pays et un consortium appelé SurveyLang, constitué à cet effet, a été chargé par la Commission européenne d’assurer la gestion et la coordination internationales de l’enquête. La Communauté française a décidé, tout comme 16 autres pays ou systèmes éducatifs, de participer à cette étude et en a confié la réalisation à l’aSPe, en collaboration avec le Service d’approches quantitatives des faits éducatifs. Après une phase préparatoire et un essai de terrain, l’enquête définitive a collecte d’informations définitive a eu lieu au printemps 2011.
L’ESLC s’appuie largement sur les acquis de PISA et s’est fixé des standards de qualité élevés pour ses différentes facettes, de la fidélité des traductions à la rigueur dans le respect des procédures d’administration des épreuves.
L’évaluation porte sur les compétences en compréhension écrite et orale et en production écrite dans deux langues par pays. Les tests ont été élaborés dans chacune des langues en fonction de la grille des niveaux de compétence proposée dans le Cadre européen commun de référence pour les langues ou CECRL (Conseil de l’Europe, 2005). Les aptitudes définies sur cette base sont associées à des tâches spécifiques de façon à permettre la comparabilité des résultats entre les langues. Un test d’orientation a été administré et corrigé au préalable, pour prendre en compte les différences entre les compétences individuelles et confronter chaque élève à une épreuve d’un niveau de difficulté adapté. Le chef d’établissement, des professeurs de langue, les élèves de l’échantillon, ainsi que le responsable national de l’étude ont eu à compléter des questionnaires portant sur le contexte. Ces questionnaires permettent notamment de moduler l’interprétation des résultats en fonction de variables importantes telles que le nombre d’années d’apprentissage de la langue ou l’ampleur de l’exposition à celle-ci. Les épreuves pouvaient être administrées soit sur ordinateur, soit dans une version papier/crayon.
En Fédération Wallonie-Bruxelles, ce sont les élèves de 4e année de l’enseignement secondaire qui étaient concernés et l’évaluation a porté sur l’anglais et l’allemand. Étant donné les difficultés d’organisation occasionnées par la version papier-crayon lors de l’essai de terrain, l’enquête définitive a été administrée sur ordinateurs.
Après une phase préparatoire et un essai de terrain, l’enquête définitive a été réalisée début 2011 et les résultats diffusés à partir de 2012.
Pour en savoir plus
Pour le multilinguisme : exploiter à l'école la diversité des contextes européens
Cette étude visait essentiellement une meilleure connaissance des attitudes et des ressources des jeunes en obligation scolaire à l’égard des langues modernes et de leur apprentissage. Grâce au soutien de la Commission européenne, elle a été menée dans cinq pays européens : l’Allemagne, la Belgique (assurant également la coordination), la Grèce, le Luxembourg et la Pologne. Plus de 6000 jeunes ont complété un questionnaire écrit, à raison d’environ 300 élèves du 5e grade (5e année primaire en Belgique) et 300 élèves du 9e grade (3e année secondaire en Belgique) dans chacune des zones. En effet, une originalité méthodologique du projet consistait à définir des zones présentant chacune une relative homogénéité au niveau de l’environnement linguistique, de façon à permettre une enquête quantitative dont les résultats pourraient être interprétés qualitativement en référence à leur contexte. Dans chacune des zones également, des décideurs et des personnes ressources ont été interrogés et ont nourri l’étude d’informations sur les caractéristiques de chaque contexte, ses ressources et ses difficultés. Trois lignes de force ont notamment été dégagées des résultats de l’enquête : un environnement souvent plurilingue mais peu de langues enseignées, des attitudes positives envers l’apprentissage des langues mais des différences selon les élèves (en faveur des filles, des élèves suivant un enseignement général, des élèves appartenant à un milieu familial socio-culturellement favorisé…), un intérêt pour des langues parlées aux quatre coins du monde mais une certaine hiérarchie (au-delà des langues très répandues –anglais, allemand, français–, les langues romanes –surtout l’espagnol et l’italien– sont les plus prisées).
Pour en savoir plus
Bibliographie
Androulakis, G., Beckmann , C., Blondin, C. et al. (2007). Pour le multilinguisme : Exploiter à l'école la diversité des contextes européens : Résultats d'une étude internationale. Liège : Editions de l'Université de Liège.
http://hdl.handle.net/2268/7582
Blondin, C., Fagnant, A. et al. (2007). Pour le multilinguisme : Exploiter à l'école la diversité des contextes européens : Analyse de trois zones belges dans le cadre d'une étude internationale. Liège : Editions de l'Université de Liège.
http://hdl.handle.net/2268/11060
Goffin, C., Fagnant, A. et Blondin, C. (2009). Les langues des voisins : des langues toujours appréciées (2009). Revue de Linguistique et de Didactique des Langues, Vol. 40, 17-30.
http://hdl.handle.net/2268/7566
Blondin, C., Fagnant, A. et Goffin, C. (2008). L'apprentissage des langues en Communauté française : curriculum, attitudes des élèves et auto-évaluation (pp. 73-92). Education-Formation.
http://hdl.handle.net/2268/2996
Fagnant, A. et Blondin, C. et al. (2008). Image des langues et motivation. Langues Modernes Vol./Tome 3.
http://orbi.ulg.ac.be/handle/2268/3040
Partagez cette page
