ATTENTION : ces archives ne sont plus tenues à jour, des liens peuvent être brisés.

Séminaire 2010-2011

Séminaire 2010-2011

Bilans et perspectives

Evaluations CEDRE et PISA de compétences en mathématiques en fin de collège

Evaluations nationale (CEDRE 2008) et internationale (PISA 2009) de compétences en mathématiques en fin de collège : quelles compétences ? Thomas HUGUET - DEPP

Sommaire

Présentation des dispositifs

Des évaluations construites autour du concept de compétences

Analyse des réponses

Des questions plus spécifiques à chacune des évaluations

Des exemples de description de la population issus de ces deux évaluations

Des questionnaires de contexte complémentaires

Présentation des dispositifs

 Les évaluations CEDRE 2008 et PISA 2009 font partie des dispositifs conduits par la DEPP pour informer sur les acquis des élèves français dans une perspective de fin de scolarité obligatoire.

Différentes dans leurs finalités, elles proposent des résultats complémentaires :

  • PISA, à portée internationale, porte sur la « culture mathématique » définie comme « l’aptitude d’un individu à identifier et comprendre le rôle des mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques en fonction des exigences de sa vie, en tant que citoyen constructif, impliqué et réfléchi. ».

Une description complète du cadre de PISA peut-être trouvée dans « PISA 2009 Assessment Framework – Key Competencies in Reading, Mathematics and Science – OECD »
 

  • CEDRE, à portée nationale, s’intéresse à ce que les élèves ont assimilé tant sur un plan de connaissances que de compétences relativement aux programmes qui définissent le cadre des enseignements qu’ils ont reçus, ainsi qu’aux différentes modalités de conceptualisation chez l’élève telles qu’elles sont décrites dans les travaux de la recherche.

Toutes deux s’appuient sur des principes méthodologiques communs :

  • évaluation d’une population à partir d’un échantillon représentatif de plus de 4300 élèves.
  • cycles d’évaluations.
  • traitement statistique conduisant à un modèle de réponse à l’item qui permet ensuite la description de la population par des « échelles de compétences ».
  • utilisation de « cahiers tournants », qui augmente le nombre d’items, en ne confrontant pas chaque élève à l’ensemble des items, ce qui tend aussi à limiter les effets de fatigue et d’entraînement.
  • items cognitifs, affectifs et conatifs, qui nécessitent une réponse courte rédigée, qui sont dictés à partir d’un CD (pour CEDRE) ou qui se présentent sous la forme d’un QCM

Des exemples d’items PISA libérés peuvent être trouvés dans « PISA RELEASED ITEMS – MATHEMATICS – December 2006 – OECD ».

  • protocoles de passation standardisés.

Retour au sommaire de l'article

Des évaluations construites autour du concept de compétence

A sa façon, chacune de ces deux évaluations se construit autour de l’idée de compétence. Parfois vécu comme une nouveauté, ce concept est pourtant relativement ancien, en tant qu’il constitue une tentative de réponse à des écueils souvent constatés :

  • connaissances maîtrisées par les élèves en salle de classe, mais inopérantes en dehors de la salle de classe.
  • fragmentation des apprentissages qui ne s’articulent pas dans une cohérence d’ensemble, à l’image du nécessaire découpage des enseignements en séances distinctes et organisées dans le temps.
  • alors que les acquis des élèves se manifestent de manières variées et riches, informations sur l’état de ces acquis communiquées sous la forme, réduite et porteuse de nombreux implicites, de simples notes à des destinataires multiples et différents (Élèves, familles, enseignants, établissements scolaires, etc.).
  • difficultés à mobiliser les connaissances lorsque la tâche présente une certaine nouveauté.

Beaucoup des manifestations de la compétence se trouvent dans la négative des propositions précédentes. Ainsi, forgée dans la rencontre à une diversité de situations, (non artificiellement) contextualisées ou intra-mathématiques, la compétence se distingue par la mobilisation d’un ensemble de ressources diversifiées (personnelles ou non) pour la résolution de problèmes qui présentent une certaine complexité (Ce terme étant utilisé ici dans une acception qui en écarte partiellement l’idée de difficulté.).

En situation d’évaluation, des écarts entre la compétence visée par les enseignements et celle effectivement mise en jeu dans le test, soumis à des contraintes de conception, peuvent être constatés. C’est la raison pour laquelle les modalités d’évaluation de la compétence méritent d’être explicitées dès sa définition, au même titre que les fondements épistémologiques sous-jacents.

Des informations plus complètes sur le concept de compétence peuvent être trouvées :

PISA et CEDRE sont des outils qui apportent de riches éclairages. Pourtant ils ne sont pas exhaustifs dans ce qu’ils donnent à voir. Ainsi ils passent à côté de lieux fondamentaux où la compétence mérite pourtant d’être attestée :

  • dans une prestation orale devant un groupe ou lors d’un échange avec un interlocuteur.
  • dans une situation de travail en groupe.
  • lors de la rédaction d’une narration de recherche (Affiche ou texte) ou d’un écrit de synthèse.
  • dans des réussites répétées à des moments éloignés dans le temps.
  • dans des situations où l’élève dispose de temps pour se poser et agir.

En outre, les contraintes de mise en œuvre de l’évaluation ne permettent pas de mettre les élèves en situation :

  • de faire pleinement des recherches documentaires.
  • d’utiliser de manière coordonnée plusieurs outils informatiques.

Retour au sommaire de l'article

Analyse des réponses

Après les passations dans les établissements et une fois les cahiers revenus, l’ensemble des réponses des élèves sont codées de manière binaire par des équipes d’experts qui décident au cas par cas de considérer s’il y a réussite ou échec.

Les données issues ce travail de codage sont ensuite traitées statistiquement pour donner un modèle de réponse à l’item, qui attribue sur une échelle numérique commune et simultanément :

  • un niveau de compétence à chaque élève
  • un degré de difficulté à chaque item.

Un découpage de l’échelle numérique en quelques grands intervalles de valeurs permet de définir plusieurs groupes d’élèves et d’associer des ensembles d’items à ces groupes.

Certains items ne sont pas réussis par l’ensemble des élèves qui ont les plus élevés des niveaux de compétence, ils ne peuvent alors être associés à aucun groupe et sont qualifiés de « hors-échelle ».

L’analyse des connaissances et compétences en jeu dans les ensembles d’items qui caractérisent chacun de ces groupes permet alors de rendre compte des acquis des élèves.

Deux questions clés portent cette analyse :

  • quels sont les points communs entre les items qu’un groupe est le premier à réussir ?
  • quelles sont les différences entre des items réussis différemment par deux groupes ?

Retour au sommaire de l'article

Des questions plus spécifiques sont posées pour chacune des deux évaluations

Ainsi quelques-unes des questions fondamentales et générales posées dans le CEDRE étaient :

  • les élèves sont-ils en mesure de résoudre un large répertoire de problèmes dans un grand nombre de contextes (Situation de la vie quotidienne, autre discipline que les mathématiques…) ?
  • les élèves ont-ils développé leur capacité à raisonner ? Savent-ils démontrer ? Utilisent-ils des contre-exemples correctement et à bon escient ? Contrôlent-ils leurs résultats ?
  • pour le champ « Nombres et calculs », comment se situent-ils dans leur conceptualisation des nombres et de leurs représentations ? maîtrisent/articulent-ils efficacement calcul exact et calcul approché ? Sont-ils capable de calculer mentalement ? Par écrit ? Avec un instrument ?
  • pour le champ « Organisation et gestion de données – Fonctions », traitent-ils intelligemment des données ? Maîtrisent-ils les fonctionnalités de base des tableurs ? Sont-ils sensibilisés au concept de fonction ?
  • pour le champ « Grandeurs et mesures », distinguent-ils aire et périmètre ? Ont-ils des acquis sur les grandeurs usuelles (Volume ? Durée ? Etc.) ? Choisissent-ils des unités de manière pertinente ? Convertissent-ils entre unités d’une même grandeur ?
  • pour le champ « Géométrie », savent-ils construire des figures ? Maîtrisent-ils les instruments (Règles, équerre, compas, rapporteur) ? Connaissent-ils le large éventail de propriétés et de définitions du collège ? Sont-ils en situation de réussite aussi bien en géométrie plane qu’en géométrie de l’espace ? Utilisent-ils sans erreur un repère du plan ?

Retour au sommaire de l'article

 

Des exemples de description de la population issus de ces évaluations

Un exemple de description, sur le plan cognitif, de la population issue du CEDRE peut être proposé, dans le champ « Géométrie » sur le thème du raisonnement. L’observation des items réussis par les différents groupes étaye l’hypothèse d’un continuum de compétences qualitativement croissant :

  • les élèves des groupes 0 (2,8 % de la population) et 1 (12,2 % de la population) entretiennent un rapport perceptif et/ou instrumenté à la géométrie. Pour eux, les choses sont vraies parce qu’elles se voient ou parce qu’elles peuvent être attestées par un instrument.
  • les élèves du groupe 3 (27,7 % de la population) réussissent des raisonnements à une étape pour répondre à un QCM.
  • les élèves du groupe 4 (18 % de la population) conduisent des raisonnements à deux étapes, sur des figures relativement complexes, pour répondre à un QCM.
  • les élèves du groupe 5 (10 % de la population) sont en situation de réussite sur des items qui nécessitent la rédaction d’une démonstration, ainsi que de nombreux pas déductifs.

Deux descriptions plus complètes des groupes du CEDRE sont accessibles en ligne :

Des descriptions des groupes de PISA sont accessibles en ligne :

Retour au sommaire de l'article

 

Des questionnaires de contexte complémentaires

Les questionnaires de contexte élèves (Items affectifs et conatifs) sont accompagnés de questionnaires à destination des enseignants et des chefs d’établissement.

Ensemble ils apportent des éclairages riches et complémentaires aux résultats cognitifs.

Trois exemples de renseignements issus des questionnaires du CEDRE peuvent être proposés sur le thème des TICE :

  • alors que 23,1 % des élèves déclarent avoir utilisé un tableur « à quelques cours », ils sont environ 68,4 % à déclarer n’avoir « jamais ou presque jamais » utilisé un tableur au cours de leur année de troisième.
  • les modalités d’utilisation de la calculatrice évoluent au cours des années du collège. Alors que 26,4 % des enseignants déclarent ne jamais utiliser la calculatrice en 6ème, aucun enseignant a déclaré « ne pas l’avoir utilisé en 3ème ».
    Parallèlement, le taux d’enseignants déclarant « laisser leurs élèves utiliser leur calculatrice quand ils le souhaitent » passe de 1,9 % en classe de 6ème à 54,6 % en classe de 3ème.
  • 36,2 % des enseignants déclarent utiliser une salle informatique « environ 1 fois par semaine », « environ 1 fois par quinzaine », « environ 1 fois par mois » ou « sur plusieurs séances de suite sur un thème donné » en classe de 6ème. Pour les classes de 5ème, 4ème et 3ème, les chiffres sont respectivement de 30,5 %, 32,6 % et 29,9 % des enseignants.

Plus que jamais, les besoins de maîtrise des TICE se font ressentir « au quotidien ». Dans leur ensemble, les résultats du CEDRE laissent apparaître des taux relativement bas de mise en œuvre des TICE dans les salles de classes. Dans ce domaine, l’actualité des réflexions sur les compétences contribue à interroger utilement le fonctionnement de l’institution scolaire, ainsi que son efficacité. Ce questionnement permet d’envisager des perspectives pour une évolution.
 

Retour au sommaire de l'article