ATTENTION : ces archives ne sont plus tenues à jour, des liens peuvent être brisés.

Indexation de ressources

Séminaire SDTICE 2007

Interventions du 27 mars

L'indexation dans un processus qualité

Elisabeth NOEL (ENSSIB)
Annaig MAHE (Ecole nationale des Chartes - Urfist de Paris)
François GALAND (Université d'Angers)

"L’indexation des ressources pédagogiques se généralise, avec comme objectif de retrouver des ressources pour les réutiliser, et comme spécificités la granularité et le contexte d’usage pédagogique", indique Elisabeth Noël, de l'ENSSIB (Ecole nationale supérieure des sciences de l'information et des bibliothèques). Si l'indexation en LOM permet de retrouver une ressource, celle-ci est-elle pour autant "la meilleure ressource, la plus adaptée aux besoins ? Peut-on trouver des éléments qualitatifs d’évaluation des ressources pédagogiques ?"

Une recherche menée en 2005 a permis d’établir les étapes nécessaires à l’évaluation des ressources pédagogiques. La définition et l'utilisation de critères de qualité constitue la première étape, "dès la production d’une ressource pédagogique », à travers l’utilisation d'un "guide de qualité". La deuxième étape concerne le « dépôt de la ressource avec description : dépôt libre, dépôt sur inscription libre ou dépôt institutionnel " Puis vient l'étape de "validation d’une ressource" ou "vérification de la conformité à certaines exigences techniques", qui peut porter sur les aspects techniques, le contenu, le design, la description. Enfin la quatrième étape : "l'évaluation de la ressource pédagogique", "l’estimation de la qualité " qui peut reprendre les quatre mêmes critères.

L’évaluation peut, selon les entrepôts, être systématique ou optionnelle, se faire par des comités d’évaluation (peer review) fermés ou ouverts aux candidatures spontanées, ou parfois par des experts, sur proposition de l’auteur. Certains entrepôts proposent des niveaux d’excellence, sous forme de labels. Il y a ensuite deux étapes  : la "prépublication de la ressource (mise en ligne avant évaluation)", avec à ce moment-là la possibilité d’ouvrir les commentaires aux utilisateurs, puis la "publication de la ressource après résultats d’évaluation", ceux-ci apparaissant sous forme littéraire ou notée.  Des "commentaires post-publication" peuvent ensuite être ouverts. Enfin, la description de la ressource pédagogique peut être "mise à jour", suite à une modification de la ressource et pour nettoyer l’entrepôt.

Elisabeth Noël évoque cinq "scénarios » possibles d’évaluation :
1) a priori (implicite), validation liée à l’institution qui héberge,
2) "par validation de la conformité" (non ciblée sur la qualité),
3) "par comité scientifique" (peer-review),
4) "par les utilisateurs",
5) par une "évaluation croisée" (peer-review et utilisateurs).
A titre d'exemple, à l’international, Merlot (www.merlot.org) est un « grand répertoire américain de ressources pédagogiques, décrites par le LOM et évaluées par peer-review. Les utilisateurs peuvent laisser des commentaires et des propositions d’utilisation pédagogique des ressources. C’est l’entrepôt avec le système d’évaluation le plus évolué". Les ressources de Formist (http://formist.enssib.fr), décrites avec le LOM et accessibles par « un système de classification maison" sont évaluées par un comité scientifique et disponibles en "prépublication". Les commentaires d’évaluation sont disponibles et développés dans la catégorie 8 du LOM, où l’on peut saisir des annotations.

"A part via les commentaires, il n'y a pas place pour de réels retours d’usages ni pour une contextualisation de la ressource", remarque Elisabeth Noël. « Des recherches sont en cours pour introduire une intentionnalité pédagogique. L’évaluation des ressources pédagogiques est très proche actuellement du peer-review des articles scientifiques. Mais qui sont réellement les pairs ? Les concepteurs pédagogiques ? les évaluateurs ? les utilisateurs ? ». Les évolutions du web (folksonomies, commentaires d’utilisateurs) peuvent permettre aux utilisateurs de jouer leur rôle de "pairs". L’évaluation montre combien il est difficile de concilier les besoins pédagogiques et la description normalisée.

Annaig Mahe, de l'Ecole Nationale des Chartes, intervient au titre de l'URFIST (Unité régionale de formation à l'information scientifique et technique) de Paris. "Le modèle du catalogage comme segment délimité et autonome de la chaîne du traitement documentaire n'est pas le seul modèle possible pour l'indexation des ressources pédagogiques", indique-t-elle. L’indexation des ressources pédagogiques et le modèle du catalogage ont des « finalités analogues (description bibliographique et visibilité du contenu)". Le catalogage "correspond à un modèle stable et éprouvé, rassurant par rapport aux évolutions actuelles. On peut néanmoins se poser la question des limites de ce modèle si on prend en compte les spécificités de la ressource pédagogique par rapport à une ressource documentaire classique. Le "statut documentaire de la ressource pédagogique n’est pas fixé mais divers et variable ". De plus le modèle du catalogage a été développé dans le contexte du papier et la numérisation le pousse à évoluer même dans le cas des ressources traditionnelles (livres et périodiques).

Les ressources pédagogiques ne sont « pas des documents au même sens qu’un livre ou un périodique du point de vue de leur pérennité, de leur stabilité, de leur autonomie », note Annaig Mahé, qui souligne "le lien fréquent avec l’exposé en présentiel". Selon elle, une première spécificité est sa granularité et des logiques de réutilisabilité plus complexes que pour une ressource classique. Une deuxième spécificité se situe au niveau de la dépendance et de l'interopérabilité avec d’autres ressources et systèmes. "La ressource est rarement autonome mais liée à un projet et à une activité pédagogique, et elle met en jeu trois acteurs : l'apprenant, l'enseignant, l'auteur. L’indexation de la ressource pédagogique peut aussi demander une description de la visée pédagogique, comme le niveau du public cible". Troisième spécificité identifiée par Annaig Mahé, l'indexation demande des compétences qui ne sont pas strictement documentaires sur le workflow, mais qui touchent à la définition d’un projet. On peut envisager une diversité de stratégies de formation : à l’indexation elle-même, intégrée dans la stratégie "ressources pédagogiques" de l’établissement, à la problématique évolutive de l’indexation et aux enjeux qui y sont liés".

"Etant donné la diversité des modèles possibles, il faut une formation sur la stratégie et les enjeux car la compétence du changement aussi est nécessaire", poursuit Michel Roland, de l'URFIST Provence, Alpes, Côte d'Azur et Corse à l'université Nice et Sophia-Antipolis. « Les stratégies et les mises en oeuvre associent plusieurs métiers et ça passe par des formations partagées ».

"Existe-t-il des modèles de formation en ligne de ce type ? », demande Albert-Claude Benhamou. « Cela pourrait être dans le cahier des charges des URFIST", répond Michel Roland. "C’est un sujet nouveau mais, s’il n’existe pas, c’est un service qu’on pourrait offrir". Pour Annaig Mahé, "une des spécificités des URFIST est d’être réactifs. On pourrait rebondir et mettre en place des parcours de formation adaptés".

Françoise Galland, de l'université d’Angers, expose l'exemple de l'UVPL (Université virtuelle en Pays-de-la-Loire, www.uvpl.org) et ses « regrets de ne pas avoir fait de l’indexation plus tôt ». Il s’agit dans cet exposé de faire un témoignage avec les côtés positifs et négatifs de cette expérience et les leçons qu’elle en tire pour les projets à venir. En 2000, la Région affiche alors une volonté forte de diversifier l’offre de formation dans la région car le nombre de bacheliers entrant à l’université est inférieur à la moyenne nationale. Ce fait et le taux d’abandon important en troisième cycle sont interprétés comme autant de PME-PMI non créées. Le projet mobilise trois universités et l'IUFM. Il bénéficie alors d'un budget de 1,5 million d’euros par an et d'une structure juridique sous forme de GIP (Groupement d’Intérêt Public). « En termes quantitatifs, entre 1999 et 2007 ils ont abouti à ce résultat : 30 diplômes en ligne, 200 modules de formation, 5000 étudiants en ligne. Le projet a permis de conforter des pôles de recherche, de susciter une attractivité des formations en présentiel, d'assurer un maintien de diplômes grâce à la FOAD (formation ouverte et à distance), d'engager une réflexion pédagogique et d'introduire les TICE dans l’enseignement présentiel".

"Cela n’a pas été facile", prévient Françoise Galland. Il a fallu apprendre à travailler ensemble et professionnaliser les équipes. Les "difficultés pédagogiques" auxquelles se sont trouvés confrontés les partenaires sont de plusieurs natures. "Les dispositifs sont complexes à mettre en place, ils n’avaient pas le droit à l’erreur car cela concerne des apprenants éloignés, les regroupements présentiels étant restreints. Nous avons compris qu’un dispositif de FOAD doit se concevoir comme un projet nécessitant une formation à la gestion de projets – comme cela avait été proposé dans le cadre des campus numériques. Un travail de co-conception est à mener avec des acteurs qui se connaissent mal (enseignants, ingénieurs des cellules TICE). Françoise Galland évoque aussi comme "verrou à faire sauter" le fait de "réussir à stimuler l’imagination technico-pédagogique en proposant des situations aux enseignants. Une fois le dispositif en place il faut suivre les apprenants, ce qui n’est pas facile non plus car on ne le fait pas comme en présentiel". L'étape de "formation à l’accompagnement" est importante.

C’est la raison pour laquelle les partenaires de l’UVPL ont sollicité l’aide de l’UTC et de l’ENST-Paris pour mettre en place des formations dont la gestion de projet, la conception et l’accompagnement de FOAD. La formation est « montée avec un objectif de professionnalisation des acteurs. Ce sont des formations par transfert-appropriation et par formation-accompagnement. Les moyens d'action sont mutualisés".

Parallèlement à ces préoccupations pédagogiques, nous avons également bien pris conscience de l’importance du choix des outils pour la pérennité des contenus. Un "déclic" s'est produit avec le concept de chaîne éditoriale à l’occasion d’un séminaire organisé à Angers sur les LCMS, témoigne-t-elle. Il fallait aussi, dans ce domaine, professionnaliser les équipes, surtout avec l'arrivée de nouveaux métiers que sont les ingénieurs de formation. Françoise Galland conseille de "raisonner non pas en termes d’outils mais en termes d’objets pédagogiques ». En termes de création de contenus, nous avons bien pris conscience de la nécessité d’utiliser une chaîne éditoriale mais il aurait fallu l’initier plus tôt. En revanche, notre grand regret, malgré une collaboration précoce avec nos collègues des SCD, est de n’avoir pas pris en compte le travail d’indexation ! Au vu des réflexions de ce colloque, ce chantier aurait probablement été beaucoup trop ambitieux à l’échelon de notre université régionale, "c’est notre consolation" précise-t-elle mais "nous sommes conscients que nous allons avoir à le faire maintenant".

"La formation à la démarche qualité a été mise place en dernier", ce qui est aussi un grand regret. Ce qui s’est révélé correct et fructueux dans l'approche adoptée, c’est d'avoir fait émerger un réseau, un investissement commun. L'erreur était de focaliser l'écoute client sur l’apprenant, en oubliant du coup la Région et les responsables d'établissements. Les indicateurs n'ont pas été mis en place pour évaluer le projet et comme la Région a changé d’étiquette politique, des problèmes sont intervenus avec les successeurs. La démarche qualité doit être engagée dès l’origine d’un projet.

"Il s’agit donc pour nous d’une expérience enrichissante avec ses points positifs (pédagogie - formation - professionnalisation des acteurs) et les points qu’il faudra améliorer dans de futurs projets : mise en place d’une démarche qualité, choix techniques (portails, chaînes éditoriales et outils pédagogiques, procédures d’indexation) dès l’initiative du projet. C’est ainsi que nous souhaitons mettre en place la filière pharmacie de l’UNT santé".