Créer un cours sur la description d’images avec l’IA

Sur des formations aux métiers du bâtiment, j’ai un certain nombre d’apprenants allophones pour qui la priorité est d’acquérir le vocabulaire métier et la capacité de décrire une situation de chantier en français. J’utilise de nombreux supports et outils pour ça mais jusqu’ici peu l’intelligence artificielle : Un peu trop “technologique” pour ces métiers artisanaux ? Evidemment non, d’autant que “L’intelligence artificielle (IA) est en train de changer la manière dont les professionnels du secteur abordent leurs tâches quotidiennes.” (Et c’est Bouygues qui le dit, hein !).

L’IA s’est imposée dans la préparation d’un bilan sur la description d’images à l’oral : Je cherchais des photographies de chantiers avec divers métiers représentés et des éléments précis et j’avais du mal à trouver mon bonheur au sein des banques de données d’images gratuites. J’ai fait un premier test avec Ideogram mais même si l’image représentait bien globalement un chantier, en détail elle était pour le moins bizarre.

Ben ? le prompt n’était pourtant pas du genre : “Des zombies fabriquent le mur d’une tour, avec des machines extraterrestres, pour se protéger des agressions extérieures…”

C’est en réfléchissant (Oui, ça m’arrive) un peu à ce que je pouvais faire avec ça que l’idée est venue : Je voulais des supports de description approfondie, avec des détails : Et si ces incohérences, créés par l’IA, permettaient de vérifier la capacité à dépasser les apparences mieux que dans le cas d’une photographie réelle ? Et si elles permettaient de lister des différences, des anomalies avec un chantier réel et donc, de créer l’obligation de prendre chaque détail en compte ? L’outil est intéressant car il donne en plus la capacité de vérifier la prise de conscience de ces “erreurs technologiques” et donc d’éduquer aux nouveaux médias et à leur capacité de désinformer. Je l’ai déjà dit : Créer du doute face à un média et pousser à vérifier sera une capacité majeure de nos futurs.

C’est donc dans ce sens que j’ai créé une présentation à partir d’images générées par IA, en gardant bien le côté “création d’incohérences”. Chaque apprenant se trouve confronté à une image “surprise” qu’il doit observer 5 minutes puis décrire à l’oral en 15 minutes. Le groupe assiste à la description puis peut intervenir pour ajouter des éléments.

Des Objectifs pédagogiques

En ce qui concerne les objectifs pédagogiques de cette séquence, cela permet de décliner :

Des Objectifs Cognitifs : avec un travail en amont sur le vocabulaire métier, la description d’images ou de situations à l’écrit et à l’oral et la transposition de situations réelles en images ou textes :

• Identifier et nommer les métiers représentés :
  • Reconnaître et nommer correctement les métiers illustrés dans les images.
• Analyser les détails des images :
  • Décrire les éléments visuels spécifiques de chaque image (outils, vêtements, environnement).
• Détecter les erreurs et les incohérences :
  • Identifier les erreurs ou incohérences présentes dans les images générées par IA.
• Comprendre les caractéristiques et les attributs des métiers :
  • Décrire les caractéristiques typiques et les outils associés aux différents métiers.

Des Objectifs Méthodologiques : Là aussi un travail en amont est nécessaire sur les méthodes d’observation et de description.

• Développer des compétences d’observation et d’analyse critique :
  • Apprendre à observer attentivement et à analyser de manière critique les images pour repérer les anomalies.
• Améliorer les compétences de description orale et écrite :
  • S’entraîner à décrire les images de manière précise et détaillée, tant à l’oral qu’à l’écrit.

Des Objectifs Linguistiques : Avec mon public cible, le vocabulaire est un essentiel. Son enrichissement, en contexte et via observations, à l’oral et à l’écrit, est fondamental.

• Enrichir le vocabulaire lié aux métiers :
  • Apprendre et utiliser le vocabulaire spécifique à différents métiers.
• Utiliser des structures de phrases appropriées pour la description :
  • S’entraîner à utiliser des structures grammaticales adéquates pour décrire des images et exprimer des observations.

Des Objectifs Technologiques : C’est là que l’on peut utiliser l’adage : “Faire d’une pierre deux coups“. Les jeunes allophones utilisent beaucoup leur téléphone portable, pour la traduction évidemment mais aussi l’information, la recherche, etc. L’IA est parfois un soutien pour eux. Il est important de leur faire prendre conscience des limites de ces outils et de l’obligation de vérifier les données fournies.

• Comprendre les limites et les possibilités des technologies IA :
  • Prendre conscience des capacités et des limitations de l’IA en matière de génération d’images et de la nécessité de la supervision humaine.
• Développer des compétences de vérification de l’information :
  • Apprendre à vérifier la véracité des informations et des représentations fournies par des technologies automatisées.

Des Objectifs Transversaux : Je les liste par pur formalisme (et un peu parce que c’est à la mode) mais ils sont évidents : pensée critique, résolution de problèmes, interdisciplinarité, etc.

• Renforcer la pensée critique et la capacité à résoudre des problèmes :
  • Développer des compétences de pensée critique et de résolution de problèmes en identifiant et corrigeant les erreurs.
• Intégrer des compétences interdisciplinaires :
  • Appliquer des connaissances d’autres disciplines (comme la technologie, les connaissances techniques de métier) pour analyser les images de manière plus approfondie.

Et des critères d’évaluation

Avec tout ça, j’ai créé une grille d’évaluation de ce travail de description avec une liste de critères générés en partie par ChatGPT (Je le rappelle : il ne crée rien de lui-même mais c’est un parfait assistant qui va compléter mon travail préalable en l’enrichissant, ce serait donc dommage de s’en passer)

1. Exactitude de l’Identification des Métiers
   • L’apprenant identifie correctement le métier représenté dans l’image.
   • L’apprenant nomme les éléments associés au métier (outils, vêtements, environnement).
2. Observation et Description Détaillée
   • L’apprenant décrit précisément les éléments visuels de l’image.
   • La description inclut des détails spécifiques et pertinents.
3. Détection des Erreurs et Incohérences
   • L’apprenant identifie correctement les erreurs ou incohérences présentes dans l’image.
   • L’apprenant explique pourquoi ces éléments sont incorrects ou incohérents par rapport au métier représenté.
4. Utilisation du Vocabulaire Approprié
   • L’apprenant utilise un vocabulaire spécifique et adéquat pour décrire les métiers et les éléments de l’image.
   • L’apprenant démontre une compréhension claire des termes techniques liés aux métiers.
5. Clarté et Cohérence de l’Expression Orale
   • L’apprenant s’exprime de manière claire et cohérente.
   • L’apprenant organise ses idées de façon logique et fluide.
6. Capacité à Justifier et Argumenter
   • L’apprenant justifie ses observations et conclusions de manière convaincante.
   • L’apprenant utilise des arguments solides pour expliquer les erreurs détectées.
7. Engagement et Participation Active
   • L’apprenant participe activement à l’activité et montre de l’intérêt pour la tâche.
   • L’apprenant interagit de manière constructive avec les autres élèves et avec l’enseignant.
8. Réceptivité au Feedback
   • L’apprenant est réceptif aux commentaires et aux suggestions d’amélioration.
   • L’apprenant montre des efforts pour intégrer le feedback reçu dans ses descriptions futures.
9. Capacité de Réflexion Critique
   • L’apprenant montre une capacité à réfléchir de manière critique sur les images et les représentations des métiers.
   • L’apprenant peut faire des comparaisons entre les images générées par IA et les représentations réelles des métiers.
10. Adaptabilité et Flexibilité
    • L’apprenant est capable de s’adapter à des images avec différents niveaux de difficulté et des types variés d’erreurs.
    • L’apprenant montre de la flexibilité dans sa manière d’approcher et de résoudre les problèmes posés par les erreurs dans les images.

Vous avez là une démonstration que l’usage de l’IA en formation n’est pas forcément caché dans ses meilleurs côtés mais que chacun des aspects de ces technologies est à prendre en compte dans son apprentissage. D’autres idées de ce genre ? Merci de laisser un commentaire si c’est le cas.