Ce billet retrace les méthodes et résultats préliminaires de l’analyse des sauvegardes/backup réalisés depuis 2010 sur les ordinateurs XOs déployées à Nosy Komba par l’association OLPC France. A l’heure où la question des usages (parfois appelée Learning analytics) intéresse la communauté OLPC mais également Orange Labs et d’autres centres de recherche, OLPC France s’est lancé dans un vaste projet de back up des informations provenant des XO et d’analyse des donnée. A ce jour, des données sont disponibles sur quatre années consécutives depuis 2010.

Des statistiques sur l’utilisation des XO : pour quoi faire ?

L’utilisation des ordinateurs à l’école suscite de nombreuses interrogations mais reste relativement peu étudiée dans l’enseignement primaire et dans les pays en développement. Dans toutes les évaluations et études sur l’usage des ordinateurs à l’école, on ne sait généralement pas quels logiciels sont déployés, ni quels logiciels sont effectivement utilisés par les élèves.

Dans un article publié sur le site OLPC San Francisco, Sameer Verma fait le point sur les différents déploiements s’intéressant à la question des statistiques sur l’usage des XO, en notant l’existence d’un groupe de travail sur ces questions. On notera ainsi que les équipes du Paraguay, de Jamaïque, du Népal et d’Inde ont mis en œuvre des procédures permettant d’extraire des métadonnées. Il est possible grâce à une application Sugar–XO-stats de visualiser les données sur l’utilisation des XO. Voir le Sugar stats project. Tous ces déploiements utilisent les données du Journal Sugar où sont répertoriées les activités utilisées par les élèves.

La question est de savoir ce que font les élèves avec le XO. Le travail vient en complément des analyses qualitatives essentiellement basées sur les rapports des volontaires et observations en classe réalisées par Sandra Nogry dont plusieurs résultats ont été publiés sur le blog de l’association OLPC France ou dans la revue Frantice.

Procédure d’extraction des données

L’analyse se base sur les traces et fichiers produits par les élèves (notamment multimédia).Kevin Raymond a mis au point une nouvelle méthode pour exporter le journal et autres données utiles à des fins d’analyse. Le script se nomme dobackup.sh et doit être adapté à chaque nouvelle version de Sugar. Copiez ce fichier sur votre clé USB et rendez-le exécutable. Pour réaliser le back up du XO, vous devez faire tourner le script depuis le XO (activité Terminal ou un virtual shell).

Le programme va :

• Créer un dossier séparé pour chaque backup/ordinateur (à l’aide du numéro de série)
• Compresser le journal (/home/olpc/.sugar/default/datastore)
• Sauvegarder le nom du XO dans un nouveau fichier
• Copier le répertoire Gnome

Le script est disponible ici : https://git.sugarlabs.org/jparse/jparse/trees/master

Grâce au listing d’élèves et l’enregistrement d’un pseudo (nickname) et parce que pour certaines années les back up étaient organisées par classe, il est possible d’obtenir quelques informations sur les caractéristiques des élèves notamment le genre et le niveau scolaire.

Qualité des données

Les données souffrent d’un certain nombre de limites et ne permettent pas de répondre à toutes les questions de recherche. Jusqu’en 2014, les backup n’ont pas concerné tous les ordinateurs ni toutes les activités. Ensuite, comme les enfants travaillent en groupe et que les fichiers peuvent s’échanger entre élèves, il n’est pas possible d’attribuer strictement le contenu d’un XO à un seul élève. De plus, les XO changent de main d’une année à l’autre (même en cours d’année).

Si les données produites souffrent de diverses limites et nécessitent un travail minutieux de traitement et de vérification (notamment des dates), elles semblent dans l’ensemble être valides car reflétant la situation observée sur le terrain et documentée dans des rapports.

Méthodes d’analyse

Les outils d’évaluation des acquis scolaires (tests) et de l’analyse des curricula (programmes scolaires et pratiques en classe) peuvent être conceptuellement mis en œuvre dans le cadre de l’analyse des backup. Comme le suggère Bender & Urrea, il y a un certain nombre d’activités pour lesquelles on attend une réponse positive de l’élève (expected use) et pour lesquelles les élèves répondent effectivement ou non (real use). Les élèves sont donc stimulés à travers des activités et leurs réponses peuvent s’interpréter de la même manière que les réponses à un test.

L’analyse des corrélations entre activités montre que l’usage des activités est bien révélateur d’un comportement latent et non le fruit du hasard. L’Alpha de Cronbach qui mesure la manière dont les activités sont utilisées les unes avec les autres (corrélations) est égale à 0,74 en 2012, soit supérieur au seuil de 0,7 généralement retenu en psychologie pour pouvoir caractériser un comportement à partir de réponses à des stimuli ou à un test.

On mesure trois dimensions principales dans l’utilisation des activités : la variété des usages, l’intensité de l’utilisation et la fréquence/régularité. On pourrait aussi introduire l’autonomie et la créativité mais qui se mesurent mieux à travers les méthodes qualitatives (analyse des productions des élèves).

Pour être interprétées correctement, quelques informations contextuelles doivent être collectées en complément des données tirées des backup. Le niveau scolaire (CP à CM2) est prépondérant car il donne une indication sur l’âge, les enseignants dans l’école (qui ont des niveaux de formation et d’expérience avec le XO différents), les capacités cognitives de l’élève, ses capacités de lecture et également la durée de l’expérience de l’élève avec le XO. Les données collectées concernent à la fois des activités Sugar et des fichiers standards (jpeg, ogg.) et permettent également d’analyser les usages de Gnome (en dual boot avec Sugar).

Quelques résultats préliminaires

Les activités les plus utilisées en moyenne sur les trois ans sont : Ecrire , Speak, TamTam, Photo, ODF (Fichier), Enregistrer, Video, Implode, Fototon, Calculate, Word, Libray-OLPC (dossier ebooks), Calculate et Etoys. Elles sont utilisées par plus de 75% des élèves.

Source : OLPC France, backup de 2011 à 2013

Les données sont relativement stables dans le temps avec des pourcentages d’utilisation des activités qui ne varient pas beaucoup d’une année à l’autre. Les activités qui sont utilisés le plus intensément (le plus grand nombre de fois par élève) sont Memory, Video, Enregistrer, Photo, Word et Speak. Elles sont utilisées plus de vingt fois en moyenne par élève au cours de l’année. L’examen des écarts type et minimum-maximum montrent une grande dispersion dans l’intensité avec des élèves qui sont très actifs et d’autres qui ne le sont presque pas.

Globalement, les XO sont régulièrement utilisés et cela même en dehors des périodes de présence des volontaires. On remarque également que les pics d’utilisation dans la semaine sont souvent le mercredi, jour d’utilisation par les CM1-CM2, la classe la plus importante (60 élèves) et le vendredi après-midi, demi-journée libre pour les enfants. Les XO sont utilisés en dehors de l’école.

Les CP n’utilisent pas les activités qui requièrent un minimum de compétences en lecture/écriture telles que pdf, GCompris et chat. Les cours moyens utilisent davantage les livres numériques et l’activité Madagascar et pdf mais moins Turtle. Les filles et les garçons utilisent différemment le XO ce qui confirme les observations faites en classe. Les filles utilisent davantage Turtle, Calculate, Chat et Fototon. Ces résultats sur le genre rejoignent ceux d’autres études menées notamment par Orange Labs sur l’utilisation de tablettes au Niger, avec une plus grande propension des filles à l’utilisation d’activités de communication.

L’analyse en composantes principales permet de regrouper les activités en plusieurs dimensions/axes et de représenter les variables et les individus dans un même plan dit factoriel. On distingue deux axes, le premier axe vertical est constitué des activités soit promues en classe (memorize, Gcompris), soit nécessitant un minimum de compétences en lecture/écriture (rtf, pdf, epub) ou encore relativement proches du programme scolaire. Le second axe (horizontal) est constitué des activités moins scolaires et plus ludiques ou multimédia (speak, png, fototon, ogg) ou des activités qui s’écartent du programme scolaire dans leur contenu ou dans leur présentation. Le comportement des élèves selon ces deux dimensions est intimement lié à leur niveau scolaire avec des comportements nettement différents entre élèves du primaire et du collège.

En 2012, 81 % des élèves utilisent Gnome. Les principaux fichiers sur Gnome sont des fichiers vidéo, audio et des images. La moyenne de photos par élève est de 91 photos, ce qui est relativement important. La moyenne de vidéos visualisées est de 22 vidéos et de 13 fichiers HTML. Les élèves aiment beaucoup s’échanger des vidéos et morceaux de musique malgache ou internationale.

A venir

Ces analyses sont actuellement répliquées sur les données 2014 qui couvrent un plus grand nombre d’ordinateurs et d’activités (notamment celles qui ont été développées par l’association). En 2014, des tests de lecture ont été administrés sur un échantillon d’élèves de Nosy Komba afin de mieux mettre en relation compétences en lecture et utilisation du XO. Les résultats seront présentés dans un prochain billet avec également les programmes d’analyse sur le logiciel libre R. Il serait également souhaitable d’encourager les échanges entre déploiements : dans quelle mesure les usages varient-ils selon les contextes locaux et les logiciels déployés? Y a t’il des différences entre déploiements à large échelle avec des échanges formalisés entre enseignants et une communauté de soutien et les petits déploiements ? Pour pouvoir comparer, encore faut-il qu’un tronc commun d’applications soit déployé par défaut sur Sugar, qu’on définisse des métriques communes et des gardes fous déontologiques sur l’utilisation de ces données individuelles. Là encore, les travaux peuvent être empruntés à la psychométrie et aux standards de l’APA (American Psychological Association) qui posent un certain nombre de jalons sur les expérimentations et tests en milieu scolaire, sur la validité des mesures et leur utilisation à des fins scientifiques. Si beaucoup de chemin reste encore à parcourir, les retombées potentielles en termes scientifiques ou opérationnels sont nombreuses.

Pour davantage de résultats et données, vous pouvez consulter ce pdf en anglais XO stats version avec 3 parties ou regarder la vidéo du Sugar Camp (avril 2014) en anglais, avec des échanges avec la communauté OLPC sur ces questions.