Collectes d’urgence au moments des attentats de janvier et novembre 2015 (3/3) : entretien avec Thomas Drugeon, responsable du DL Web à l’INA (entretien du 21 mars 2016)

En complément de sa mission de dépôt légal du Web media consistant en la collecte continue des sites Web liés à l’audiovisuel, des vidéos, et des flux de réseaux sociaux liés au paysage audiovisuel français, l’Ina a étendu ses collectes aux flux Twitter en lien avec l’attentat perpétré dans les locaux de Charlie Hebdo (dès le 9 janvier 2015) et ceux survenus le 13 novembre 2015 à Paris (pour ces derniers, la collecte a commencé au soir même des attentats), récoltant ainsi plusieurs dizaines de millions de tweets au cours d’une collecte qui continue à ce jour. Nous revenons avec Thomas Drugeon, responsable du DL Web INA sur les objectifs, réalisations et limites, modalités de ces collectes.

Marguerite Borelli : Pourquoi votre institution a-t-elle décidé ces collectes et qu’est-ce qui a fait le caractère impératif de celles-ci?

Thomas Drugeon : La mission de l’Ina en ce qui concerne la collecte Web est de collecter les sites, réseaux socio-numériques et médias sociaux en lien avec l’audiovisuel. Or ces événements ont eu un impact énorme au plan national bien sûr, mais aussi dans l’audiovisuel français. Cela nous paraissait important de consacrer une collecte d’urgence aux événements. Et Twitter nous a semblé particulièrement important à collecter, car il y avait le risque que personne ne le fasse. Par contre nous n’avons pas fait de corpus spécial sur les sites Web audiovisuels, car ils peuvent au besoin plus facilement être récupérés après coup, alors que concernant Twitter on peut difficilement récupérer le flux après.

Valérie Schafer : Vous archivez Twitter le reste de l’année ?

Thomas Drugeon  : Oui, absolument, nous suivons 400 hashtags liés à l’audiovisuel et 11 000 comptes environ, dont nous collectons de manière exhaustive les tweets en permanence. Ce sont des comptes de journalistes, de chaînes, etc. Mais là les événements dépassaient largement ces comptes habituels.

MB : Comment avez-vous procédé ?

TD : Pour les événements de novembre 2015, les choses se sont produites de manière un peu fortuite. Le vendredi 13 novembre, nous avions une intervention de maintenance prévue sur le réseau électrique de la salle serveur de l’Ina, et certains de nos processus de captation étaient donc délocalisés pour garantir la continuité de la captation des flux radio/tv et twitter. Si les circonstances n’avaient pas fait que nous soyons en situation d’astreinte pour contrôler cette délocalisation, nous n’aurions pas pu lancer de collecte spéciale avant le lundi matin. Mais nous avions un accès direct aux machines de captation, et ayant été informés des événements vers 23.30 nous avons pu commencer à collecter une série de hashtags (#bataclan, #prayforparis, #portesouvertes, #parisattacks par exemple) liés aux attentats en passant par l’API de streaming publique de Twitter. Par contre cette formule non payante limite la collecte de tweets à 1% du total des tweets émis au plan mondial à un instant T. Si l’on considère qu’il y en a environ 5000 émis par seconde en moyenne, on ne peut en capturer dès lors plus de 50 par seconde et là on dépassait ce total qui, en temps normal, nous suffit. Ainsi au moment du pic de tweets, nous n’avons pu en collecter qu’environ un quart. Les collections ne sont donc pas exhaustives au moment de l’afflux maximal des tweets, par contre, ensuite, lorsque le flux a diminué, on a pu tout collecter.

VS : Vous capturez des pages ? Comment collectez-vous les tweets ?

TD : Si on archive les pages twitter, il faut réextraire les posts ensuite, etc. Pour nous cela n’a pas d’intérêt, ce qui nous intéresse ce sont les « données brutes », un tweet c’est plus que 140 caractères, c’est aussi des informations sur la date, l’émetteur, des images, etc. Par contre on n’a pas capté les images de fond. On stocke une structure de données arborescente.

MB : Et pour la collecte de Charlie ?

TD : Nous avons été moins réactifs, j’ai ajouté des hashtags à la collecte le lendemain midi des événements au sein de la rédaction de Charlie Hebdo. Nous avons été plus réactifs sur le 13 novembre. Les flux Twitter n’étaient pas non plus organisés tout à fait de la même façon. Les hashtags étaient plus éparpillés en novembre, en janvier presque tout était concentré sur le hashtag #jesuischarlie. En novembre ressortent au moins cinq hashtags et on discerne des mouvements, des cycles également, par exemple jour/nuit en rapport avec le décalage horaire à l’international. Pour #jesuischarlie on a manqué le pic du début.

MB : Quand avez-vous arrêté la collecte?

TD : Elle continue à tourner. On a pu observer un an après, en janvier 2016, des résurgences du #jesuischarlie, ainsi que pendant les événements du mois de novembre.

VS : Et avez-vous collecté le #jesuisahmed, le #jenesuispascharlie ?

TD : Non, nous ne les avons pas capturés en propre, mais nous pouvons les avoir indirectement, par effet de bord. Nous n’avons pas voulu ensuite rajouter des hashtags au fil de l’eau, afin d’avoir un ensemble homogène.

VS: Pourrait-on imaginer des versements ? De chercheurs par exemple qui auraient constitué leur propre collecte ?

TD : Nous devons pouvoir garantir l’intégrité et l’authenticité des données, et c’est plus facile dans le cas d’un média « linéaire ». Nous avons déjà eu des versements dans le cas de la FIAT (Fédération internationale des archives de télévision) mais ce cas de figure se présente davantage en radio et en télévision. Pour Twitter il serait problématique de récupérer des tweets entiers venant d’un tiers, mais nous pouvons récupérer des identifiants de tweets et les recapter par nos propres moyens. C’est ce que nous avons récemment fait avec les données que le chercheur Nick Ruest de l’université de York a publié en ligne pour les attentats de janvier et novembre, avec des données qui viennent compléter les nôtres et combler certains trous.

MB : Quelles réussites et limites voyez-vous aux collectes effectuées en janvier et novembre ?

TD : Les limites, nous les avons évoquées, c’est que lors du pic de flux en novembre nous n’avons pu collecter qu’environ un quart des tweets, même moins. Mais les tweets « importants » sont en général retweetés, on multiplie les chances de les avoir, on va surtout perdre du signal faible. C’est un biais pour l’étude, mais le plus important pour nous est de permettre au chercheur d’avoir accès à ces limitations, de pouvoir ainsi juger son échantillon. Représenter ces limites est notamment ce à quoi travaille Zeynep (Pehlivan), par exemple en réalisant des courbes pour montrer ce qui a été capté, aurait pu l’être, etc. C’est un point fondamental de l’outil. Il est important de représenter dans l’interface les choix, les effets de bord. De même dans un sondage politique, on n’interroge pas toute la population. Il y a actuellement beaucoup de recherches sur les missing data, mais en se donnant la peine on devrait avoir quelque chose qui n’est pas exhaustif certes, mais représentatif. Pour Twitter on a collecté les messages de limitation, ces informations sont archivées et c’est notamment ce qui fait la différence peut-être entre la collecte d’un particulier et celle d’une institution d’archivage qui va chercher à qualifier et quantifier l’archive.

Capture d’écran 2016-04-07 à 18.44.19

Exemple de visualisation de la collecte et des estimations pour un hashtag donné

MB : D’autres collectes d’urgence ont-elles déjà été faites ?

TD : A priori notre périmètre ne change pas en fonction des événements.

VS : Si on récapitule sur votre manière de collecter les réseaux socio-numériques …

TD : On a fonctionné par hashtags avec l’API publique de Twitter et les collectes habituelles de comptes continuaient. Il y a des traces sur tous les comptes que l’on suit habituellement. L’API de timelines pour les comptes est exhaustive dans 99% des cas, l’API de streaming est plus délicate, car si on s’arrête on perd le flux et on est davantage dans le sondage, l’échantillonnage.

MB : Et Facebook ?

TD : La captation n’est pas représentative, il faudrait passer par l’API de Facebook, mais on ne l’a pas fait.

MB : Y a-t-il eu des différences notoires dans la capture des attentats de janvier et de ceux de novembre ?

TD : On n’a pas de procédure spéciale, on va essayer d’en mettre une en place, mais on a pris conscience de ce qu’on avait et de ce qui manquait.

VS : Vous pouvez évaluer précisément ce qui vous manque ?

TD : On peut avoir une idée, avec #jesuischarlie on a capté seulement le lendemain, on ne peut pas savoir tout ce qui est passé la veille, mais on pourrait l’estimer, et intégrer les sources externes.

VS : Est-ce votre rôle ?

TD : Notre rôle est de fournir des outils permettant de faire ces estimations. L’utilisateur, le chercheur ne peut pas « partir » avec les données du DL Web, les sortir, aussi nos outils doivent répondre à ses besoins, pour qu’avec les outils que nous proposons il puisse faire des analyses pertinentes. Bien sûr il faut comprendre quels sont les vrais besoins des chercheurs et nous devons faire face à un double souci : dans la majorité des cas, les usagers qui viennent consulter un fonds du DL Web le considèrent comme un fonds parmi d’autres au sein de leurs recherches, ils ne vont pas dépenser une énergie énorme pour comprendre les limites. Mais certains vont chercher à aller plus loin. Nous sommes tiraillés entre ces besoins pointus, et ceux de la majorité des usagers, pour lesquels il ne faut pas trop spécialiser l’outil, sinon il devient incompréhensible … il y a presque autant de besoins et d’outils que de recherches et de chercheurs.

Pour citer cet entretien:

Borelli, M., Schafer, V., “Entretien autour des collectes d’urgence au moment des attentats de janvier et novembre 2015 avec Thomas Drugeon, responsable du DL Web INA”, Paris, 21 mars 2016, carnet de recherche Hypotheses ASAP, https://asap.hypotheses.org/173.