Archives de catégorie : Entretiens

Collectes d’urgence au moments des attentats de janvier et novembre 2015 (3/3) : entretien avec Thomas Drugeon, responsable du DL Web à l’INA (entretien du 21 mars 2016)

Publié le par

En complément de sa mission de dépôt légal du Web media consistant en la collecte continue des sites Web liés à l’audiovisuel, des vidéos, et des flux de réseaux sociaux liés au paysage audiovisuel français, l’Ina a étendu ses collectes aux flux Twitter en lien avec l’attentat perpétré dans les locaux de Charlie Hebdo (dès le 9 janvier 2015) et ceux survenus le 13 novembre 2015 à Paris (pour ces derniers, la collecte a commencé au soir même des attentats), récoltant ainsi plusieurs dizaines de millions de tweets au cours d’une collecte qui continue à ce jour. Nous revenons avec Thomas Drugeon, responsable du DL Web INA sur les objectifs, réalisations et limites, modalités de ces collectes.

Marguerite Borelli : Pourquoi votre institution a-t-elle décidé ces collectes et qu’est-ce qui a fait le caractère impératif de celles-ci?

Thomas Drugeon : La mission de l’Ina en ce qui concerne la collecte Web est de collecter les sites, réseaux socio-numériques et médias sociaux en lien avec l’audiovisuel. Or ces événements ont eu un impact énorme au plan national bien sûr, mais aussi dans l’audiovisuel français. Cela nous paraissait important de consacrer une collecte d’urgence aux événements. Et Twitter nous a semblé particulièrement important à collecter, car il y avait le risque que personne ne le fasse. Par contre nous n’avons pas fait de corpus spécial sur les sites Web audiovisuels, car ils peuvent au besoin plus facilement être récupérés après coup, alors que concernant Twitter on peut difficilement récupérer le flux après.

Valérie Schafer : Vous archivez Twitter le reste de l’année ?

Thomas Drugeon  : Oui, absolument, nous suivons 400 hashtags liés à l’audiovisuel et 11 000 comptes environ, dont nous collectons de manière exhaustive les tweets en permanence. Ce sont des comptes de journalistes, de chaînes, etc. Mais là les événements dépassaient largement ces comptes habituels.

MB : Comment avez-vous procédé ?

TD : Pour les événements de novembre 2015, les choses se sont produites de manière un peu fortuite. Le vendredi 13 novembre, nous avions une intervention de maintenance prévue sur le réseau électrique de la salle serveur de l’Ina, et certains de nos processus de captation étaient donc délocalisés pour garantir la continuité de la captation des flux radio/tv et twitter. Si les circonstances n’avaient pas fait que nous soyons en situation d’astreinte pour contrôler cette délocalisation, nous n’aurions pas pu lancer de collecte spéciale avant le lundi matin. Mais nous avions un accès direct aux machines de captation, et ayant été informés des événements vers 23.30 nous avons pu commencer à collecter une série de hashtags (#bataclan, #prayforparis, #portesouvertes, #parisattacks par exemple) liés aux attentats en passant par l’API de streaming publique de Twitter. Par contre cette formule non payante limite la collecte de tweets à 1% du total des tweets émis au plan mondial à un instant T. Si l’on considère qu’il y en a environ 5000 émis par seconde en moyenne, on ne peut en capturer dès lors plus de 50 par seconde et là on dépassait ce total qui, en temps normal, nous suffit. Ainsi au moment du pic de tweets, nous n’avons pu en collecter qu’environ un quart. Les collections ne sont donc pas exhaustives au moment de l’afflux maximal des tweets, par contre, ensuite, lorsque le flux a diminué, on a pu tout collecter.

VS : Vous capturez des pages ? Comment collectez-vous les tweets ?

TD : Si on archive les pages twitter, il faut réextraire les posts ensuite, etc. Pour nous cela n’a pas d’intérêt, ce qui nous intéresse ce sont les « données brutes », un tweet c’est plus que 140 caractères, c’est aussi des informations sur la date, l’émetteur, des images, etc. Par contre on n’a pas capté les images de fond. On stocke une structure de données arborescente.

Continuer la lecture →

Collectes d’urgence au moment des attentats de janvier et novembre 2015 (2/3) : entretien avec Annick Le Follic, Chargée de collections numériques, au département de dépôt légal de la BnF (entretien du 21 mars 2016)

Publié le par

Au titre de sa mission de bibliothèque dépositaire du dépôt légal du web, la BnF mène, en complément de ses collectes annuelles larges du domaine français, des collectes ciblées, mais peut aussi lancer des collectes d’urgence lors d’événements imprévus. Elle a notamment été à l’initiative de collectes spéciales au moment des attentats de janvier et novembre 2015 survenus à Paris. Nous avons rencontré Annick Le Follic, chargée de collections au département de dépôt légal de la BnF, afin de l’interroger sur les objectifs, modalités, réalisations et limites de ces collectes.

Marguerite Borelli : Pouvez-vous décrire les étapes de votre collecte d’urgence en janvier et novembre, de la prise de décision en passant par le processus, jusqu’au résultat ?

Annick Le Follic : Le lendemain des attentats contre Charlie Hebdo toute l’équipe s’est dit qu’il faudrait faire une collecte d’urgence. Dans la journée nous avons discuté au sein du service pour savoir quelle forme devait prendre cette collecte et la lancer aussitôt. Pour les attentats de novembre, qui ont eu lieu un vendredi soir, nous avons dû attendre le lundi matin pour faire une réunion et décider des modalités de la collecte, car la bibliothèque est fermée le samedi et dimanche.

Valérie Schafer : Aviez-vous déjà mené des collectes d’urgence ? Pouvez-vous nous donner des exemples ? Le processus est-il formalisé au sein de la BnF ?

Annick Le Follic : Dernièrement, nous avons lancé de telles collectes pour documenter les mouvements contre l’aéroport de Notre-Dame des Landes, et celui du Mariage pour tous. Nous faisons à la BnF des collectes d’urgence depuis très longtemps, selon des modèles différents. Le cadre juridique de notre activité du dépôt légal du web a été défini par la loi de 2006. Notre obligation légale est d’effectuer une collecte annuelle large du domaine français, mais nous nous sommes toujours dit que ce n’était pas suffisant. Comme notre cadre juridique est assez large, nous avons commencé des collectes d’urgence en 2007, après les présidentielles. Nous avons essayé plusieurs modèles, en modifiant les périmètres de la collecte, la profondeur, et la fréquence : trois critères que l’on peut moduler à notre guise pour avoir la meilleure image possible du web.

Dans l’histoire de la BnF, il y a eu des périodes différentes. Après l’élection de 2007, nous avons voulu garder une veille sur la vie politique, en dehors des périodes électorales. Nous avons donc créé la collection « Actupol », qui suivait une trentaine de sites de presse, partis politiques et syndicats, et que nous activions en cas de primaires, de manifestations, etc. Puis nous avons changé de modèle en 2010 : avant, nous n’avions que peu de serveurs, qu’il fallait prendre le temps de programmer et installer pour activer la collecte. En 2010, notre capital technique a été augmenté à 50 serveurs disponibles, ce qui signifie qu’il y a toujours un lot prêt à moissonner en permanence. Si je veux lancer une collecte, j’envoie une demande au DSI, et elle démarre dans la journée. A partir de 2010, on a donc voulu garder une disponibilité sur l’urgence. Nous avons constitué un ensemble à collecter « Urgences », accompagné d’une charte documentaire, résultant d’une réflexion avec notre réseau de bibliothécaires collaborateurs, ainsi qu’un tableau des responsabilités (par exemple qui est habilité à décréter une urgence). Selon notre définition, une urgence en termes de collecte du web peut être liée à un événement éphémère ou liée à la disparition prochaine d’un site web (parfois les propriétaires nous les signalent). Ce mode implique une veille régulière de nos correspondants, il est intensif en capital humain.

En parallèle, nous avons lancé deux collectes plus automatiques : « Actualités », qui regroupe 100 titres de presse français, collectés chaque jour à 10 h du matin (page d’accueil et un clic) ; et « Presse payante », qui regroupe 25 titres de presse (surtout régionale, mais aussi Médiapart) dont on collecte la version abonnés chaque jour à 14 h.

Ces collectes sont très importantes car elles tournent le weekend, et nous évitent de rater des événements. Comme elles couvrent toute l’actualité, elles ont supplanté nos collectes d’urgence. Par exemple, les attentats de janvier et novembre étaient déjà couverts en partie par les collectes « Actualités » et « Presse payante » : l’urgence était donc plus sur les réseaux sociaux numériques, que nous couvrons d’habitude seulement lors d’élections ou de collectes programmées. Nous avons toutefois capturé des pages web complémentaires, à partir des URL remontées, à notre demande, par notre réseau de correspondants (approximativement 100 bibliothécaires). Notre robot Heritrix a capturé les pages signalées à deux clics de profondeur.

Continuer la lecture →

Documenting the 2015 Paris attacks web archives (1/3) : An interview with the Archive-It team

Publié le par

This post is the first in a series of three interviews conducted by the ASAP project team, aimed at documenting the web archives of the 2015 Paris attacks and their making, through a dialogue with the web archiving professionals from the institutions that have created event based collections on the attacks: Archive-It, the BnF and the Ina.

The first interview documents Archive-It’s Charlie Hebdo collection. It was conducted through an email exchange (11-17 March, 2016), between Valérie Schafer and Marguerite Borelli, and Jefferson Bailey, Internet Archive’s Web Archiving Programs Director of the Archive-It, and Sylvie Rollason-Cass, web archivist in charge of the Charlie Hebdo attacks fund within the Archive-It team.

Archive-It is a subscription service offered by the pioneering web archiving institution Internet Archive. Launched in 2006, it allows its partner organizations to benefit from the Internet Archive’s infrastructure, experience and know-how in terms of web archiving.

site Archive-It Charlie Hebdo collection https://archive-it.org/collections/5190

site Archive-It
Charlie Hebdo collection
https://archive-it.org/collections/5190

Q1: You have worked with many IIPC members to collect the Web in relation to the Charlie Hebdo attacks: How was this partnership organized (was it a formal process or was it spontaneous?)? Did the same type of partnership and collection take place for the November attacks?

Jefferson Bailey & Sylvie Rollason-Cass : As an IIPC member we have collaborated with other member organizations on event based collections in the past. We at the Internet Archive began crawling some news and social media sites related to the event shortly after the attack on the Charlie Hebdo offices. We heard from BnF that they were beginning to nominate URLs related to the attack to archive as well and offered to collaborate with them and other IIPC organizations on building one collection. 
A similar, but smaller, effort was made to create a collection related to the November attacks. That collection to date has only received URL nominations from the BnF.

Q2: When did these emergency collections begin? (with which events? and which of them were the most important ?) How do you decide to launch a special collection? Who decides ?

JB & SRC: The first event based collection that Archive-It and the Internet Archive worked on was started in 2007 in collaboration with Virginia Tech* to document the April 16th, 2007 shooting that took place on their campus. Since then we have built over 15 event based collections with collaboration and URL nominations coming from subject matter experts, as well as via crowd sourcing.
We rely on a collaborative model that gets input from subject matter experts and/or has significant participation via crowd sourcing. This informs how event-based collections are planned and managed. Examples of this include the Nepal Earthquake collection, which is comprised of URLs nominated by Yale University, the Bodleian Library, and Columbia University, and the Boston Marathon collection, which relied heavily on crowd sourced URL nominations.

Q3: What are the goals and achievements of these collections and theirs limits?

JB & SRC: The goal of these collections is to establish an accessible archive of web content related to a specific event, capture at risk content during times of crisis, and provide open access to the archived content for research and general browsing. As mentioned, we’re a small team so one of the primary limits to creating these collections is personnel time and resources. The only limits is that we are constrained in building and managing spontaneous collections just by ourselves, so the collaborative model is essential to their success and sustainability.

Q4: Have you got an idea of the number of visites of the Charlie Hebdo archives after one year?

JB & SRC: Not off hand. It is a bit complicated to measure traffic at the collection level for an internally-managed account. So we don’t have stats handy. We are working towards getting collection-specific traffic, but aren’t there yet.

Q5: The Charlie Hebdo fund on Archive-It contains archives of Facebook and Twitter (see here for example). Considering that these archives –which hold a lot of personal data, are publicly available, what is their legal status?

JB & SRC: The Internet Archive’s mission is “Universal Access to All Knowledge” and to help preserve the artifacts that document our shared culture and heritage in order to create an Internet library for researchers, historians, and scholars. More and more of these artifacts now exist in digital form and thus our mission includes collecting web resources that are publicly available.
Details about our web archives and policies can be found on our website: https://archive.org/about/faqs.php#The_Wayback_Machine and in Internet Archive’s Terms of Use, Privacy Policy, and Copyright Policy, available here: https://archive.org/about/terms.php

* Virginia Tech University operates the Crisis, Tragedy and Recovery Network, a fund regrouping event based web archives on sudden tragic events and crises, hosted in part by Archive-It.