Introducing Documenting the Now
Archiver l'activisme citoyen not. sur #RSN
Cc @Calimaq @DLWebBnF @valerie_schafer https://t.co/BybGYYLO3f— Courtin Antoine (@seeksanusername) April 22, 2016
Archives mensuelles : avril 2016
Couverture des attentats de novembre 2015 à la télévision
1ers résultats d'une étude sur la couverture #télé des #attentats, via @clairesecail >> https://t.co/AjfRx969KC pic.twitter.com/tcnFSgh75e
— Gérôme Truc (@Gerome_Truc) April 9, 2016
Atelier DL Web Ina dédié à l’archivage twitter au moment des attentats
Retour sur la séance du Lab Ina DLWeb #0 https://t.co/Qpfshdt3z1
— Ina Dépôt Légal Web (@inadlweb) April 8, 2016
Pour retrouver le support de présentation.
Collectes d’urgence au moments des attentats de janvier et novembre 2015 (3/3) : entretien avec Thomas Drugeon, responsable du DL Web à l’INA (entretien du 21 mars 2016)
En complément de sa mission de dépôt légal du Web media consistant en la collecte continue des sites Web liés à l’audiovisuel, des vidéos, et des flux de réseaux sociaux liés au paysage audiovisuel français, l’Ina a étendu ses collectes aux flux Twitter en lien avec l’attentat perpétré dans les locaux de Charlie Hebdo (dès le 9 janvier 2015) et ceux survenus le 13 novembre 2015 à Paris (pour ces derniers, la collecte a commencé au soir même des attentats), récoltant ainsi plusieurs dizaines de millions de tweets au cours d’une collecte qui continue à ce jour. Nous revenons avec Thomas Drugeon, responsable du DL Web INA sur les objectifs, réalisations et limites, modalités de ces collectes.
Marguerite Borelli : Pourquoi votre institution a-t-elle décidé ces collectes et qu’est-ce qui a fait le caractère impératif de celles-ci?
Thomas Drugeon : La mission de l’Ina en ce qui concerne la collecte Web est de collecter les sites, réseaux socio-numériques et médias sociaux en lien avec l’audiovisuel. Or ces événements ont eu un impact énorme au plan national bien sûr, mais aussi dans l’audiovisuel français. Cela nous paraissait important de consacrer une collecte d’urgence aux événements. Et Twitter nous a semblé particulièrement important à collecter, car il y avait le risque que personne ne le fasse. Par contre nous n’avons pas fait de corpus spécial sur les sites Web audiovisuels, car ils peuvent au besoin plus facilement être récupérés après coup, alors que concernant Twitter on peut difficilement récupérer le flux après.
Valérie Schafer : Vous archivez Twitter le reste de l’année ?
Thomas Drugeon : Oui, absolument, nous suivons 400 hashtags liés à l’audiovisuel et 11 000 comptes environ, dont nous collectons de manière exhaustive les tweets en permanence. Ce sont des comptes de journalistes, de chaînes, etc. Mais là les événements dépassaient largement ces comptes habituels.
MB : Comment avez-vous procédé ?
TD : Pour les événements de novembre 2015, les choses se sont produites de manière un peu fortuite. Le vendredi 13 novembre, nous avions une intervention de maintenance prévue sur le réseau électrique de la salle serveur de l’Ina, et certains de nos processus de captation étaient donc délocalisés pour garantir la continuité de la captation des flux radio/tv et twitter. Si les circonstances n’avaient pas fait que nous soyons en situation d’astreinte pour contrôler cette délocalisation, nous n’aurions pas pu lancer de collecte spéciale avant le lundi matin. Mais nous avions un accès direct aux machines de captation, et ayant été informés des événements vers 23.30 nous avons pu commencer à collecter une série de hashtags (#bataclan, #prayforparis, #portesouvertes, #parisattacks par exemple) liés aux attentats en passant par l’API de streaming publique de Twitter. Par contre cette formule non payante limite la collecte de tweets à 1% du total des tweets émis au plan mondial à un instant T. Si l’on considère qu’il y en a environ 5000 émis par seconde en moyenne, on ne peut en capturer dès lors plus de 50 par seconde et là on dépassait ce total qui, en temps normal, nous suffit. Ainsi au moment du pic de tweets, nous n’avons pu en collecter qu’environ un quart. Les collections ne sont donc pas exhaustives au moment de l’afflux maximal des tweets, par contre, ensuite, lorsque le flux a diminué, on a pu tout collecter.
VS : Vous capturez des pages ? Comment collectez-vous les tweets ?
TD : Si on archive les pages twitter, il faut réextraire les posts ensuite, etc. Pour nous cela n’a pas d’intérêt, ce qui nous intéresse ce sont les « données brutes », un tweet c’est plus que 140 caractères, c’est aussi des informations sur la date, l’émetteur, des images, etc. Par contre on n’a pas capté les images de fond. On stocke une structure de données arborescente.
Collectes d’urgence au moment des attentats de janvier et novembre 2015 (2/3) : entretien avec Annick Le Follic, Chargée de collections numériques, au département de dépôt légal de la BnF (entretien du 21 mars 2016)
Au titre de sa mission de bibliothèque dépositaire du dépôt légal du web, la BnF mène, en complément de ses collectes annuelles larges du domaine français, des collectes ciblées, mais peut aussi lancer des collectes d’urgence lors d’événements imprévus. Elle a notamment été à l’initiative de collectes spéciales au moment des attentats de janvier et novembre 2015 survenus à Paris. Nous avons rencontré Annick Le Follic, chargée de collections au département de dépôt légal de la BnF, afin de l’interroger sur les objectifs, modalités, réalisations et limites de ces collectes.
Collecte d'urgence des sites web sur l'attentat à Charlie Hebdo lancée à la #BnF. Signalez-moi ce qui sort de l'ordinaire #JeSuisCharlie
— Maxence Hermant (@MaxenceHermant) January 8, 2015
Marguerite Borelli : Pouvez-vous décrire les étapes de votre collecte d’urgence en janvier et novembre, de la prise de décision en passant par le processus, jusqu’au résultat ?
Annick Le Follic : Le lendemain des attentats contre Charlie Hebdo toute l’équipe s’est dit qu’il faudrait faire une collecte d’urgence. Dans la journée nous avons discuté au sein du service pour savoir quelle forme devait prendre cette collecte et la lancer aussitôt. Pour les attentats de novembre, qui ont eu lieu un vendredi soir, nous avons dû attendre le lundi matin pour faire une réunion et décider des modalités de la collecte, car la bibliothèque est fermée le samedi et dimanche.
Valérie Schafer : Aviez-vous déjà mené des collectes d’urgence ? Pouvez-vous nous donner des exemples ? Le processus est-il formalisé au sein de la BnF ?
Annick Le Follic : Dernièrement, nous avons lancé de telles collectes pour documenter les mouvements contre l’aéroport de Notre-Dame des Landes, et celui du Mariage pour tous. Nous faisons à la BnF des collectes d’urgence depuis très longtemps, selon des modèles différents. Le cadre juridique de notre activité du dépôt légal du web a été défini par la loi de 2006. Notre obligation légale est d’effectuer une collecte annuelle large du domaine français, mais nous nous sommes toujours dit que ce n’était pas suffisant. Comme notre cadre juridique est assez large, nous avons commencé des collectes d’urgence en 2007, après les présidentielles. Nous avons essayé plusieurs modèles, en modifiant les périmètres de la collecte, la profondeur, et la fréquence : trois critères que l’on peut moduler à notre guise pour avoir la meilleure image possible du web.
Dans l’histoire de la BnF, il y a eu des périodes différentes. Après l’élection de 2007, nous avons voulu garder une veille sur la vie politique, en dehors des périodes électorales. Nous avons donc créé la collection « Actupol », qui suivait une trentaine de sites de presse, partis politiques et syndicats, et que nous activions en cas de primaires, de manifestations, etc. Puis nous avons changé de modèle en 2010 : avant, nous n’avions que peu de serveurs, qu’il fallait prendre le temps de programmer et installer pour activer la collecte. En 2010, notre capital technique a été augmenté à 50 serveurs disponibles, ce qui signifie qu’il y a toujours un lot prêt à moissonner en permanence. Si je veux lancer une collecte, j’envoie une demande au DSI, et elle démarre dans la journée. A partir de 2010, on a donc voulu garder une disponibilité sur l’urgence. Nous avons constitué un ensemble à collecter « Urgences », accompagné d’une charte documentaire, résultant d’une réflexion avec notre réseau de bibliothécaires collaborateurs, ainsi qu’un tableau des responsabilités (par exemple qui est habilité à décréter une urgence). Selon notre définition, une urgence en termes de collecte du web peut être liée à un événement éphémère ou liée à la disparition prochaine d’un site web (parfois les propriétaires nous les signalent). Ce mode implique une veille régulière de nos correspondants, il est intensif en capital humain.
En parallèle, nous avons lancé deux collectes plus automatiques : « Actualités », qui regroupe 100 titres de presse français, collectés chaque jour à 10 h du matin (page d’accueil et un clic) ; et « Presse payante », qui regroupe 25 titres de presse (surtout régionale, mais aussi Médiapart) dont on collecte la version abonnés chaque jour à 14 h.
Ces collectes sont très importantes car elles tournent le weekend, et nous évitent de rater des événements. Comme elles couvrent toute l’actualité, elles ont supplanté nos collectes d’urgence. Par exemple, les attentats de janvier et novembre étaient déjà couverts en partie par les collectes « Actualités » et « Presse payante » : l’urgence était donc plus sur les réseaux sociaux numériques, que nous couvrons d’habitude seulement lors d’élections ou de collectes programmées. Nous avons toutefois capturé des pages web complémentaires, à partir des URL remontées, à notre demande, par notre réseau de correspondants (approximativement 100 bibliothécaires). Notre robot Heritrix a capturé les pages signalées à deux clics de profondeur.
Les sociétés connectées à l’épreuve du terrorisme
Article dans le journal du CNRS, interview de Gérome Truc, auteur de Sidérations. Une sociologie des attentats, PUF, janvier 2016.
Présentation @EHESS_fr sur le rôles de l'écrit dans les réactions aux attentats, avec Maëlle Bazin (@Carism_IFP) >> https://t.co/Ci7JYppu4a
— Gérôme Truc (@Gerome_Truc) April 5, 2016
Archivage Twitter de Nick Ruest en janvier 2015
“I’ve spent the better part of a month collecting tweets from the #JeSuisCharlie, #JeSuisAhmed, #JeSuisJuif, and #CharlieHebdo tweets. Last week, I pulled together all of the collection files, did some clean up, and some more analysis on the data set (76G of json!). This time I was able to take advantage of Peter Binkley‘s twarc-report project. According to the report, the earliest tweet in the data set is from 2015-01-07 11:59:12 UTC, and the last tweet in the data set is from 2015-01-28 18:15:35 UTC. This data set includes 13,968,293 tweets (10,589,910 retweets – 75.81%) from 3,343,319 different users over 21 days. You can check out a word cloud of all the tweets here.”
Submitted by Nick Ruest on Tue, 02/03/2015 – 09:29
A look at 14,939,154 #PARIS #BATACLAN #PARISATTACKS #PORTEOUVERTE TWEETS
“On November 13, 2015 I was at the “Web Archives 2015: Capture, Curate, Analyze” listening to Ian Milligan give the closing keynote when Thomas Padilla tweeted the following to me:
@ruebot terrible news, possible charlie hebdo connection – https://t.co/SkEusgqgz5
— Thomas Padilla (@thomasgpadilla) 13 novembre 2015
I immediately started collecting”.
Submitted by Nick Ruest on Sat, 12/12/2015 – 14:49