## Instrumenter la lecture active audiovisuelle avec Advene - principes et pratiques Olivier Aubert www.olivieraubert.net ― Webinaire Numalyse *Outils créés, outils détournés* - 29/05/2026 --- ## Qui parle ? - Olivier Aubert - Mi-Maître de Conférences Associé en Informatique (LS2N) / Mi-consultant indépendant - *Thèmes de recherche*<br> Ingénierie des connaissances - Ingénierie documentaire - Annotation vidéo - Hypervidéos - Dataviz - Analyse d’expérience - Learning Analytics - Humanités Numériques - Architecte et développeur de solutions d’annotation vidéo : Advene, COCoNotes, Visu… ## Blue box Mulholland Drive (2001) by David Lynch  # Projet Advene Annotate Digital Video, Exchange on the NEt *to be added to something or become a part of it, though inessential* (Webster, 1913) <!-- .element: class="note" --> - Accompagner la lecture active de documents audiovisuels - Créer, utiliser, échanger des analyses de documents audiovisuels sous forme d’hypervidéos - Démarré en 2002 avec Yannick Prié et P.A. Champin - Logiciel libre (GPL) multi-plateforme Linux/Windows/MacOSX - www.advene.org ## Lecture active  ## Plusieurs communautés autour de l’annotation vidéo <div class="twocolumn note"> media studies [Advene](https://www.advene.org/) - [VIAN](https://www.vian.app/) - [Mediascope](http://www.inatheque.fr/consultation/mediascope.html) - [(Lignes de Temps)](http://www.iri.centrepompidou.fr/outils/lignes-de-temps/) - [pan.do/ra](http://pan.do/ra)… pédagogique [COCoNotes](http://coconotes.comin-ocw.org/) - [Travis-Go](http://travis-go.org/) - [Mediathread](https://mediathread.ctl.columbia.edu/) - [Mediate](https://www.library.rochester.edu/digital-scholarship/projects/mediate) - [Celluloid](https://celluloid.huma-num.fr/) … musique [Travis](http://www.travis-analysis.org/) - ([MusiqueLab](http://repmus.ircam.fr/ml2)) - [Transcribe](https://www.seventhstring.com/xscribe/overview.html)… arts [MotionBank](https://app.motionbank.org/) - [MemoRekall](https://memorekall.com/en/) - [Premiere](https://premiere-project.eu/)… linguistique [Anvil](http://www.anvil-software.org/) - [ELAN](https://tla.mpi.nl/tools/tla-tools/elan/elan-description/) - [Exmeralda](http://exmaralda.org/) - [Transcriber](http://transag.sourceforge.net/)… recherche comportementale [BORIS](http://www.boris.unito.it/) - [Transana](https://www.transana.com/) - [VCode](http://social.cs.uiuc.edu/projects/vcode.html) - [Noldus/Observer](http://www.noldus.com/office/fr/observer-xt-2) - [NVivo](http://www.qsrinternational.com/nvivo/)… sous-titrage [Amara](https://amara.org/fr/) - [AegisSub](http://www.aegisub.org/)… annotations sociales ([Vialogues)](https://vialogues.com/) - [YiNote](https://yinote.co/) - [Reclipped](https://www.reclipped.com/)… informatique [vatic](http://carlvondrick.com/vatic/) - [LabelMe](http://labelme.csail.mit.edu/)… sports [LongoMatch](https://longomatch.com/) - [CoachLogic](https://www.coach-logic.com) - [SportsCode](https://www.hudl.com/elite/sportscode)… </div> --- # Plan - Principes d’Advene - Quelques projets - La genèse instrumentale interdisciplinaire --- ## Interface  ## Principe  ## Hypervidéo Hypermédia centré vidéo (interactivité/temporalité) Vue: « façon de présenter » un document audiovisuel annoté Notre définition: Ensemble de vues utilisant des informations du document ET de la structure d’annotation, donnant accès à la temporalité du flux  ## Fonctionnalités essentielles - Structures et visualisations **définies par l’utilisateur** (*templates*, règles...) - Préservation de l’information structurée (annotation) aussi longtemps que possible - **Notion de recueil** (*package*) comme un ensemble/document (annotations, structure d’annotation, vues, requêtes) indépendant de la vidéo - Modèle de données simple basé texte - filtres d’import/export (ELAN, VIAN, WebAnnotation, srt, csv...) - filtres de traitement automatique (plans, couleur, son...) - pas de contraintes strictes, mais des vérifications de cohérence - Flexible et extensible (via des plugins) ## Plusieurs niveaux de flexibilité pour accompagner la pratique d’analyse exploratoire - flexibilité de la structuration des informations - re-structuration dynamique - autorise les données non conformes (avec avertissement) - du texte libre jusqu’aux ontologies - variété d’interfaces de création d’annotations - annotation manuelle avec assistants - intégration de données externes - flexibilité dans les visualisations - extensibilité via des plugins # Timeline - Incorporactions (2004-2007) - Cinelab (2007-2008) - CineCast (2009-2011) - datadata (2010-2011) - ACAV (2009-2012) - Il Caso Mattei (2010-2011) - Museographie (2011-2013) puis REMIND (2013-) - SpectacleEnLignes (2011-2015) - (CocoNotes) (2013-2016) - AdA project (2017-2021) --- ## Exemples d’utilisations - Sémantisation d’enregistrements de conférence : [Tim Berners Lee](https://www.advene.org/examples/tbl_linked_data_html5/) - Analyse filmique : [Nosferatu](https://www.advene.org/examples/nosferatu/), Il caso Mattei, [Projet AdA](https://projectada.github.io/) - Analyse d’interviews : [REMIND](http://www.museographie.fr/) - Analyses d’expérimentations (eLabBench) - Accessibilité vidéo pour personnes non-voyantes (ACAV) --- ## Exemple: Nosferatu  ## Exemple: Nosferatu - scènes cauchemardesques  ## Fonctionnalités illustrées - Templates HTML avec interaction avec application ou export statique autonome - Annotations graphiques - Vues multiples - Vues dynamiques --- ## eLabBench: Analyse d’expérimentation *A Case Study of Object and Occlusion Management on the eLabBench, a Mixed Physical/Digital Tabletop* (Aurélien Tabard - Université Lyon 1/CNRS) - Annotation graphique d’une capture vidéo d’une paillasse - Étude du comportement utilisateur ## eLabBench: Analyse d’expérimentation  ## eLabBench: heatmap  --- ## Exemple: Il caso Mattei Thèse de Livia Giunti - utilisation d’outils numériques pour l’analyse et représentation du temps - travail sur les outils numériques - étude de la structure d’annotation - définition de vues dédiées à la temporalité (durée de plan, temps chronologique vs temps diégétique) ### Il Caso Mattei  ## Fonctionnalités illustrées - Templates HTML et SVG - Données structurées --- ## Exemple: Mulholland Drive  ## Fonctionnalités illustrées - Templates HTML - Liens - Players vidéo multiples --- ## Exemple: Méthode [REMIND](https://hal.archives-ouvertes.fr/hal-01575010) Thèse de Daniel Schmitt: étudier la perception des visiteurs de musées via l’autoconfrontation basée vidéo <div class="twocolumn">  - autoexplicitation des visiteurs en rejouant un enregistrement subjectif de la visite - 40+ vidéos annotées - [publication en ligne](http://www.museographie.fr/) des vues et des données - visualisation dédiée - automatisation de tâches </div> ## Processus - Transcription de l’interview (vue Prise de notes) - Identification des signes hexadiques (méthodologie du cours d’action) - Utilisation des relations pour exprimer les cours d’expérience - Génération de visualisations (hypervidéos): transcript interactif enrichi par les signes - Publication sur le web: [www.museographie.fr](https://www.museographie.fr/) ## Exemple: Méthode REMIND  ## Fonctionnalités utilisées/développées - prise de notes et vue transcription - structuration des données (catégorisation, relations) - publication d’hypervidéo - gestion de corpus --- ## ACAV  --- # Projet AdA - *Affektrhetoriken des Audiovisuellen* - Rhétorique audiovisuelle des affects - Exploration empirique de l’expression des affects dans les représentations filmiques de la crise financière de 2007 - Collaboration interdisciplinaire : Cinepoietics (*Media Studies*, Freie Universität Berlin), HPI Potsdam (web sémantique et analyse vidéo), Olivier Aubert ## Problématique et besoins Problématiques - Développement d’un cadre méthodologique pour l’analyse, avec une validation quantitative - Sémantisation des informations - Exploration des possibilités d’automatisation Besoins - Besoin de vérité terrain pour l’automatisation - Besoin d’optimiser le processus d’annotation manuelle - Passerelle entre utilisateurs et données sémantiques ## Application  ## Processus - Modélisation exploratoire d’une ontologie via la structuration de schémas Advene - Description dans un tableur pour produire une ontologie - Conversion d’[ontologie OWL](http://ada.filmontology.org/) en schéma Advene - Conversion des propriétés (URIs) en vocabulaires \"locaux\" (folksonomies) - Préservation des mappings URI/vocabulaire via des métadonnées - Utilisation de valideurs non bloquants - Export des informations dans un modèle RDF WebAnnotation étendu ## Principe  ## Ontologie produite <https://projectada.github.io/ontology/>  <!-- .element: style="height: 30vh" --> - 8 niveaux d’annotation: Segmentation, Camera, Montage, Image Composition, Acoustics, Language, Bodily expressivity, Motifs - 78 types d’annotation - 22000 + 14000 annotations sur 2 films - CC-SA 3.0 ## Visualisation des données [visualisation](https://olivieraubert.net/hpi/timeline.html?media=timecode_test_video.mp4)  ## Fonctionnalités illustrées - **mise à jour du code pour le support des évolutions système** - **guide utilisateur** (allemand/anglais) - manipulation de vocabulaires contraints (ontologies, RDF) - amélioration des fonctionnalités de fusion/import pour l'édition collaborative - visualisation des données (timeline) --- # Genèse instrumentale  ## Genèse instrumentale (Rabardel, 1995) : coévolution des outils et des pratiques qu'ils rendent possibles  Dans une pratique, processus conjoint - d'**instrumentalisation**: évolution du côté matériel de l'instrument (nouvelles fonctionnalités) - d'**instrumentation**: évolution et émergence des schémas d'utilisation du sujet (nouvelles activites et pratiques) # Catachrèse Détournement d’un outil pour d'autres usages que ceux prévus initialement, ou non anticipés. Posture de design/conception pour favoriser cette agentivité des utilisateurs. ## Genèse instrumentale interdisciplinaire <div class="twocolumn"> De préoccupations distinctes...   ... à des pratiques et intérêts partagés </div> --- # Merci de votre attention Questions, remarques... [www.olivieraubert.net](http://www.olivieraubert.net/)\ [www.advene.org](http://www.advene.org)
