Des folksonomies à la sémantisation des annotations vidéo pour l’analyse filmique

Olivier Aubert - www.olivieraubert.net

Journée DAHLIA Humanités Numériques - 28/06/2019

Plan

• Quelques définitions : annotations, lecture active
• Plateforme Advene
• Projet AdA : principes, mise en oeuvre
• Conclusion

Annotations en recherche

Annotation - une des fondations du travail intellectuel

Page du Codex Oxoniensis Clarkianus 39 (Clarke Plato). Dialogue Gorgias. Public Domain

Définition WebAnnotation

Plusieurs communautés autour de l'annotation vidéo

Lecture active

Projet Advene

Annotate Digital Video, Exchange on the NEt

to be added to something or become a part of it, though inessential (Webster, 1913)

• Accompagner la lecture active de documents audiovisuels
• Créer, utiliser, échanger des analyses de documents audiovisuels sous forme d'hypervidéos
• Démarré en 2002 avec Yannick Prié et P.A. Champin
• Logiciel libre (GPL) multi-plateforme (application)
• www.advene.org

Positionnements scientifiques

• Ingénierie des connaissances
• Ingénierie documentaire
• IHM
• Dataviz
• Traces d'activité

Principe

Interface

Fonctionnalités

• Structures et visualisations définies par l'utilisateur (templates, règles…)
• Préservation de l'information structurée (annotation) aussi longtemps que possible
• Notion de recueil (package) comme un ensemble (annotations, structure d'annotation, vues, requêtes) indépendant de la vidéo
• Modèle de données simple basé texte
  • filtres d'import
  • pas de contraintes strictes
• Flexible et extensible (via des plugins)

Exemples d'utilisations

• Navigation dans des enregistrements de conférence : Tim Berners Lee
• Analyse filmique : Nosferatu, Il caso Mattei
• Analyse d'interviews : REMIND
• Analyses d'expérimentations
• Accessibilité vidéo pour personnes non-voyantes

Exemple: Nosferatu

Publication d'hypervidéos

Exemple: Nosferatu - scènes cauchemardesques

Annotations graphiques

Exemple: Il caso Mattei

Thèse de Livia Giunti - utilisation d'outils numériques pour l'analyse et représentation du temps

Exemple: Méthode REMIND

But: étudier la perception des visiteurs de musées via l'autoconfrontation basée vidéo

Exemple: Méthode REMIND

Structuration exploratoire Publication des analyses sous forme d'hypervidéo

Exemple: Analyse d'expérimentation

A Case Study of Object and Occlusion Management on the eLabBench, a Mixed Physical/Digital Tabletop (Aurélien Tabard - Université Lyon 1/CNRS)

• Annotation graphique d'une capture vidéo d'une paillasse
• Étude du comportement utilisateur

Exemple: Analyse d'expérimentation

Exemple: Lab experiment analysis

Projet AdA

• Affektrhetoriken des Audiovisuellen - Rhétorique audiovisuelle des affects
• Exploration empirique de l'expression des affects dans les représentations filmiques de la crise financière de 2007
• Collaboration interdisciplinaire : Cinepoietics (Media Studies, Freie Universität Berlin), HPI Potsdam (web sémantique et analyse vidéo)

Problématique et besoins

Problématiques

• Développement d'un cadre méthodologique pour l'analyse, avec une validation quantitative
• Sémantisation des informations
• Exploration des possibilités d'automatisation

Besoins

• Besoin de vérité terrain pour l'automatisation
• Besoin d'optimiser le processus d'annotation manuelle
• Passerelle entre utilisateurs et données sémantiques

Application

Processus

• Modélisation exploratoire d'une ontologie via la structuration de schémas Advene
• Description dans un tableur pour produire une ontologie
• Conversion d'ontologie OWL en schéma Advene
  • Conversion des propriétés (URIs) en vocabulaires "locaux" (folksonomies)
  • Préservation des mappings URI/vocabulaire via des métadonnées
• Utilisation de valideurs non bloquants
• Export des informations dans un modèle RDF WebAnnotation étendu

Principe

Ontologie produite (HPI)

http://ada.filmontology.org/

• 8 niveaux d'annotation: Segmentation, Camera, Montage, Image Composition, Acoustics, Language, Bodily expressivity, Motifs
• 78 types d'annotation
• 22000 + 14000 annotations sur 2 films
• CC-SA 3.0

Visualisation des données

visualisation

Développements dans le cadre du projet AdA 1/2

Interface utilisateur

• mise à jour du code pour le support des évolutions système
• amélioration des performances
• manipulation (interface et code) de vocabulaires contraints
• visualisation des données

Développements dans le cadre du projet AdA 2/2

• amélioration des fonctionnalités de fusion/import pour la collaboration
• interopérabilité avec le web sémantique:
  • import d'ontologie
  • export RDF (WebAnnotation + extensions)
• intégration du serveur de détection de concepts (HPI)

Conclusion

• validation du caractère générique de la plate-forme
• opérationnalisation de la saisie de données sémantiques
• futurs travaux autour des visualisations

Merci de votre attention

Questions, remarques…

@Olivier_Aubert
www.olivieraubert.net
www.advene.org