CC-BY

Des folksonomies à la sémantisation des annotations vidéo pour l’analyse filmique

Sorry, your browser does not support SVG.

Olivier Aubert - www.olivieraubert.net
Journée DAHLIA Humanités Numériques - 28/06/2019

Plan

  • Quelques définitions : annotations, lecture active
  • Plateforme Advene
  • Projet AdA : principes, mise en oeuvre
  • Conclusion

Annotations en recherche

Annotation - une des fondations du travail intellectuel

marginalia.jpg

Page du Codex Oxoniensis Clarkianus 39 (Clarke Plato). Dialogue Gorgias. Public Domain

Définition WebAnnotation

annotation - information body (free text, constrained vocabulary, structured data, image, graphic…) linked to a target document through a selector

Sorry, your browser does not support SVG.

video annotation - selector = (spatio)temporal fragment of a video, defined by a MediaFragment URI

Plusieurs communautés autour de l'annotation vidéo

media studies
Advene - Mediascope - Lignes de Temps

études musicales
Travis, MusiqueLab

linguistique
Anvil - ELAN - Exmeralda - Transcriber

recherche/éthologie/sciences comportementales
BORIS - Transana - VCode - Noldus/Observer - NVivo

sous-titrage
Amara - AegisSub

pédagogie
COCoNotes - Travis-Go - Lacuna stories - Mediathread

annotations sociales
Vialogues - TurboNote - Reclipped

informatique
vatic - LabelMe

sports
LongoMatch - Powerchalk - CoachLogic - SportsCode

Lecture active

Sorry, your browser does not support SVG.

Projet Advene

Annotate Digital Video, Exchange on the NEt

to be added to something or become a part of it, though inessential (Webster, 1913)

  • Accompagner la lecture active de documents audiovisuels
  • Créer, utiliser, échanger des analyses de documents audiovisuels sous forme d'hypervidéos
  • Démarré en 2002 avec Yannick Prié et P.A. Champin
  • Logiciel libre (GPL) multi-plateforme (application)
  • www.advene.org

Positionnements scientifiques

  • Ingénierie des connaissances
  • Ingénierie documentaire
  • IHM
  • Dataviz
  • Traces d'activité

Principe

Sorry, your browser does not support SVG.

Interface

screenshot_advene.png

Fonctionnalités

  • Structures et visualisations définies par l'utilisateur (templates, règles…)
  • Préservation de l'information structurée (annotation) aussi longtemps que possible
  • Notion de recueil (package) comme un ensemble (annotations, structure d'annotation, vues, requêtes) indépendant de la vidéo
  • Modèle de données simple basé texte
    • filtres d'import
    • pas de contraintes strictes
  • Flexible et extensible (via des plugins)

Exemples d'utilisations

  • Navigation dans des enregistrements de conférence : Tim Berners Lee
  • Analyse filmique : Nosferatu, Il caso Mattei
  • Analyse d'interviews : REMIND
  • Analyses d'expérimentations
  • Accessibilité vidéo pour personnes non-voyantes

Exemple: Nosferatu

Publication d'hypervidéos

screenshot_nosferatu.png

Exemple: Nosferatu - scènes cauchemardesques

Annotations graphiques

screenshot_nosferatu_nightmare.png

Exemple: Il caso Mattei

Thèse de Livia Giunti - utilisation d'outils numériques pour l'analyse et représentation du temps

screenshot_mattei.png

Exemple: Méthode REMIND

But: étudier la perception des visiteurs de musées via l'autoconfrontation basée vidéo

remind.jpg

  • autoexplicitation des visiteurs en rejouant un enregistrement subjectif de la visite
  • 40+ vidéos annotées
  • publication en ligne des vues et des données
  • visualisation dédiée
  • automatisation de tâches

Exemple: Méthode REMIND

Structuration exploratoire Publication des analyses sous forme d'hypervidéo

screenshot_museographie.png

Exemple: Analyse d'expérimentation

A Case Study of Object and Occlusion Management on the eLabBench, a Mixed Physical/Digital Tabletop (Aurélien Tabard - Université Lyon 1/CNRS)

  • Annotation graphique d'une capture vidéo d'une paillasse
  • Étude du comportement utilisateur

Exemple: Analyse d'expérimentation

occlusion-video.png

Exemple: Lab experiment analysis

Sorry, your browser does not support SVG.

Projet AdA

  • Affektrhetoriken des Audiovisuellen - Rhétorique audiovisuelle des affects
  • Exploration empirique de l'expression des affects dans les représentations filmiques de la crise financière de 2007
  • Collaboration interdisciplinaire : Cinepoietics (Media Studies, Freie Universität Berlin), HPI Potsdam (web sémantique et analyse vidéo)

Problématique et besoins

Problématiques

  • Développement d'un cadre méthodologique pour l'analyse, avec une validation quantitative
  • Sémantisation des informations
  • Exploration des possibilités d'automatisation

Besoins

  • Besoin de vérité terrain pour l'automatisation
  • Besoin d'optimiser le processus d'annotation manuelle
  • Passerelle entre utilisateurs et données sémantiques

Application

advene_ada.png

Processus

  • Modélisation exploratoire d'une ontologie via la structuration de schémas Advene
  • Description dans un tableur pour produire une ontologie
  • Conversion d'ontologie OWL en schéma Advene
    • Conversion des propriétés (URIs) en vocabulaires "locaux" (folksonomies)
    • Préservation des mappings URI/vocabulaire via des métadonnées
  • Utilisation de valideurs non bloquants
  • Export des informations dans un modèle RDF WebAnnotation étendu

Principe

Sorry, your browser does not support SVG.

Ontologie produite (HPI)

http://ada.filmontology.org/

  • 8 niveaux d'annotation: Segmentation, Camera, Montage, Image Composition, Acoustics, Language, Bodily expressivity, Motifs
  • 78 types d'annotation
  • 22000 + 14000 annotations sur 2 films
  • CC-SA 3.0

Visualisation des données

visualisation

ada_timeline.png

Développements dans le cadre du projet AdA 1/2

Interface utilisateur

  • mise à jour du code pour le support des évolutions système
  • amélioration des performances
  • manipulation (interface et code) de vocabulaires contraints
  • visualisation des données

Développements dans le cadre du projet AdA 2/2

  • amélioration des fonctionnalités de fusion/import pour la collaboration
  • interopérabilité avec le web sémantique:
    • import d'ontologie
    • export RDF (WebAnnotation + extensions)
  • intégration du serveur de détection de concepts (HPI)

Conclusion

  • validation du caractère générique de la plate-forme
  • opérationnalisation de la saisie de données sémantiques
  • futurs travaux autour des visualisations

Merci de votre attention

Questions, remarques…

@Olivier_Aubert
www.olivieraubert.net
www.advene.org