Ce que détecte la détection de scènes

« Détection de scènes » fait partie de ces expressions qui semblent désigner une chose et en désignent plusieurs. Savoir laquelle un outil applique explique la plupart des surprises : pourquoi il a trouvé quarante scènes dans un podcast qui n'en compte aucune, pourquoi il a raté la coupure évidente, et pourquoi les clips qu'il propose commencent parfois au milieu d'une phrase.

Elle détecte des changements de plan, pas des scènes

La technique standard compare des images consécutives et signale les moments où elles cessent de se ressembler. Histogrammes de couleur, contours, différences par blocs : les détails varient, le principe non. Une coupe franche produit une différence énorme et instantanée. C'est cela qui est détecté.

Le nom honnête de la fonctionnalité est donc « détection de changements de plan ». Une « scène » au sens du cinéma (une unité d'action continue en un même lieu) est une notion sémantique, et rien dans une comparaison d'histogrammes n'en a connaissance. La plupart du temps, les deux coïncident assez bien pour que personne ne remarque la différence. Les échecs sont là où elles ne coïncident pas.

Les quatre façons dont ça se trompe

Des rushes sans aucune coupe. Un podcast à une caméra, un webinaire, un enregistrement au téléphone : un seul plan, d'une heure. La détection de changements de plan ne trouve correctement rien, ce qui est inutile. Un outil qui renvoie quarante segments sur ces rushes ne détecte pas des plans du tout ; il découpe sur autre chose (des silences, des tours de parole, ou simplement le temps) et appelle ça pareil.

Fondus et fondus enchaînés. Un fondu enchaîné étale le changement sur trente images, si bien que la différence par image reste sous le seuil du début à la fin. La transition que tout spectateur voit est celle que le détecteur a le plus de chances de manquer. Baissez le seuil pour l'attraper et vous vous mettez à signaler chaque flash d'appareil photo.

Du mouvement à l'intérieur d'un plan. Quelqu'un se lève et passe devant l'objectif. Un éclairage de scène change de couleur. Une diapositive avance dans une capture d'écran. Grosse différence entre images, aucune coupe. Ce sont des faux positifs, et ils se concentrent précisément dans les rushes que les gens veulent le plus découper.

Des têtes parlantes multicaméra. Ici, ça marche parfaitement et ce n'est toujours pas ce que vous voulez. Un entretien à deux caméras alterne entre les intervenants toutes les quelques secondes, donc le détecteur renvoie une frontière toutes les quelques secondes. Techniquement exact ; une liste de deux cents segments qu'aucun humain ne lira.

Ce qui trouve vraiment un clip

Les changements de plan sont un signal de structure, pas de contenu. Trouver un moment qui mérite d'être publié demande au moins trois choses, et la frontière de plan est la moins importante des trois :

• Où la parole commence et s'arrête. Depuis la transcription, pas depuis l'image. C'est ce qui donne à un clip un début qui n'est pas au milieu d'un mot.
• Où le sens est complet. Une question et sa réponse. La phrase avant le propos et le temps qui le suit. C'est la frontière qui compte, et c'est une question de langue.
• Où le plan change. Utilisé comme départage : entre deux points de coupe acceptables distants d'une seconde, préférez celui qui tombe sur une frontière de plan, parce qu'une coupe qui coïncide avec une coupe existante est invisible.

Lue dans cet ordre, la détection de scènes fait un travail modeste et réellement utile : elle empêche un clip de commencer au milieu d'un mouvement de caméra. Ce n'est pas elle qui choisit de quoi parle le clip. Quand un produit laisse entendre le contraire, les clips qu'il produit ont exactement la qualité qu'on attend d'un histogramme : bien bornés, et sur rien en particulier.

Pourquoi la faire tourner quand même

Cela dit, on peut demander à quoi bon. Trois raisons, toutes pratiques.

Une coupe sur une frontière de plan a l'air voulue. Une coupe à une seconde d'une frontière de plan a l'air d'une erreur, et le spectateur l'enregistre sans pouvoir dire pourquoi.

C'est peu coûteux. La différence entre images coûte une fraction de ce que coûte la transcription, et elle tourne sur la même passe de décodage. Il n'y a aucune raison de se priver de l'information.

Et cela rend les longs rushes navigables. Même dans le cas multicaméra, où la liste brute est inutilisable, les mêmes données regroupées par plan donnent une bande de vignettes bien plus facile à parcourir qu'une grille d'images régulière.

La question à poser à un outil

Non pas « fait-il de la détection de scènes », tout le monde en fait. Demandez ce qu'il advient d'un enregistrement d'une heure en plan unique. Si la réponse est un ensemble de clips sensé, le produit fait le travail sur la langue et se sert des changements de plan comme d'un indice. Si la réponse est un seul segment, ou quarante segments arbitraires, vous avez appris quelque chose de plus utile qu'une liste de fonctionnalités.