Computed Curation : le photobook créé par un ordinateur

Le projet de Philipp Schmitt : crée un livre de photographies organisé et annoté à l’aide de l’apprentissage par machine.

Computed Curation est un photobook créé par un ordinateur. En sortant l’éditeur humain, il utilise des outils d’apprentissage par machine et de vision par ordinateur pour guider une série de photos à partir d’une archive de photos.

Compte tenu du contenu et de la composition de l’image – mais à travers les yeux sobre des réseaux neuronaux, des vecteurs et des pixels -, les algorithmes révèlent des connexions et des interprétations inattendues qu’un éditeur humain aurait pu manquer.

Les outils de reconnaissance d’image basés sur l’apprentissage par machine sont déjà habiles à reconnaître les images de formation (parapluie, chien sur une plage, voiture), mais exposent rapidement leurs défauts et leurs faiblesses lorsqu’ils sont confrontés à des intrus plus complexes. Dans Computed Curation, ces défauts se retrouvent dans des légendes, des étiquettes et des connexions souvent bizarres et parfois poétiques.

De plus, en invitant le spectateur à spéculer constamment sur la logique derrière son arrangement, le livre enseigne comment voir le monde à travers les yeux d’un algorithme.

PROCESSUS

Le livre comprend 207 photos prises entre 2013 et 2017. Les métadonnées sont collectées via l’API Cloud Vision de Google (tags, couleurs), l’API Cognitive Services de Microsoft (légendes) et Adobe Lightroom (date, emplacement). La composition est analysée à l’aide de HOG .

Compte tenu de plus de 850 variables pour chaque photo, un algorithme t-SNE organise les images dans un espace bidimensionnel selon des similitudes de contenu, de couleur et de composition. Un algorithme TSP génétique calcule un chemin le plus court à travers l’arrangement, définissant ainsi l’ordre des pages.

La disposition du livre est générée à l’aide d’une application Node.js personnalisée et rendue dans InDesign à l’aide de basil.js. Le livre est imprimé sur une presse numérique HP Indigo et à la main comme un livre d’accordéon d’une longueur totale de 29 mètres.

Concept & Développement: Philipp Schmitt
Photographie: Philipp Schmitt
Conception du livre: Philipp Schmitt & Margot Fabre 
Typographie: Px Grotesk par Optimo Type
Impression: CedarGraphics 
Merci: Matthias Bernhard , Daniel Schwarz , Moe Vazifeh , Sebastiano Milardo, Ian Seiferling 
Open Source: noeud. js , mongodb , porc-descripteur , word2vec , GA-TSP , TSNE-js , basil.js

Source

Publicités

Un commentaire sur “Computed Curation : le photobook créé par un ordinateur

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s