Gabriel Carpentier

Contexte

Sans Reflet s'inspire de la surexposition moderne aux médias pour matérialiser un état de dissociation : le participant se voit d'abord reflété fidèlement sur une mosaïque fragmentée, puis observe cette représentation se détacher de lui, se répéter, l'ignorer, jusqu'à devenir un simple témoin de sa propre présence. L'œuvre ne propose jamais de résolution. Elle maintient le participant dans un état continu d'instabilité perceptuelle, physiquement présent mais perceptuellement absent.

Rôle

J'occupais le rôle de PO, scénographe et intégrateur : gestion d'équipe, décisions conceptuelles et techniques, système de gestion TouchDesigner, et intégration de toutes les parties ensemble. J'ai aussi largement contribué à la conception visuelle, au design d'interaction, au mapping, ainsi qu'au travail de scène, notamment l'éclairage, le système de son et le réseau de communication.

Défi

Sans Reflet reposait sur une multitude de composantes à faire cohabiter : 4 Orbbec, 3 projecteurs, 3 spots, 5 haut-parleurs et 2 ordinateurs, pour près de 8 minutes de visuels variés, entièrement interactifs et évolutifs. Pour que tout tienne ensemble, j'ai dû concevoir un système de gestion des carrés de la mosaïque, un système d'optimisation de la performance globale, et plusieurs autres systèmes de contrôle et de communication entre les différentes parties du projet.

Contexte

Wall Of Sound réinvente le graffiti en fusionnant performance artistique et art numérique en temps réel. Une artiste graffiti crée une œuvre vivante à l'écran, transformée instantanément par les interventions d'un drummer jouant sur un drum kit MIDI, la musique et le geste deviennent alors des outils de création visuelle. Le style évolue au fil d'une trame narrative, passant du hip-hop vers la techno. Le projet a aussi été adapté en expérience interactive pour les portes ouvertes du programme de Création d'expérience immersive et interactive de l'UQAM (voir la vidéo numéro 3).

Rôle

J'ai porté la conception visuelle, la direction artistique, la gestion de projet, l'intégration, le design d'interactivité et la gestion de scène.

Défi

Le dispositif reposait sur plusieurs systèmes de captation distincts. La canette de peinture était équipée d'un ESP32, d'un bouton et d'un capteur infrarouge relié au système Photon de VYV, qui délimite l'espace en 3D grâce à ses propres capteurs et calcule la position exacte de la canette dans cet espace avant de transmettre les données à TouchDesigner pour créer une reproduction fidèle d'une vraie canette de graffiti. En parallèle, une Kinect captait le drummer, caché derrière un rideau, pour l'afficher à l'écran avec des effets, pendant que son drum kit MIDI permettait d'envoyer ses données directement pour affecter le visuel. Faire dialoguer ces deux flux de données avec TouchDesigner et Ableton, en contexte de performance live où rien ne peut être rejoué si un système flanche, était le vrai défi du projet.

Contexte

Mirabilia Floris invite l'interacteur à rencontrer une fleur dotée d'un œil à la place de son pistil. Dès qu'une présence entre dans son espace, la fleur se réveille et le suit du regard, jusqu'à ce qu'un carillon à proximité vienne la déstabiliser. Inspirée d'Alice au pays des merveilles, l'installation questionne notre rapport de pouvoir face à ce qui nous semble étrange ou vulnérable. La fleur ne change jamais ; c'est le regard qu'on porte sur elle qui change tout.

Rôle

Je me suis chargé de la vision IA, de la réponse des servomoteurs, et de l'intégration de l'ensemble du système.

Défi

Le vrai défi de Mirabilia Floris a été de faire tourner de la vision IA en complète autonomie sur un simple ESP32-S3 avec une petite caméra OV2640, sans aucun ordinateur connecté : tout le calcul se fait directement sur le microcontrôleur. Pour que ça reste fluide malgré ces ressources limitées, j'ai construit une architecture hybride : un modèle de détection faciale par deep learning localise le visage à intervalle régulier, tandis qu'un algorithme de suivi plus léger, basé sur la détection de teinte de peau, prend le relais entre deux détections complètes pour économiser du calcul. Les coordonnées sont normalisées, lissées, puis transmises par UART à l'Arduino Mega, qui les traduit en mouvement fluide pour les servomoteurs de l'œil, le tout en temps réel, sans latence perceptible qui briserait l'illusion.

Contexte

KiddieScript est une œuvre de mapping présentée dans le cadre de MappMTL, pour le Minute Map, et projetée sur un grand mur du skatepark Van Horne. Elle explore le croisement entre les visions artistiques et les outils techniques que les artistes utilisent pour les porter. Elle mélange une esthétique organique née dans TouchDesigner, de l'animation en stop motion et une esthétique électronique, le tout relié par une piste sonore.

Rôle

Je me suis occupé des visuels TouchDesigner : un script Python de space colonization, une simulation physarum et du liquid shading en GLSL. Je les ai rendus réactifs au son et fait suivre la trame narrative, en plus de gérer le mapping lui-même.

Défi

Le plus gros défi a été de me lancer dans le GLSL, un langage que je connaissais à peine, avec une deadline très courte. Le mapping demandait une très grande résolution, et j'ai fait planter TouchDesigner à de nombreuses reprises, souvent avec le message « The Vulkan Device has returned a fatal error code ». Les causes étaient variées, alors j'ai cherché à chaque fois des moyens d'optimiser pour que les simulations et le shader tiennent à cette résolution. J'aurais pu prendre un chemin plus simple, mais j'ai choisi de m'acharner jusqu'à obtenir le résultat que je m'étais imaginé.