Synesthésie artistique : Ressentir la couleur
Sommaire
Introduction
Notre projet est une initiation à la synesthésie, la synesthésie étant un phénomène neurologique par lequel deux ou plusieurs sens sont associés. Par exemple une personne visualise les lettres en de différentes couleurs ou le temps en volume...
Cette initiation permettra aux utilisateurs non esthètes de pouvoir le vivre.
Expérience
1er scénario :
2eme scénario:
Exemple d'interactions entre une couleur et une partie du corps:
Modélisation du parcours en 3D, travaux à modifier:
Phasage
Séance 1
Lors de cette séance nous avons dans un premier temps défini les limites du projet. Chacun a donné son point de vue sur la panoplie, avec différents scénarios. Nous avons ainsi tenté de répondre à la question du Qui, Comment, Quand, Pourquoi et Où. Puis il était important de fixer différents thèmes pour ne pas diverger : la sécurité, le jeu et l'événementiel. Et enfin nous nous sommes intéressés aux différentes solutions techniques qui s'offraient à nous. Le fichier pdf suivant résume toute notre démarche : Fichier:Récapitulatif.pdf
Séance 2
Dès le début de cette séance, Léa nous a fait part d'une idée de scénario. C'est à ce moment que naît notre projet sur la synesthésie. Sans rentrer dans les détails de la description mentionnée plus haut, nous avons fait différentes recherches sur cette sensation. Nous avons finalement décidé d'associer couleur et vibration.: divers schémas ont été dressés, différents scénarios avec différents personas. Dès lors nous avons entamé toute une démarche d'état d'art sur les solutions de capteurs existants, en fonction des disponibilités. Ensuite un autre travail d'état d'art sur les solutions de télécommunication sans fil. La synesthésie étant un phénomène rare, nous nous sommes intéressés au différents projets ou expériences déjà existants sur cette expérience. Deux axes de travail sont apparus : Léa va travailler la partie représentation du scénario et des cas d'usage, design de la panoplie. Puis les autres membres de l'équipe vont donc travailler sur l'aspect technique.
Séance 3
Nous avons effectué une série de réunions (tous les dimanches) en dehors des locaux de l'école des arts. Léa effectue de façon continue tout un processus de modélisation physique et numérique, et permet à la solution technique d'être la plus précise et la plus adéquate possible avec nos différents scénarii. Côté technique, nous avons décidé d'équiper nos panoplies de cartes Rasberry Pi 2. Il sera ainsi relié à l'une des cartes une micro caméra, un accéléromètre et un réseau Wi-fi permettra le lien entre les deux cartes. L'explication associée aux différents modules de la carte est donnée plus haut.
Semaine du WorkShop
Jour 1
- Réunion entre les étudiants de Télécom/ESADSE et ceux de l'IRAM au sein des locaux de l'IRAM: Présentation des projets de captation et data-visualisation en vue d'une fusion entre les différents projets.
- Installation d'un nouvel OS sur la carte Raspberry Pi 2.
- Etude de la datasheet de l’accéléromètre 6 Axis.
- Développement technique à l'ESADSE : On a connecté l’accéléromètre et le moteur à balourd sur la Raspberry Pi 2 et réussi à les faire fonctionner correctement.
Jour 2
Voici les différents points que nous avons abordé lors cette séance:
- Assurer la liaison WiFi entre les deux cartes Raspberry Pi 2
- Ecriture du code pour le bon fonctionnement de l'accéléromètre
- Ecriture du code pour le bon fonctionnement du moteur
- Travaux sur le code pour le traitement d'images en Python
Objectifs pour la prochaine séance :
- Connecter les deux cartes en wi-fi
- Réussir le traitement d'images
- Associer le traitement d'images avec le moteur
- Réfléchir sur le présentation finale : scénario, panoplie, storyboard
Jour 3
Nous nous sommes concertés lors de cette séance sur le rendu final, le scénario et surtout la vidéo. En parallèle nous avons avancé sur la partie technique. Les tâches effectuées aujourd'hui sont les suivantes :
- Conception de la maquette pour le rendu final
- Façonnage des croquis pour le story board
- Prise de contact avec un groupe d'élèves de l'IRAM. Partenariat pour le développement vidéo dans les locaux de l'IRAM
- Création du point d'accès Wi-Fi sur l'une des cartes
Story board:
Objectifs pour la prochaine séance :
- Connecter les deux cartes sur un même réseau local sans fils
- Transmette les données d'une carte à l'autre
- Associer le moteur avec le traitement d'images
- Faire le montage sur le teaser de la présentation
Jour 4
Tâches réalisées le dernier jour avant la présentation:
- Conception/fabrication de la carte à Télécom avec Mr Minon
- Refactoring du code pour un meilleur fonctionnement
- Association de la couleur et de la vibration
- Finalisation du montage et de la vidéo
- Fabrication de la panoplie, création du vêtement
Objectifs pour la prochaine séance :
- Enregistrement des voix pour la vidéo
- Finalisation des codes sources
- Assemblage cartes/panoplie
Jour 5
Quelques heures avant la présentation nous avons effectuer les derniers tests , finalisation de la vidéo ainsi que l'assemblage du vêtement et des différentes composants électroniques.
panoplie complet interne
panoplie complet externe
Partie technique
Hardware
Nous utilisons pour notre projet une carte raspberry pi 2 comme système embarquée, une raspicam qui est un module adapté à la raspberry afin d'effectuer des captures d'images et vidéos ainsi que deux moteurs linéaires commandés en courant.
moteur
raspberry et raspicam
Les moteurs linéaires ont un courant de retour qui se dirige vers la source qui la commande et ceci peut engendrer une détérioration de la carte raspberry pi pour cela nous devons annuler ce courant de retour via un transistor et une diode voici un schémas d'illustration
Ainsi nous avons du créer un shield qui s’emboiterait avec la Raspberry qui elle sera capable de commander les moteurs, ce shield nous l'avons conçu avec un logiciel de conception de carte (Altium designer) ,puis nous l'avons gravée à TSE et enfin nous avons fait les soudures des composants (résistance, transistor, diode et adapteur raspberry pi).
module face supérieur
module face intérieur
module + raspberry
Software
Avant tout nous avons installer un OS sur la Raspberry pi 2 et nous avons choisit Jessie (vous pouvez utiliser celui que vous voulez tant que coder en Python ). Notre programmation se déroule en deux étapes la première est de capturer l'image via la rapicam et d'extraire des pixels afin d'avoir une moyenne en terme de couleur sur l’image, la deuxième étape est de récupérer la couleur en question puis en fonction de celle-ci actionner le moteur, pour l'actionner il faut sur le gpio(led) où est brancher le moteur le mettre à l'état haut, voici comment nous avons procédé :
initialisation
récupération et traitement d'image
actionnement des moteurs
Pour pouvoir utiliser ce code il faut s'assurer que les modules python suivant sont présent : IMAGE, PIL, time, picamera et RPi.GPIO (les trois derniers sont "obligatoirement" présent) si un module est manquant, il faut le télécharger et l'installer via la commande linux sur le terminal de la raspberry suivante :
sudo apt-get install "nom du module".
voici le code complet:
Fichier:Code7.pdf
Enfin pour le programme démarre directement lors de l'allumage de la carte il faut crée un script qui se lance lors du démarrage et pour cela il faut faire les manipulation suivante :
- sudo nano /etc/rc.local sur le terminal de la carte
- ajouter ces lignes dans ce fichier
