Thêta Fantomes floss+art+game+laser+mobile avatar - Architecture and brain wave controlled music

Summary Thêta Fantomes is a multimedia installation crossing gaming (video), art and novice scientific research in the field of neuroscience.

Since 1997 APO33’s artistic research develops has addressed new practices at the cutting edge of digital genres with a particular interest in networked performances, using robotics, networks, web transfer, interactive and immersive installation or performance …), Theta Fantômes is an artistic creation resulting from our current research with networking EEG interfaces as a way of controlling space, light and sound. We propose with Theta Fantômes to remove the performer from the “physical” game situation and use brain waves instead of material manipulations to produce sound and visual interaction. Thêta Fantomes asks of the performer (or player), which may be a member of the public, a certain level of concentration in order to control the sound and visual composition of Thêta Fantomes. https://vimeo.com/168983526 https://vimeo.com/148725639

Background

Brain waves are very much subject to fantasy and imagination. Advances in science over the last () years have made it possible to read the number of hertz per minute produced by our different areas of the brain and their various modulations depending upon what do you “think”, which part of the brain is active and the level of concentration. Human Computer interaction: human-machine relationships; Neuroscience or “brain research” is predominantly focused on explaining how the brain works in order to explain how the human works. This last point is more problematic as neuroscience uses a very limited tools to measure of the complexity of the brain; the electrical production the brain produces to map some other reaction in human conscious and/or unconscious decision making, emotion, feeling or affect… “However, we wish to argue that simply measuring the “neural correlates” of SES-disparities would be insufficient. The behavioural data is compelling in its own right, and the mere process of adding of brain pictures may not in itself add any explanatory, diagnostic or predictive power, despite its seductive allure (Weisberg Et al., 2008).”

Differentiation from neuroscience & art, between lab research based and art practices.

In Thêta Fantomes the aim is not trying to explain brain function but rather hijack these tools and the potential of their sensors to embrace of new conception of mixing game and mix-media live performance using Brain-computer interfaces. As in Alvin Lucier’s piece “Music for solo performer” where he used his brainwaves to control some drums using EEG sensors in 1965. APO33 collective also proposes with Thêta Fantomes to withdraw the performer from the situation of performing “physically” with the material and instead use his/her brainwaves to control sound production. Thêta Fantomes requires the performer to achieve a certain level of concentration and will ask the audience and the performer to balance their thoughts in order to achieve the ultimate visual and musical composition.

The Game Concept

Theta Fantômes integrates elements of “gaming” (play) that allows audience interaction, where participants from the public to interact directly with work. The game is not designed as a space for emotional release or leisure but as an opportunity to build a composition in the form of levels to reach. This is for the player (participant) to get to achieve a state of plenitude and maintain the thêta waves of the brain. These are among the waves produced by the brain when we are asleep or meditative state. When one of the players (the composition should work with 2 to 4 players) reaches any of these levels: the sound and visual environment changes and complexifies the audible layers whilst creating a visual mapping of possible neuronal connections. This visualization is not formal but rather a suggestion, created based on 3D connection, it is constructed as an aesthetic cellular metabolism rather than as a model, which creates an audiovisual performance for those members of the audience not directly engaged in game play.

-Palier 1: chaotic state (scattered thinking, sound and visual confused)

-Palier 2: Transient state (a calmer state, the frequencies are softer, visual idle)

-Palier 3: Steady State (everything becomes right, sounds stabilize, less movement)

-Palier 4: state of ecstasy (Theta waves just been reached, semi-somnolence, quiet daze, light beat, transcendence and ecstasy)

In Theta Fantômes, there are no winners or losers, because what counts is that both players reach the final level, while taking into consideration the sound composition and changes in the visual elements. What begins to emerge, is also the notion of achieving these levels in a collective way. Two or four players must meet all steps to move forward in later levels of the game which also transforms the visual and the audible outputs.

Thêta Fantômes est un nouveau type de croisement multimédia entre le jeu (vidéo), la création artistique et la recherche scientifique dans le domaine de la neuroscience. Depuis plusieurs années Apo33 est impliqué dans une recherche artistique qui permet de développer de nouvelles écritures numériques à la pointe des recherches les plus actuelles du genre (Robotique, réseau, transmission web, création interactive et immersive…), Thêta fantomes est une création artistique qui résulte de ces recherches et notamment sur ces questions d'interdisciplinarités et de recherche multimédia. Nous proposons avec Thêta Fantômes de faire disparaître le performeur de la situation de jeu “physique” avec la matière et d’utiliser les ondes cérébrales pour produire du son et manipuler du visuel. Thêta Fantômes demande au performeur ( le joueur), qui peut-être une personne du public, un certain niveau de concentration pour maîtriser la composition sonore et visuelle de Thêta Fantômes.

Research Project - Thêta Fantomes - Apo33 from apo33 on Vimeo.

Floss+Art+Game - Ondes cérébrales et bataille de fréquences

Le projet

Les ondes cérébrales et la recherche en neuroscience font l’objet depuis plusieurs décennies d’un fantasme qui dépasse son champ réel d’exploration sur la nature humaine. Nous avons pu découvrir les fréquences émises par notre cerveau (générateur électrique de faible puissance) et les transformer en informations numériques quantifiables pour tenter d’expliquer son fonctionnement. Si cela fonctionne d’un point de vue mécanique, électrique, il en est tout autre chose du point de vue du fonctionnement de la conscience et de l’inconscient de l’humain. Dans le projet Thêta (type d’ondes produites par le cerveau), il ne s’agit pas d’expliquer le fonctionnement du cerveau mais plutôt de détourner les outils utilisés dans ce domaine pour initier de nouvelles conceptions artistiques utilisant les signaux électriques du cerveau pour créer des croisements entre les domaines du jeu et de mix-média regroupés au sein d’une performance. Comme dans la pièce d’Alvin Lucier “Music for solo performer” – pour ensemble de percussions joué en temps réel par l’activation de modules électromécaniques reliés aux modulations des activités cérébrales de l’interprète, le collectif Apo33 propose avec Thêta Fantômes de retirer le performeur de la situation de jeu “physique” avec la matière mais d’utiliser les ondes de son cerveau pour produire du son et manipuler du visuel. Thêta Fantômes demande au performeur, qui peut être aussi une personne du public, un certain niveau de concentration pour maîtriser la composition sonore et visuelle mise en place.

La notion de Jeu

Thêta fantômes intègre une partie “gaming” (jeu) qui permet à des participants du public d'interagir avec l'oeuvre. Le jeu n'est pas conçu comme un espace de défoulement ou de loisirs mais plutôt comme une possibilité de construire une composition en forme d'étapes à atteindre. Il s'agit pour le joueur (participant) d'arriver à atteindre un état de plénitude et d'entretenir les ondes thêta de son cerveau. Celles-ci font parties des ondes produites par le cerveau quand nous sommes endormis ou en état de méditation. Quand l’un des joueurs (la partie / composition devrait pouvoir fonctionner de 2 à 4 joueurs) atteint l’un de ces niveaux : le son et le visuel changent et complexifient les strates sonores tout en créant une cartographie visuel de possibles connections neuronales. Cette visualisation n'est pas formelle mais plutôt une suggestion, créé à base de connection 3D, elle se construits comme un métabolisme cellulaire esthétique et non pas comme une modélisation. Dans le pré-projet nous avons pour l'instant pensé à 4 étapes (niveaux), cette partie pourra être modifié dans les étapes de résidences-recherche, elle se constitue comme des paliers :

-Palier 1 : État chaotique (pensée dispersée, sonorité et visuel confus) -Palier 2 : État transitoire (un état plus calme, les fréquences sont plus douces, le visuel ralenti) -Palier 3 : État stable (tout devient plus droit, les sons se stabilisent, moins de mouvement) -Palier 4 : État d'extase (Les ondes thêta viennent d'être atteintes, semi-somnolence, calme, état second, léger battement, transcendance et extase)

Dans Thêta Fantômes, il n'y a pas de gagnant ou de perdant, car ce qui prime est d'arriver à la fois au dernier palier tout en prenant en compte la composition sonore et le changement dans le visuel. Ce qui commence à se dessiner pour nous, c'est aussi cette notion d'atteindre ces paliers de façon collective, les deux ou quatre joueurs doivent tous atteindre ces étapes pour avancer dans les niveaux supérieurs et transformer le visuel et le sonore issue de ces paliers. Les règles du jeu de Thêta fantomes ne doivent pas non plus être trop complexes, en ce sens qu'elles ne doivent pas être en contradiction avec la stabilisation d'un état chaotique vers un état de calme et d'extase. Nous sommes dans un jeu qui se doit d'être aussi une expérience esthétique, où le son n'est pas seulement démonstratif d'un phénomène mais atteint le musical, la sculpture et où le visuel n'est pas une visualisation de donnée ou une modélisation mais bien une expérience presque cinématographique sans narration, un film en mouvement, synthétique et basé sur l'expérimentation de matière numérique.

La création artistique

Le collectif Apo33 est avant tout composé d'artistes, intéressés par les sciences, le code et le numérique, nous envisageons nos créations sur de nouveaux terrains de recherche artistiques utilisant ces domaines pour servir notre propos. Nous pensons que la science, l'art et la technique ont beaucoup à s'apporter mutuellement. Mais l'art pour nous représente ce qui transcende et questionne des domaines plus pratiques ou attachés à des lectures du vivant ou de notre environnement de façon plus statiques et préconçus. L'art a cette capacité à se poser au croisement de plusieurs domaines, dans une attitude plus distancié avec la connaissance, la matière et le résultat de recherche ou d'expérimentation. Pour Thêta fantômes, le travail sur la composition musicale et son adéquation avec l'interaction de l'image est central à la création du projet, c'est l'expérience première que le public aura du projet. En ce sens, la technique d'utilisation des ondes cérébrales est déjà à disposition via des capteurs EEG (captations des ondes électriques produites par notre cerveau), nous, artistes n'avons pas besoin de développer des outils de captation ou de visualisation des données, notre recherche se place sur le “comment” utiliser ces données dans de nouvelles formes d'écritures artistiques. Quelles types de sons devons-nous utiliser ? Comment se développent la composition en fonction des états des participants? De quelle façon le visuel interagit avec le son et de quelle façon les images de synthèse se développent ? Comment la matière visuel évolue t-elle en fonction de ces états chaotiques ou transitoire? Quelles seront leur évolution vers les états de stabilité ou d'extase? Autant de questions sur lesquelles nous souhaitons travailler dans cette nouvelle création. A l'heure de l'écriture de ce projet nous avons réalisé une pré-maquette où l'ensemble des technologies fonctionnent (capteur EEG, système informatique en réseau, communication OSC et inter-action son et image), toute la partie artistique et écriture de la création restent à développer, ainsi que la partie participation du public. Ces notions de jeu artistique et de construction des différents paliers représentent les différents état des participants. Nous souhaitons aussi avoir des temps ouverts au public pendant la résidence-création où l'on puisse tester la réalité de nos idées et sa mise en forme artistique (son/visuel et scénique) sous la forme d'un spectacle multimédia.

-Tutoriel (how to) pour utiliser un casque EEG (epoc) pour contrôler des moteurs via arduino :

télécharger le tuto

-comparatif des interfaces : https://en.wikipedia.org/wiki/Comparison_of_consumer_brain%E2%80%93computer_interfaces

Nous avions jusqu'à présent utilisé le casque epoc emotiv conçu pour le grand public et les jeux videos. L'aspect ludique/design avait été une des motivations d'achat de ce casque. Voici un lien vers le site de la société qui propose ce casque avec ces différentes versions et de nouveaux types qui sont apparus depuis ainsi que tous les utilitaires logiciels payants ou gratuits :

https://emotiv.com/

malheureusement cette interface nous paraît fermé et peu enclin à ouvrir une partie de sa technologie au logiciel libre et à libre utilisation des données. L'aspect sexy du produit cache aussi un aspect raccolleurs et vendeurs façon microsoft.

Types de casques

Ils existent également les casques suivants:

https://en.wikipedia.org/wiki/Comparison_of_consumer_brain%E2%80%93computer_interfaces#Open-source_projects

et cette liste pour les casques compatibles openvibes : http://openvibe.inria.fr/supported-hardware/

Documentation du mindwave : + docs http://developer.neurosky.com/docs/doku.php?id=thinkgear_communications_protocol

- laser rotatif automatique : http://www.monechelle.fr/niveau-laser/laser-rotatif-automatique-fl-180a-geofennel-avec-batteries-et-cellule-329091?g=1&referer_id=537135&gclid=CKDpit3A28kCFSoUwwodE_cB7Q

Laser contrôle DMX https://www.la-bs.com/fr/art/laser~blue5_nicols-laser-bleu--450-nm--480-mw-pilotable-en-dmx---classe-3b.htm ⇒ changement de couleur ?

-à tester une carte qui combine arduino + raspBerryPi = http://www.udoo.org/udoo-neo/

Recherche moteurs :

http://electroniqueamateur.blogspot.fr/2012/11/controle-dun-moteur-pas-pas-avec-un.html

https://fr.wikipedia.org/wiki/Machine_%C3%A9lectrique

Moteurs alternatifs monophésés : cours polytechnique Montréal sur les moteurs, fait le tours de façon scientifique de tout les types de moteurs existants

*http://www.epsic.ch/pagesperso/maccaudo/electrotechnique/theorie/moteurs/c05b_moteurs_autres.pdf

Moteur universel série https://fr.wikipedia.org/wiki/Moteur_universel

Doc Relais :

http://www.sonelec-musique.com/electronique_theorie_relais.html

Moteur d'essuie glace ⇒

Moteur CC ⇒ couple proportionnel au courant, vitesse à la tension

Carte contrôle moteur :

https://www.sparkfun.com/products/10182

# Moteurs

- Moteur en courant continu ou step-by-step : Permet un pilotage précis du moteur. - Relai Solid State : Latence moindre par rapport à un relai Électromécanique.

[Relai 8 canaux SSR](http://arduino-elektronika.eu/en/relay-led-controllers/416-sainsmart-8-channel-5v-solid-state-relay-module-boardomron-ssr-4-arduino-raspberry-pi.html)

[Circuit de contrôle vitesse + sens](http://www.agilityfeat.com/blog/2015/08/using-arduino-to-control-dc-motor-speed-and-direction)

[Contrôle radio arduino](https://www.youtube.com/watch?v=Ctssa7KPVoM)

Après ces recherches sur les moteurs, leurs caractéristiques et leur type de contrôle, nous sommes plus à même de choisir le bon type de moteur pour le mouvement que nous voudrons créer. Nous avons trouvé un moteur pas à pas au couple puissant dont nous testons actuellement la solidité et l'endurance.

Nous avons parallèlement abandonné les différents systèmes de poulies envisagés pour nous tourner vers une “plateforme robot”. ⇒ photo http://www.arobose.com/shop/81-large_default/plateforme-mobile-mini-2-roues-pour-arduino.jpg Cette plateforme se promènerait dans l'espace de la même manière que pourrait le faire une voiture télécommandée, de droite à gauche, d'avant en arrière, le système à 2 roues motrices permettant aussi une rotation sur l'axe central. La couverture de survie sera attachée comme une voile sur cette plateforme.

handicap & eeg - music : http://www.bbc.com/news/science-environment-35557908/embed

research laser / matter / brain / “Researchers have worked out how to make matter from pure light”: https://www.theguardian.com/science/2014/may/18/matter-light-photons-electrons-positrons | scientific article: http://www.nature.com/nphoton/journal/v8/n6/full/nphoton.2014.95.html

Brainwaves in concert: the 20th century sonification of the electroencephalogram: http://brain.oxfordjournals.org/content/early/2016/08/18/brain.aww207

1st International Workshop on Brain-Computer Music Interfacing: http://cmr.soc.plymouth.ac.uk/bcmi2015/

Connectionism - https://plato.stanford.edu/entries/connectionism/ / https://fr.wikipedia.org/wiki/Connexionnisme (réseaux de neurones pour expliquer le fonctionnement du cerveau)

http://www.academia.edu/8616176/Guide_to_Brain-Computer_Music_Interfacing

critique de la neuroscience et des recherches :

https://www.monde-diplomatique.fr/2014/09/CLEMENT/50779

http://www.pnas.org/content/110/15/6223.full.pdf

http://passeurdesciences.blog.lemonde.fr/2013/04/14/doutes-sur-la-fiabilite-des-neurosciences/

http://journal.frontiersin.org/Journal/10.3389/neuro.09.003.2010/pdf

Expérimentation 05/01/16 Nous avons tenté une expérience simple avec des petites poulies pour tenter de diriger un objet; dans le même temps une veille est en place sur le choix des moteurs d'activation des fils qui feront bouger les “murs”. Un début de scéno s'est improvisé et nous avons commencé à élaboré les possibilité de mouvement de l'objet (mur), en 3D et vers avant / arriére.

07/01/16 - rencontre du groupe de travail

-définition plus précise du systéme de control des poulies/moteur/couverture de survie

-pré-conception d'une composition ou jeu de palier (niveau) controlé par les participants ou performeurs. contenu et type de sons: controle radio AM / son de bruit radio (static), générateur de bruit (filtré), voix pré-enregistré (poésie sonore), micro (ambiance et feedback) systéme de live sampling et modulation et un autre type de son non-définis encore (pallier secret/étape4)

-réfléxion sur le type de laser : spectacle ou chantier - à tester

objectifs de travail jusqu'à la prochaine réunion :

1-réalisation d'une maquette fonctionnelle pour le mouvement des couvertures de survie (poulie, couverture, moteur, arduino)

2-démarrage du développement interface (python?) de controle patch PD, casque EEG, son/composition, moteur/poulie et laser.

3-démarraer le développement du Patch / composition sonore - test control radio AM par arduino

4-veille sur le choix des lasers

MAJ 17/02/2016

Nous sommes en train de prototyper une plateforme motorisée qui permettrait de faire bouger les couvertures de survie. Les couvertures seront fixée telles des voiles grâce à un manche à balai. Nous avons construit une plateforme proto, qui devrait être opérationnelle sous peu (2 moteurs, contrôle via arduino et wifi, autonome sur batterie).

Pour les tests nous utiliserons :

Interfaces neuronales

Casque muse : http://www.choosemuse.com/

ses specs : https://storage.googleapis.com/ix_choosemuse/uploads/2015/07/tech_specs.pdf

and developers tools : http://developer.choosemuse.com/

Pour la partie logicielle nous allons utiliser le driver bas niveau epoc (sans les outils software) fourni sur le site d'emotiv et la suite emokit driver logiciel + outils opensource pour la connexion entre le casques et les composants logiciels qui controlent les moteurs, le son, et les lasers.

Voici une spécification schématisée de ces relations :

ici un lien pour le patch laser : http://apo33.org/pub/puredata/theta/LaserPureData.zip