In opdracht van Thunderboom Records en in samenwerking met Ivo Koolen en Anna Shvets heb ik onderzocht wat ervoor nodig is om een belichaming voor AI te kunnen ontwerpen waarmee op een natuurlijke en intuïtieve manier gecommuniceerd kan worden.

Om natuurlijke interactie te kunnen ontwerpen, moesten we eerst begrijpen hoe muzikanten in een jam sessie zich tot elkaar verhouden, welke afspraken onderling belangrijk zijn en welke rol het lichaam van een muzikant speelt in het co-creëren van een muzikaal stuk. Om te begrijpen wat we ontwerpen, hebben we meerdere bestaande onderzoeken bekeken, onder andere gericht op het sociale aspect en de bijbehorende lichaam-gerelateerde acties van jammen doorgenomen en jam sessies geanalyseerd.

We zijn tot de conclusie gekomen dat we op zijn minst drie lagen aan communicatie nodig hebben:

1. Technische beweging: Hiermee doelen we op de bewegingen die nodig zijn om een instrument geluid te laten produceren.
2. Expressieve beweging: Dit zijn bewegingen die als het ware een reactie zijn op de muziek die gemaakt wordt. Dit laat zien hoe de muzikant de muziek ervaart / voelt.
3. Communicatieve acties: Hieronder verstaan we alle verbale- en non-verbale communicatie die nodig is om directe voorkeuren en verzoeken te communiceren.

Hiltswaltå is een van de prototypes die we op basis hiervan ontworpen hebben. Aangezien het op dit moment een synthetisch geluid is, is het aanslaan van toetsen nagebootst met de verkleurende compartimenten.

Het meebewegen op de maat is gevangen in het aan en uit gaan van het lichtje in het hart van Hiltswaltå.

De muzikant kan met Hiltswaltå communiceren door ertegen te praten. Op dit moment begrijpt ze alleen de commando’s die ze kent, zoals luisteren, genereren en herhalen en geeft ze een reactie in de vorm van licht. Zo weet de muzikant wat ze begrepen heeft en aan het doen is.

In volgende prototypes willen we meer experimenteren met het daadwerkelijk genereren van geluid, het lezen van lichaamstaal van de muzikant en het communiceren van een reactie (verwacht/onverwacht).