spettacoli di musica Human-computer utilizzare il sistema che unisce musica e gesti musicali (w / Video)
9 novembre 2010 Con Zyga Lisa IngrandisciIn questa immagine dal video qui sotto, computer, robot e gli esseri umani si esibiscono insieme in macchina l'Orchestra, che usa i gesti catturato musicale. Immagine di credito: Ajay Kapur.
(PhysOrg.com) - Ogni suono musicale viene da un modo specifico che uno strumento viene suonato. Con la tecnologia moderna, quali i sensori, elaborazione del segnale, e qualche volta gli algoritmi di apprendimento automatico, i ricercatori possono determinare il gesto preciso musicale utilizzato per produrre un suono particolare su uno strumento. La capacità di ricreare gesti musicali dai suoni possono essere utilizzati per spettacoli di musica interattiva uomo-computer, la trascrizione di musica e altre applicazioni innovative.
Berklee School Online - Più di 130 corsi online e programmi di musica on-line Impara a Berklee. - www.Berkleemusic.com
Come spiegano i ricercatori nel loro studio, ci sono due approcci principali per l'acquisizione di gesti musicali. Un approccio è l'acquisizione diretta, che comporta il collegamento permanente di sensori a strumenti per creare "iper-strumenti." Tuttavia, questo approccio è spesso invasivi per esecutori e richiede la modifica di strumenti costosi. Il secondo approccio è l'acquisizione indiretta, che comporta l'uso di un microfono per catturare il suono, così come sofisticata elaborazione del segnale e la macchina algoritmi di apprendimento per estrarre gesti dai suoni, che richiede grandi quantità di formazione.
nuovo metodo I ricercatori hanno 'è un po' un ibrido di questi due approcci. Sono temporaneamente aggiungere sensori ad uno strumento per catturare gesti musicali e di un microfono per catturare il suono. Questi dati vengono analizzati, e le mappature gesto-suono sono usati per addestrare i modelli di apprendimento automatico per estrarre da gesti unici suoni. Questi modelli di macchina, poi creare quello che i ricercatori chiamano un "sensore di surrogato", che si comporta come il sensore originale invasivo, ma non è collegato allo strumento. Il sensore surrogato in grado di determinare il gesto musicale basato solo sul suono analizzato catturato dal microfono.
Monouso Instruments - Strumenti per la Qualità monouso Cataratta e Chirurgia Refrattiva - www.malosa.com
Una dimostrazione del sistema di riconoscimento dei gesti: nella seconda metà del video, il sistema di riconoscimento è l'analisi degli eventi. Quando rileva un colpo cerchio, cambia la sua trasformazione pre-impostato sulla modellazione fisica. Video di credito: Adam Tindale.
"Il vantaggio principale del metodo è che permette di grandi quantità di dati di allenamento per la macchina di algoritmi di apprendimento da acquisire senza annotazione umani semplicemente suonare uno strumento potenziato con sensori", ha detto Tzanetakis PhysOrg.com . "Una volta che il sensore surrogato è stato addestrato e valutato le sue prestazioni, quindi può essere usato al posto del sensore fisico reale su strumenti non modificata dello stesso tipo". Il sistema supera le difficoltà precedenti, nel senso che non ostacoli gli artisti o dai loro strumenti durante l'esecuzione, e non richiede grandi quantità di elaborazione ed analisi, riducendo di molto i requisiti di tempo. Per esempio, i dati da rullante campioni che ha preso quasi una settimana di lavoro manuale possono essere elaborati in meno di un'ora con il nuovo metodo.I ricercatori hanno dimostrato il sistema di musicisti professionisti con partita sitar elettronico e rullante elettronico. I risultati hanno mostrato che i sensori di formato surrogati può determinare con precisione quando gesti musicali diversi musicisti si esibivano, e non solo l'artista che è stato utilizzato per addestrare il sensore surrogato. Inoltre, qualsiasi tipo di spettacolo (come l'improvvisazione o la riproduzione di un brano) potrebbe essere utilizzato per addestrare il sensore surrogato.
Video qui sopra: Computer, robot e gli esseri umani, tra cui coautore Ajay Kapur, si esibiscono insieme in orchestra Machine. Video di credito: Ajay Kapur.
In futuro, i ricercatori hanno in programma di rendere il sistema più sensibile alle funzionalità aggiuntive, come la formazione di riconoscere il tipo di bocchino usato da uno strumento a fiato e la stringa su cui si gioca una nota su un violino. Sia Tindale Kapur e attualmente utilizzano il sistema durante le rappresentazioni musicali, come mostrato nel video di accompagnamento.
"Fondamentalmente, le informazioni estratte gesto viene in genere utilizzata nei seguenti modi:" Tzanetakis spiegato. "(1) Per informazioni sulla mappa prestazioni audio e un algoritmo di generazione di musica che reagiscono in tempo reale espressamente alla musica, (2) a guidare le animazioni e le immagini, (3) per sintetizzare suoni parametrico (per esempio, un suono di batteria sintetizzata potrebbe cambiare in base a dove il rullante viene colpito), e (4) per fare l'analisi della musica riprodotta (per esempio, l'inseguimento automatico del tempo) nel contesto di strumenti robotici controllati dal computer che interagiscono con gli esseri umani ".