Как это работаетКак создавать музыку
с помощью жестов

Хагай Давидофф

Может ли один человек с помощью двух рук «сыграть» на инструментах за весь оркестр? Используя специальную программу, Хагай Давидофф — израильский композитор и аранжировщик, пишущий музыку для театра и кино, управляет ансамблем из VSTi-инструментов, лишь двигая руками и пальцами.

DJ SelArom

Электронный музыкант и диджей SelArom демонстрирует, как с помощью моушен-контроллера он извлекает коммерческий электро-хаусовый звук, не прикасаясь к инструментам. Выглядит это тоже весьма эффектно. По его словам, контроллер Leap Motion не просто заменяет ему мышь, но позволяет делать такое, чего с помощью мыши сделать просто невозможно.

Ехецкель Раз

Другой израильский музыкант, который экспериментирует с новыми технологиями, использовал Leap Motion контроллер в процессе живой игры на фортепиано. В сотрудничестве с электронным музыкантом Danski он произвёл тонкую настройку, искажающую звуки классического фортепьяно, что позволило ему сыграть невозможные пассажи прямо в воздухе.

 Кио Фуджимото

Японский музыкант, который ранее экспериментировал со скрещиванием технологии Leap Motion и битбокса, вынес управление жестами в музыке на новый уровень. В своём лайве в Токио под названием ∑ (SIGMA) он контролировал как аудио-, так и видеосопровождение при помощи электронных сенсоров, подсоединённых к его телу. Они отслеживали его сердцебиение, движение мускул, а он в дополнение ко всему жестами управлял Leap Motion Controller.

Антон Маскелиаде

Музыкант, адепт новых технологий

Нашёлся адепт технологии Leap Motion и в России. Антон Мaскелиаде, который недавно представил новый клип и готовится выпустить свой первый полноценный альбом этой весной (следить за датой релиза можно на SoundCloud и Bandcamp), пишет и исполняет эмоциональную «эфемерную» музыку, или, как он её называет, «музыку первых дублей». Во всех своих треках он использует «сырой» материал и самые первые, небрежные тейки. 90 % всех используемых звуков Антон извлекает из чего-то подручного, а под руку ему попадаются и гитары, и форточки, и другие не самые музыкальные предметы. Его концепция состоит в том, чтобы привести эту живую небрежность к целостности и удобоваримому для слушателей звучанию.

«Я всегда интересовался всякими девайсами и тем, что происходит с технологиями сегодня. Попутно я всё время думаю о том, как сделать мои живые выступления более яркими, более интересными для зрителей, ну и более приятными для меня самого. Вообще живые выступления для меня — самое главное. Как-то случайно мне попалась на глаза технология Leap Motion, и в первую очередь я был удивлен низкой ценой. Контроллер обошелся мне в 5 тысяч рублей. Начал следить за ним я ещё летом: в августе он вышел в Штатах, а уже осенью я держал его в руке и уже успел опробовать в своих первых концертах. Это видео, собственно, одна из первых проб этого устройства.

Используя его на сцене, я создаю новые звуки путём осцилляции, триггеров, каких-то эффектов, обработки, модуляции и всего чего угодно. Но, так или иначе, устройство преобразовывает эти единички и нолики в какое-то интересное звучание непонятными движениями моих рук. Пока я не использую Leap Motion при записи. Может быть, в моих будущих треках, если мне нужно будет прописать какую-то дорожку автоматизации эффектов, я смогу им воспользоваться».

О своём сет-апе

«Музыку я запускаю с Ableton, которым я управляю с помощью MIDI-контроллера AKAI MPD32 и, соответственно, Leap Motion. В том числе я использую семплер и процессор эффектов Korg KP3 Plus, в него же пою, а также делаю с ним всякие штуки, которые связаны с семплингом и обработкой. Сейчас я готовлю новый концепт лайва: на нажатие кнопочек и движения рук будет реагировать не только музыка, но и видеопоток, который будет проецироваться на меня или экран».

О приложениях для Leap Motion

«Я использую приложение Geco MIDI, которое заточено для конвертации движений и жестов в MIDI-сигнал. Этим сигналам в Ableton можно задавать определённые параметры изменения и создания звука на конкретные движения рук: вверх/вниз, влево/вправо, поворот кисти, смещение угла наклона».

О недостатках Leap Motion

«На данном этапе до сих пор возникают проблемы из-за недостаточного качества распознавания жестов. Но, я думаю, что через пару лет устройство сможет улавливать любое движение лучше. Сейчас иногда возникают какие-то сбои, какие-то глюки. Сначала я хотел положить на Leap Motion более «тяжёлые» эффекты, но потом понял, что если он сработает как-то не так, то песня будет просто испорчена. Также присутствует небольшая задержка. Если она была бы чуть медленнее, то пользоваться контроллером было бы сложно. Но всего лишь нюансы, достаточно тонкие и несерьёзные. Устройство крутое, учитывая его стоимость. По моему мнению, в 2014 году оно будет очень популярным во многих сферах. Уже есть куча графических приложений, игр и т. д. В общем, это целый мир».

Об аналогах Leap Motion

«Сейчас должна была появиться штука, которая называется Hot Hand USB. Это колечко, которое надевается на палец, и в зависимости от расположения руки в пространстве передает MIDI-сообщения на USB-приемник. Его главный плюс в том, что оно беспроводное. Ты не привязан к столу, ты не привязан к своему сет-апу, — то есть ты можешь ходить и делать всё, что хочешь. Другой вопрос — какая у него задержка, но в любом случае в моих планах её приобрести и опробовать в своём лайве».