А практическое применение?

Построение СДУ на основе матричного соединения. По Х частота, по Y движение.
Сигнал выделяется полосовыми фильтрами в средней части звукового спектра.
К которому прибавляется низкий диапазон и высокий. Эти сигналы определяют что будет светить.
И эти же сигналы фильтруются в пределах октавы. То есть по нотам.
В звуковом диапазоне от 20 гц  до 10 кгц  получается 10 октав, то есть полос в устройстве фильтрации.
                                                                                                                                                                               Продолжение следует.

 
The art of DJ, получило широкое распространение. Сегодня ди-джей — это не просто человек, задача которого сведение треков, ди-джей в настоящее время — это уже композитор, который создает новую музыку. Искусство DJ – заключается в живом сете, где основной задачей сведения треков, является также аранжировка музыки, добавление музыкальных фрагментов и звуковых эффектов в режиме реального времени. Искусство диджея – это, прежде всего, прямое общение со слушателем через живую музыку.

Неотъемлемой частью, жизни диджея, стало световое сопровождение сетов. Никто со мной не станет спорить, что световое сопровождение музыки, позволят создать дополнительную атмосферу и усилить восприятие музыкального произведения. Световое сопровождение музыки способно даже кардинально изменить восприятие самого музыкального произведения. Но есть и обратная сторона медали, если свет не синхронизирован, если он не отвечает музыкальному произведения, свет может сыграть отрицательный эффект. Поэтому особенностью использования светового сопровождения в музыкальном произведении является наличие неразрывной связи между музыкой и светом.

Многие производители светового оборудования начали выпускать световые пульты для мобильных ди-джеев, на основе которых они могут управлять своими световыми приборами. Все эти пульты построены по одному принципу, вам нужно написать последовательность управления вашими осветительными приборами и предварительно сохранить эту программу управления. А во время сета запустите программу визуализации вашего шоу. Чтобы получить максимальную отдачу от визуализации музыки, нужно создать для каждого трека отдельную световую композицию. Аудиофункции позволяют так или иначе синхронизировать световую программу с музыкальным треком. Дополнительно во время работы светового пульта, можно вручную переключать настройки и управлять дополнительными устройствами, такими как дымогенератор, стробоскоп.


 
Но у этого подхода есть существенные недостатки:
1.   Ди-джеям приходится постоянно придумывать новые световые последовательности для управления осветительными приборами, потому что одна и та же последовательность раздражает зрителя даже при повторном воспроизведении музыкального трека.
2.   Уникальная последовательность управления освещением, написанная для конкретного музыкального трека, не подходящей для другого музыкального произведения.
3.   Такие световые пульты совершенно неэффективны для живой музыки, ди-джей человек творческий, во время выступления ди-джей должен сосредоточиться на музыке, а современный подход с такими пультами отвлекает внимание диджея от основной задачи. Поэтому в диджейских эфирах, получивших сейчас популярность, чаще всего светового сопровождения нет.
4.   Отсутствие реальной связи между формируемыми световыми образами и музыкальным потоком. Механизмы синхронизации несовершенны и чаще всего просто не работают.

Производители современных световых пультов для мобильных ди-джеев в основном сосредоточились на создании компактных современных конструкций в новом стиле, это кнопки с подсветкой, энкодеры, наличие графического дисплея и ничего более. Революционных инноваций в этих консолях действительно нет, прослеживается только одно желание производителя, уже существующие принципы визуализации представить иначе и запихнуть в новую упаковку.
Я думаю, что диджею нужно световое оборудование, обладающее интеллектуальными возможностями, способное создавать визуализацию музыки максимально самостоятельно, в режиме реального времени. Такое оборудование, которое позволит ди-джею полностью сконцентрироваться на музыке. Особенностью такой системы должна быть видимая связь между визуальными образами и музыкальным произведением. Идеальный вариант, когда музыка сама создает световое шоу.

Я много разговаривал с так называемыми светотехниками, задача которых создавать световые шоу на концертах, и они убеждают меня, что создание таких устройств невозможно, и что это творческий процесс, недоступный электронике. Талантливые светотехники – художники своего дела и создают потрясающие световые шоу, но даже в этом случае это шоу только на один раз. Более того, нигде не видел, скажем так, "хорошей" синхронизации света и музыки, что иногда очень огорчает. Но чаще всего такие световые шоу выглядят как сочетание так называемых световых эффектов, бегущих огней, стробоскопов, все смешано в надежде, что где-то, что-то, как-то ляжет в такт музыке и это будет хорошо.


 
Для ди-джея, использующего в своей работе живую музыку, использовать подход с заранее запрограммированной композицией нецелесообразно, а нанять инженера по свету просто нереально. Поэтому мы часто видим, что чаще всего свет, используемый в диджейском выступлении, не имеет ничего общего с музыкой.

Человечество давно заметило, что музыка обладает способностью возбуждать в сознании человека зрительные образы, и поэтому световые шоу стали неотъемлемой частью любых музыкальных концертов и представлений.
Я посвятил всё свое свободное время хобби, которое заключается, в разработке систем визуализации музыки в реальном времени. С начала я строил много устройств по уже готовым схемам, создавал выходные оптические устройства, в меру своих финансовых возможностей. Но результат этих трудов всегда приводил к одному и тому-же результату, что новопостроенные устройство, которое в первые дни радует разнообразием эффектов, через пару дней уже не радовало, а через пару недель интерес к нему просто пропадал. Этот эффект называется эффектом зрительного утомления. Это связано с тем, что человеческий мозг зрительно запоминает много информации и требует ее постоянного обновления.

Я для себя сделал вывод, что существующий подход к построению автоматических устройств, позволяющий в реальном времени визуализировать музыку, не соответствует реальности. Нужны новые правила, теория и технологические принципы, которые позволили бы по-новому взглянуть на визуализацию музыки, в соответствии с которыми можно было бы создавать устройства, способные выполнять автоматическую визуализацию музыки в режиме реального времени, без вмешательства человека. Более того, я хочу сказать, что такие устройства должны иметь такие алгоритмы, которые позволяли бы создавать визуальную аранжировку мелодии, которые при воспроизведении одного и того же музыкального произведения создавали бы новую визуализацию, избавляющую от эффекта зрительного утомления.

Я не музыкант, я просто люблю слушать музыку, но я фанат визуализации музыки. Поэтому я пошел по пути, в начале которого, определил для себя основные принципы, что для меня представляет визуализация музыки. Эти принципы я назвал – технология визуализации музыки в реальном времени или сокращённо RTMV-technology.

Основные принципы.
1.   В любом музыкальном произведении есть две составляющие — это мелодия и ритм.
2.   Мелодия — это плавная составляющая, которая подобна волне, которая нитью проходит по всему музыкальному произведения.
3.   Ритм - или можно назвать его узором, он может включать в себя солирующий инструмент, голос исполнителя, ну и сам ритм — это нечто противоположное мелодии, динамическая составляющая музыкального произведения.
4.   Алгоритм визуализации, должен выполнять "световую аранжировку" музыкального произведения. Что это значит? Он должен создавать, новую визуализацию, каждый раз для одного и того же музыкального произведения. Алгоритм визуализации, должен быть в какой-то степени интеллектуальным.
5.   Выходное оптическое устройство (OOD) – это может быть экран, это может быть набор разнообразных источников света, которые имеют определённое расположение в пространстве, как между собой, так и относительно зрителя.
6.   Принцип симметрии. Это принцип красоты. Я к этому пришел при создании выходных оптических устройств или принцип для расстановки осветительных приборов на сцене. Если формируемые световые образы имеют симметрию, что это всегда воспринимается как красиво. И если вы посмотрите на все световые инсталляции, то в 100 процентах вы увидите, что принцип симметрии присутствует везде.
7.   Алгоритм работы, системы визуализации музыки, должен быть полностью автономным. Алгоритмы должны самостоятельно определять стиль музыкального произведения и в зависимости от этого создавать управляющие последовательности управления световыми приборами.
8.   Механизм анализа частотной составляющей, должен отличать одну ноту от другой.
9.   Главное требование RTMV-technology – это принцип создания световых образов. Световые образы должны иметь видимую связь с музыкальным произведением, а это значит, что визуализация должна быть связана и синхронизирована с музыкой. Или сказать по-другому - визуализацию должна создаваться самой музыкой. Каждый световой образ, создающий RTMV-technology, должен быть производным от мелодии и ритма музыкального произведения.

Приняв эти принципы за основу, я начал разработку алгоритмов и проектирование контроллеров. При проектировании таких устройств, формат цифровых данных, необходимых для визуализации музыки, определяют используемые в световом шоу источники света. Для меня самыми доступными источниками света были светодиоды. А с появлением светодиодов со встроенными драйверами они стали основным средством визуализации. Это не означает, что RTMV-technology нельзя использовать с современными сценическими устройствами, это означает, что для этого потребуется описание дополнительных функций управления конкретным осветительным прибором или группой и не более того.

В начале, для визуализации музыки, предполагалось использовать 2D экран и под такой тип экрана велась разработка самой RTMV-technology. Когда процесс разработки достигает определенного уровня, необходимо создать работающий прототип, чтобы можно было показать идею для объективной обратной связи. Получение обратной связи — важный шаг, так как он позволяет вам по-новому взглянуть на результаты своей работы и дает возможность выйти за рамки вашего субъективного понимания реальности. Но оказалось, что для создания прототипа 2D-версии требовались значительные финансовые ресурсы, которые я не мог выделить из своего дохода. А без показа работающего устройства найти заинтересованного спонсора или производителя осветительного оборудования не представляется возможным.

Тогда я решил отойти от выбранного направления и создать ряд устройства визуализации музыки, типа индикатора уровня звукового сигнала (VU-meter), чтобы можно было на них заработать необходимый стартовый капитал. Но все решения, которые я создавал, меня не устраивали, я пробовал добавлять больше световых эффектов, но все оканчивалось тем же навязчивым - эффектом утомляемости. То есть проходил какой-то период времени и устройство просто надоедало, становилось не интересным и не привлекательным. А это в корне противоречило цели моей работы. Тогда я решим применить, упрощенный вариант RTMV-technology, для дисплея линейного типа. Линейный дисплей – это расположение однотипных источников света на одной прямой и такой вариант получил название - 1D визуализации. Первые результаты тестирования меня очень порадовали. Дело в том, что я в самом начале создания RTMV-technology отвергал концепцию - 1D визуализации, так как считал, что в такой конструкции невозможно создать достаточно эффективные световые образы. Но как показала результат эксперимента - такое возможно и на достаточно эффективном уровне.

Этот проект получил название - CLUBBEST. Были разработаны и изготовлены прототипы визуализатора двух типов, модели М68 и М100.  Отличаются они типом используемых светодиодов, их количеством и подходом к механизму визуализации данных. Основное назначение этих моделей для домашнего использования, лично я эти проекты ориентировал, как декоративное устройство, для прослушивания музыки на своем ПК. Но как показали отзывы такой подход визуализации заинтересовал и профессионалов в области музыки. Для популяризации я начал записывать видеоролики с демонстрацией работы этих устройств в режиме реального времени, чтобы получить больше информации о восприятии этого нового вида искусства. И я начал получать положительные отзывы. Самый воодушевляющий отзыв для меня был, когда подписчик моего ютуб-канала написал - "У меня было ощущение, что я увидел музыку". Да, и это правда, я разрабатываю эту технологию, чтобы человек мог видеть музыку.

Обратите внимание, как известные бренды производители светового оборудования подходят для демонстрации новых технологий или новых систем визуализации. Они делают рекламу и создают промо-ролики одним интересным способом. В своих роликах они много и подробно, а иногда даже нудно рассказывают о новом устройстве, о его уникальных свойствах и возможностях, сколько в нем новых разъемов, сколько красивых кнопок, какие удобные энкодеры, а теперь еще и добавили OLED-дисплей. Как много можно запрограммировать в это новое устройство световых последовательностей управления, скрывая сколько на это потребуется дополнительных часов работы. И чаще всего нет примеров реальной видео демонстрации работы такого устройства, со световыми приборами, либо демонстрация максимум 10 секунд. И почему это так? Это потому, что больше 10 секунд просто нечего смотреть, потому что особо нового в этом аппарате так и не придумано. И почему-то все умалчивают о том, что использование такого подхода к визуализации приводит к известному эффекту зрительной утомляемости.

Я считаю, что для ди-джея важно знать, особенно для мобильного ди-джея, насколько новое приобретаемое оборудование удобно, эффективно и просто будет в эксплуатации. Насколько применение этого оборудования, упростит его жизнь со световыми приборами и не будет отвлекать его от основной работы над музыкой. Более того, что теперь это новое устройство, будет помогать ему в его музыкальном творчестве. Диджей, создав музыкальное произведение, должен иметь возможность сразу увидеть его визуализацию в режиме реального времени. А такие современные технологии, предлагаемые современными брендами, не позволяют ему этого сделать.

Чтобы оценить работу новой технологии визуализации, показать ее объективность, я снимаю рекламные ролики, записывая музыкальное произведение целиком. Обратите внимание, я не монтирую видео, оставляя только какой-то удачный момент. Чтобы предоставить информацию о реальной работе механизма визуализации музыки, я стараюсь показать результат визуализации музыки на протяжении всего музыкального произведения, показать связь света с музыкой. И даже если это трансляция, я стараюсь показать участок видео длительностью 5-10 минут, чтобы можно было оценить, насколько будет эффективно выступление ди-джея, если к его творчеству добавить еще и визуализацию. Я записываю визуализации с разными музыкальными стилями, чтобы вы могли увидеть, как технология справляется с обработкой той или иной информации. Музыку надо слушать, а визуализацию смотреть. Визуализация должна быть такого уровня, чтобы было ощущение, что звук идет не из динамиков, а звук идет от света.

CLUBBEST построен по принципу - Plug and Play. Вам надо только подать на вход аудио сигнал, а все остальное выполнит RTMV-technology. CLUBBEST не имеет ни одной ручки настройки. CLUBBEST сам определяет стиль музыкального произведения и генерирует визуальные эффекты синхронно с музыкальным произведением на доступном ему в текущей конфигурации выходном оптическом устройстве. В проекте CLUBBEST все упрощено, источники света всегда имеют одни и те же характеристики, их количество постоянно, поэтому алгоритм упрощен, и он ориентирован только на данную конфигурацию выходного оптического устройства.

Обратите внимание, что CLUBBEST является максимально упрощенной версией RTMV-technology, но уже построенные прототипы могут быть использованы за основу, для создания ряда серийных продуктов для мобильных ди-джеев, а также для потребителей, для индивидуального использования, при прослушивании музыки.


 
И хочу добавить, что есть еще одно широкое применение у таких систем, использующих визуализацию музыки в реальном времени – это различные клубы, кафе, бары, рестораны, где есть музыка и хозяин заведения хочет добавить живой свет для привлечения внимания. посетители.
Если подходить с позиции использования RTMV-technology управления световыми приборами сцены, то созданный на его основе световой пульт будет обладать одной главной особенностью, отличающий его от современных пультов – в нем не будет нудного механизма программирования управляющей последовательности для световых приборов. RTMV-technology – это технология суть которой заключается в том, что сама музыка должна создавать световую визуализацию.

В предварительную настройку, такого светового пульта, может входить визуальное описание с какими световыми приборами предстоит работать и как эти приборы расположены пространстве. В RTMV-technology возможно на настоящий момент 1D и 2D расположение осветительных приборов в пространстве. Теоретически возможен и 3D вариант, но пока я эти требования для себя не определил.

Как, например, для пользователя (DJ) может выглядеть подключение световых приборов? Вам необходимо выбрать тип используемой симметрии визуализации. Далее указать тип (марку, модель) источников света, указать их положение по определённым правилам в пространстве и все. На этом настройка закончена.

Сразу уточню для более продвинутых пользователей будет предусмотрена и более глубокая настройка, например ограничить угол поворота или максимальную яркость источника света и тому подобные параметры.
Предварительная конфигурация, для RTMV-technology, необходима, чтобы система понимала, какие управляющие параметры необходимо генерировать, для управления подключенными осветителями.

А дальше пользователь просто подключается к источнику звука и начинается световое шоу.
Современная технология визуализации музыки заключающее в том, чтобы для музыки предварительно необходимо создать и запрограммировать световую композицию, с учетом используемых световых приборов. Думаю, это самостоятельное направление, предназначенное для художников по свету и являющееся особым видом искусства, имеющим право на жизнь и развитие.

Но настало время в необходимости нового искусства – искусства алгоритмов и искусства электроники. Такого искусства визуализации музыки, когда композитор, создавая свое музыкальное произведение, будет определять какое будет световое шоу и какая будет световая визуализация его музыкального произведения. Но для этого он должен получить для своего творчества совершенно иные инструменты визуализации музыки.
Теперь пришло время разработать и создать так называемые интеллектуальные инструменты визуализации музыки в реальном времени.

Вот одно из таких мнений, в признание моей правоты и еще одно подтверждение того, что такое время пришло:


А посмотрев предыдущее видео, зайдите сюда чтобы увидеть, как работает RTMV-technology, и вы со мной полностью согласитесь - Время пришло!




Catcatcat Electronics,
Днипро, Украина, 2023.

Так.

Останнє відео- це вже готовий проект?