Новая технология активного шумоподавления с ИИ позволяет выделить определённые звуки и убрать все лишние
Опубликовал: FIELD LINE, 18-05-2024, 19:00, В мире / Технологии / Mobile, 3, 0
Команда исследователей из Вашингтонского университета во главе с доцентом Шьямом Голлакотой (Shyam Gollakota) предложила технологию активного шумоподавления в реальном времени с использованием ИИ, позволяющую удалять посторонний шум, выделяя нужные звуки. Исследователи продемонстрировали 16 мая на конференции, проводившейся Американским акустическим обществом (ASA) и Канадской акустической ассоциацией (CAA), работающий прототип системы.
Они использовали нейронную сеть на базе смартфона для идентификации, обучения и фильтрации 20 различных категорий звуков окружающей среды, которые обычно можно слышать ежедневно, например, звук сирен, будильники, плач младенца, автомобильные гудки и пение птиц. Пользователю необходимо выбрать определённую категорию звуков на смартфоне, после чего начинается процесс фильтрации окружающего шума — программное обеспечение идентифицирует нужные звуки в режиме реального времени и убирает посторонние. Как утверждают исследователи, эта технология может быть полезной, когда избежать шума окружающей среды невозможно.
«Представьте, что вы находитесь в парке и наслаждаетесь щебетанием птиц, но вдруг её перекрывает громкая болтовня находящейся поблизости группы людей, которая не прекращается, — говорит Голлакота. — А теперь представьте, что если бы ваши наушники могли дать вам возможность сосредоточиться на звуках птиц, в то время как остальной шум просто исчез. Это именно то, чего мы намеревались достичь с помощью нашей системы».
Этот подход на основе ИИ может использоваться для повышения качества звука при телефонном разговоре. Опираясь на аналогичные методы распознавания контента, данный алгоритм может идентифицировать говорящего и изолировать его голос от окружающего шума в реальном времени для более чёткой слышимости.
На снимке прототипа системы видно, что к каждой чашке наушников прикреплены микрофоны, подключённые через порт USB к плате OrangePi, которая также передаёт звук на наушники через аудиоразъём. Судя по всему, это одноплатный компьютер OrangePi 5B с чипом Rockchip RK3588S с нейропроцессорным модулем (NPU) с производительностью до 6 TOPS, который и выполняет фильтрацию звуков в реальном времени. Скорее всего, смартфон подключён к компьютеру по беспроводной сети.
Поскольку шумоподавление выполняется в режиме реального времени менее чем за сотую долю секунды, обработку необходимо выполнять на подключённом устройстве, а не в облаке, что делает платы OrangePi идеальными для такой обработки, отметил ресурс Tom's Hardware.
Разработчики утверждают, что данная технология уже может быть реализована на аудиоустройствах и готова к коммерциализации.
Источник
Они использовали нейронную сеть на базе смартфона для идентификации, обучения и фильтрации 20 различных категорий звуков окружающей среды, которые обычно можно слышать ежедневно, например, звук сирен, будильники, плач младенца, автомобильные гудки и пение птиц. Пользователю необходимо выбрать определённую категорию звуков на смартфоне, после чего начинается процесс фильтрации окружающего шума — программное обеспечение идентифицирует нужные звуки в режиме реального времени и убирает посторонние. Как утверждают исследователи, эта технология может быть полезной, когда избежать шума окружающей среды невозможно.
«Представьте, что вы находитесь в парке и наслаждаетесь щебетанием птиц, но вдруг её перекрывает громкая болтовня находящейся поблизости группы людей, которая не прекращается, — говорит Голлакота. — А теперь представьте, что если бы ваши наушники могли дать вам возможность сосредоточиться на звуках птиц, в то время как остальной шум просто исчез. Это именно то, чего мы намеревались достичь с помощью нашей системы».
Этот подход на основе ИИ может использоваться для повышения качества звука при телефонном разговоре. Опираясь на аналогичные методы распознавания контента, данный алгоритм может идентифицировать говорящего и изолировать его голос от окружающего шума в реальном времени для более чёткой слышимости.
На снимке прототипа системы видно, что к каждой чашке наушников прикреплены микрофоны, подключённые через порт USB к плате OrangePi, которая также передаёт звук на наушники через аудиоразъём. Судя по всему, это одноплатный компьютер OrangePi 5B с чипом Rockchip RK3588S с нейропроцессорным модулем (NPU) с производительностью до 6 TOPS, который и выполняет фильтрацию звуков в реальном времени. Скорее всего, смартфон подключён к компьютеру по беспроводной сети.
Поскольку шумоподавление выполняется в режиме реального времени менее чем за сотую долю секунды, обработку необходимо выполнять на подключённом устройстве, а не в облаке, что делает платы OrangePi идеальными для такой обработки, отметил ресурс Tom's Hardware.
Разработчики утверждают, что данная технология уже может быть реализована на аудиоустройствах и готова к коммерциализации.
Источник
