Как разделять голос и отдельные инструменты в музыкальных треках?

Все желающие могут попробовать разделять музыкальные треки на составные части.

Компания Deezer дала возможность любому пользователю разложить на составные части музыкальные композиции с помощью нейросети, которая находится открытом доступе. Исскуственный интеллект делает это тремя способами. Программа отделяет голос от фонограммы, разделяет звучание голоса и отдельных инструментов: гитары, барабанов и прочих, а также дополнительно подключает пианино.

Исследователям давно не дает покоя задача качественного разделения музыкальных треков. В интернете представлены подобные инструменты, например на Audacity. Но качество разделения обычно ниже, чем ожидают пользователи, и им приходится дорабатывать что-то вручную.

Нейросеть помогла приблизиться к желаемому результату. Ее успешное обучение позволяет надеяться на полную автоматизацию этого процесса.

В основу ПО для сплита музыкальных композиций положена открытая библиотека tensorflow от google. С Github, где выложен софт, его просто установить. Запускается программа с командной строки и работает даже на CPU весьма быстро. Лицензия на использование полностью свободная. Желающие попытаться разделять треки, могут сделать это прямо на сервисе mvsep.com всего парой кликов.

Во время просмотра видео можно заметить проскакивающие артефакты, но составные части треков, по сравнению с предыдущими программами, разделяются почти идеально. Такого качества удалось достичь благодаря применению в обучении ИИ гигантского датасета (каталог Deezer содержит 56 млн композиций).

Источник: pikabu.ru