Исследователи из Университета Уотерлу (Канада) разработали LyricJam — вычислительную систему, которая умеет генерировать тексты для живой инструментальной музыки, сообщает портал MarkTechPost.

Первоначально команда создала систему, которая изучала особенности лирического стиля артиста, анализируя аудиозаписи песен и слова, а полученную информацию использовала для написания текстов в стиле конкретного исполнителя.

Затем ученые реализовали идею генерации слов для аудиосемплов записанной инструментальной музыки. В своем последнем исследовании они сделали еще один шаг вперед, разработав систему, которая может создавать тексты, сочетающиеся с живой музыкой. Причем эти тексты подходят под настроение композиции. Система принимает во внимание используемые аккорды, инструменты, темп и так далее.

Как это работает: музыкант исполняет мелодию, а программа LyricJam выводит строки текста, которые генерирует в режиме реального времени в ответ на звучащую музыку. Машинное творчество сохраняется — можно посмотреть его после завершения сеанса и внести в текст корректировки.

Подход исследователей заключается в преобразовании необработанных аудиофайлов в спектрограммы с последующим использованием моделей глубокого обучения для создания в режиме реального времени текстов песен, соответствующих обрабатываемой музыке. С самим исследованием можно ознакомиться здесь.