full screen background image
Search
28 мая 2024
  • :
  • :

Создана новая нейросеть, которая генерирует музыку по текстовому описанию


        Создана новая нейросеть, которая генерирует музыку по текстовому описанию

В сети появилась новая генеративная нейросеть под названием Riffusion. С её помощью можно создавать музыку из текста. Новинка основана на Stable Diffusion версии 1.5.


        Создана новая нейросеть, которая генерирует музыку по текстовому описанию

Идея состоит в том, что Stable Diffusion генерирует так называемые сонограммы или спектрограммы — визуальное порядок воспроизведения частот слева направо, а по оси Y — частота звука. цвет пикселя же задаёт амплитуду звука в каждый момент времени.


        Создана новая нейросеть, которая генерирует музыку по текстовому описанию
      Пример спектрограммы

Принцип работы прост: Stable Diffusion генерирует картинку и переводит её в спектрограмму, затем данные переводятся в звук с помощью библиотеки для обработки звука Torchaudio. В результате получается музыкальный трек. При этом в текстовом запросе можно указать жанр — рок, джаз и так далее. Даже можно сгенерировать звук набора на клавиатуре.

Попробовать самому новинку можно здесь.

+2 Поделиться:

По материалам: vgtimes.ru




Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *