O Riffusion se baseia em espectrogramas, representações visuais de áudio que mostram a amplitude de diferentes frequências de som.
Com a evolução da inteligência artificial, muitas novidades têm surgido. Uma das mais recentes é o Riffusion, modelo de IA que produz música usando não um áudio, mas imagens de um áudio.
A ideia é fruto de uma parceria entre os amigos Seth Forsgren e Hayk Martiros. Segundo o portal TechCrunch, para chegar ao resultado pretendido, eles ajustaram a difusão (técnica de aprendizado de máquina para gerar imagens) em espectrogramas, que são representações visuais de áudio que mostram a amplitude de diferentes frequências ao longo do tempo.
Forsgren e Martiros fizeram espectrogramas de várias músicas e marcaram as imagens resultantes com termos relevantes, como “blues guitar”, “jazz piano”, “afrobeat”. A reportagem destaca que alimentar o modelo com essa coleção deu uma boa ideia de como certos sons “se parecem” e como podem ser recriados ou combinados.
O TechCrunch testou o Riffusion e constatou que ele provou ser capaz de produzir espectrogramas que, quando convertidos em som, combinam muito bem com prompts diferentes – como “piano funky”, “saxofone jazzístico” e assim por diante. O porém é que a tecnologia só consegue fazer pequenos clipes, com poucos segundos.
“Nós realmente não tentamos criar uma música clássica de 3 minutos com refrões e versos repetidos”, disse Forsgren. “Acho que isso pode ser feito com alguns truques inteligentes, como construir um modelo de nível superior para a estrutura da música e, em seguida, usar o modelo de nível inferior para clipes individuais. Como alternativa, você pode treinar profundamente nosso modelo com imagens de resolução muito maior de músicas completas.”
Qual o futuro do Riffusion?
Ao redor do mundo, vários grupos estão tentando criar música gerada por IA de várias maneiras, desde o uso de modelos de síntese de fala até modelos de áudio especialmente treinados, como o Dance Diffusion. No caso do Riffusion, não há um grande plano para reinventar a música.
De acordo com Forsgren, ele e Martiros ficaram felizes em ver as pessoas se envolvendo com seu trabalho, se divertindo e repetindo. “Existem muitas direções que podemos seguir a partir daqui e estamos entusiasmados em continuar aprendendo ao longo do caminho. Também foi divertido ver outras pessoas construindo suas próprias ideias com base em nosso código.”
FONTE: https://epocanegocios.globo.com/tecnologia/noticia/2022/12/inteligencia-artificial-compoe-musicas-a-partir-de-imagens.ghtml