La IA Generativa está revolucionando el mundo de la Inteligencia Artificial. La creación de textos, imágenes o sonidos por parte de diferentes programas informáticos ha conseguido captar la atención del mundo. En esta carrera por desarrollar la más completa y potente herramienta, las empresas de tecnologías no dejan de innovar y anuncian novedades que siguen sorprendiendo. Recientemente, Meta ha dado a conocer AudioCraft, una nueva IA generativa de código abierto con la que los usuarios podrán generar sonidos únicos.
Tabla de contenidos
Cómo funciona AudioCraft
El funcionamiento de AudioCraft está basado en tres modelos diferentes: MusicGen, AudioGen, y EnCodec. En primer lugar, MusicGen ha sido entrenado con música propiedad de Meta y con licencia específica, permitiendo crear música a partir de entradas de textos de los usuarios. Por su parte, AudioGen ha sido entrenado con efectos de sonido públicos, pudiendo generar audios a partir de entradas de usuario basadas en texto. Por último, EnCodec actúa como decodificador, un sistema del que acaban de lanzar una nueva versión que permite mejores resultados y velocidad.
Con esta combinación de tecnologías y tal y como expresan desde Meta, AudioCraft permitirá crear nuevas composiciones sonoras con las que los pequeños empresarios podrán poner música a sus vídeos de Instagram o a un compositor explorar nuevas estructuras musicales, impulsando sus dotes creativas y sin necesidad de tocar una sola nota o instrumento. Esta es la nueva realidad que Meta propone a sus millones de usuarios y desarrolladores.
Al igual que otras IA’s generativas del mercado, la herramienta estrenada por Meta funcionará a partir de textos. El usuario que deseé hacer uso de ella escribirá en formato texto lo que desea y el sistema le devolverá un input en formato de audio, cumpliendo las indicaciones que el usuario le haya indicado. El funcionamiento sería similar al que se muestra en esta infografía:
El lanzamiento de esta herramienta supone un antes y un después en el sector, ya que como destacan desde la propia compañía, el mundo del audio, dentro de este periodo de evolución significativa de la IA generativa, parecía haberse quedado atrás. La llegada de AudioCraft cambia por completo esta situación, permitiendo a los usuarios utilizar estas herramientas a través de una interfaz más sencilla, ya que el sistema se ha simplificado exponencialmente.
«Estamos emocionados de brindar acceso a investigadores y profesionales para que puedan entrenar sus propios modelos con sus propios conjuntos de datos por primera vez y ayudar a avanzar en el estado del arte» indican desde Meta.
AudioCraft será open source
Como se ha destacado anteriormente, el enfoque de Meta con estos nuevos modelos y productos es de código abierto. Gracias al mismo, esperan conseguir que los modelos mejoren y, ante todo, sean más diversos, ya que principalmente han sido entrenados con «música de estilo occidental y solo contiene pares de audio-texto con texto y metadatos escritos en inglés«.
Además, gracias a la contribución precisa y constante de las comunidades de investigadores y desarrolladores, el ecosistema estará en constante evolución, incentivando la innovación y el desarrollo del sector. En este sentido, AudioCraft se convierte en la base sobre las que lo deseen podrán construir y buscar sus propios enfoques. Actualmente, puedes escuchar algunos de los sonidos que han creado en su propio blog.
A pesar de la noticia que ha supuesto la llegada de AudioCraft, es preciso indicar que otras compañías como Google ya se adelantaron a Meta con el lanzamiento de AudioLM, un modelo de audio que lanzaron hace un año. Ante el surgimiento y consolidación de estas tecnologías, discográficas como Universal Music Group tratan de buscar aliados para que los bots de IA no puedan extraer las letras y melodías de sus canciones.
Fuente: Meta