Una multitud se reunió en el MIT Media Lab en septiembre para un concierto del músico Jordan Rudess y dos colaboradores. Una de ellas, la violinista y vocalista Camilla Bäckman, ha actuado anteriormente con Rudess. El otro, un maniquí de inteligencia fabricado denominado informalmente jam_bot, que Rudess desarrolló con un equipo del MIT durante los meses anteriores, estaba haciendo su inauguración notorio como un trabajo en progreso.
A lo abundante del espectáculo, Rudess y Bäckman intercambiaron señales y sonrisas de músicos experimentados que encuentran el ritmo juntos. Las interacciones de Rudess con el jam_bot sugirieron un tipo de intercambio diferente y desconocido. Durante un dúo inspirado en Bach, Rudess alternó entre tocar algunos compases y permitir que la IA continuara la música en un estilo barroco similar. Cada vez que la maniquí tomaba su turno, una variedad de expresiones cruzaban el rostro de Rudess: desconcierto, concentración, curiosidad. Al final de la dormitorio, Rudess admitió en presencia de la audiencia: «Esa es una combinación de mucha diversión y un efectivo desafío».
Rudess es un teclista aclamado, el mejor de todos los tiempos, según una averiguación de la revista Music Radar, conocido por su trabajo con la pandilla de metal progresivo ganadora de un Grammy y con ventas de platino, Dream Theater, que se embarca este otoño en una excursión por su 40 aniversario. Incluso es solista cuyo postrero libro, “Permiso para explotar”, fue osado el 6 de septiembre; un formador que comparte sus habilidades a través de detallados tutoriales en trayecto; y fundador de la empresa de software Wizdom Music. Su obra combina una pulvínulo clásica rigurosa (comenzó sus estudios de piano en The Juilliard School a los 9 abriles) con un condición para la improvisación y un apetito por la experimentación.
La primavera pasada, Rudess se convirtió en cómico visitante del Centro de Arte, Ciencia y Tecnología (CAST) del MIT, colaborando con el corro de investigación Responsive Environments del MIT Media Lab en la creación de nueva tecnología musical impulsada por IA. Los principales colaboradores de Rudess en la empresa son los estudiantes graduados de Media Lab, Lancelot Blanchard, que investiga aplicaciones musicales de la IA generativa (informada por sus propios estudios en piano clásico), y Perry Naseck, un cómico e ingeniero especializado en música interactiva, cinética, luminosa y medios basados en el tiempo. Supervisando el tesina está el profesor Joseph Paradiso, patrón del corro Responsive Environments y fanático de Rudess desde hace mucho tiempo. Paradiso llegó al Media Lab en 1994 con un CV en física e ingeniería y una actividad paralela diseñando y construyendo sintetizadores para explorar sus gustos musicales de vanguardia. Su corro tiene una tradición de investigar las fronteras musicales a través de novedosas interfaces de legatario, redes de sensores y conjuntos de datos no convencionales.
Los investigadores se propusieron desarrollar un maniquí de educación inevitable que canalizara el estilo y la técnica musical distintivos de Rudess. en un papel Publicado en trayecto por MIT Press en septiembre, en coautoría con el profesor de tecnología musical del MIT, Eran Egozy, articulan su visión de lo que llaman “habilidad simbiótico”: que humanos y computadoras hagan duetos en tiempo positivo, aprendiendo de cada dúo que realizan juntos. y crear nueva música digna de interpretación frente a una audiencia en vivo.
Rudess aportó los datos con los que Blanchard entrenó el maniquí de IA. Rudess además proporcionó pruebas y comentarios continuos, mientras Naseck experimentaba con formas de visualizar la tecnología para la audiencia.
«El notorio está acostumbrado a ver iluminación, gráficos y utensilios escénicos en muchos conciertos, por lo que necesitábamos una plataforma que permitiera a la IA construir su propia relación con el notorio», dice Naseck. En las primeras demostraciones, esto tomó la forma de una instalación escultórica con iluminación que cambiaba cada vez que la IA cambiaba de coincidente. Durante el concierto del 21 de septiembre, una rejilla de paneles en forma de pétalos montados detrás de Rudess cobró vida a través de una coreografía basada en la actividad y la futura vivientes del maniquí de IA.
“Si ves a los músicos de jazz establecer contacto visual y asentir con la persona, el notorio anticipa lo que va a suceder”, dice Naseck. “La IA genera efectivamente partituras y luego las reproduce. ¿Cómo mostramos lo que viene a continuación y lo comunicamos?
Naseck diseñó y programó la estructura desde cero en el Media Lab con la ayuda de Brian Mayton (diseño mecánico) y Carlo Mandolini (fabricación), extrayendo algunos de sus movimientos de un maniquí práctico de educación inevitable desarrollado por el estudiante visitante Madhav Lavakare que asigna música a puntos. moviéndose en el espacio. Con la capacidad de volver e inclinar sus pétalos a velocidades que van desde sutiles hasta dramáticas, la escultura cinética distinguió las contribuciones de la IA durante el concierto de las de los intérpretes humanos, al tiempo que transmitía la emoción y la energía de su producción: balanceándose suavemente cuando Rudess tomó el plomo, por ejemplo, o enrollarse y desplegarse como una piropo mientras el maniquí de IA generaba majestuosos acordes para un adagio improvisado. Este postrero fue uno de los momentos favoritos del software para Naseck.
«Al final, Jordan y Camilla abandonaron el tablas y permitieron que la IA explorara plenamente su propia dirección», recuerda. “La escultura hizo que este momento fuera muy poderoso: permitió que el tablas permaneciera animado e intensificó la naturaleza grandiosa de los acordes que tocaba la IA. El notorio quedó claramente cautivado por esta parte, sentado en los bordes de sus asientos”.
«El objetivo es crear una experiencia visual musical», dice Rudess, «para mostrar lo que es posible y mejorar el descanso».
Futuros musicales
Como punto de partida para su maniquí, Blanchard utilizó un transformador musical, una edificio de red neuronal de código franco desarrollada por la profesora asistente del MIT Anna Huang SM ’08, quien se unió a la potencial del MIT en septiembre.
«Los transformadores de música funcionan de forma similar a los grandes modelos de jerga», explica Blanchard. «De la misma modo que ChatGPT generaría la venidero palabra más probable, el maniquí que tenemos predeciría las siguientes notas más probables».
Blanchard afinó el maniquí utilizando la propia interpretación de utensilios de Rudess, desde líneas de bajo hasta acordes y melodías, cuyas variaciones Rudess grabó en su estudio de Nueva York. En el camino, Blanchard se aseguró de que la IA fuera lo suficientemente ágil como para reponer en tiempo positivo a las improvisaciones de Rudess.
«Replanteamos el tesina», dice Blanchard, «en términos de futuros musicales que el maniquí planteaba como hipótesis y que sólo se estaban realizando en ese momento en función de lo que Jordan estaba decidiendo».
Como dice Rudess: “¿Cómo puede reponer la IA? ¿Cómo puedo dialogar con ella? Esa es la parte de vanguardia de lo que estamos haciendo”.
Surgió otra prioridad: “En el campo de la IA generativa y la música, se oye dialogar de startups como Suno o Udio que son capaces de producir música basada en mensajes de texto. Son muy interesantes, pero carecen de controlabilidad”, afirma Blanchard. “Para Jordan era importante poder anticipar lo que iba a suceder. Si pudiera ver que la IA iba a tomar una audacia que no quería, podría reiniciar la vivientes o tener un interruptor de pálido para poder tomar el control nuevamente”.
Por otra parte de darle a Rudess una pantalla con una aspecto previa de las decisiones musicales del maniquí, Blanchard incorporó diferentes modalidades que el músico podría activar mientras toca: incitando a la IA a producir acordes o melodías principales, por ejemplo, o iniciando un patrón de señal y respuesta. .
“Jordan es el cerebro de todo lo que está sucediendo”, afirma.
¿Qué haría Jordania?
Aunque la residencia ha concluido, los colaboradores ven muchos caminos para continuar la investigación. Por ejemplo, a Naseck le gustaría tantear con más formas en que Rudess podría interactuar directamente con su instalación, a través de funciones como la detección capacitiva. «Esperamos que en el futuro podamos trabajar con más movimientos y posturas sutiles», dice Naseck.
Si acertadamente la colaboración del MIT se centró en cómo Rudess puede utilizar la utensilio para mejorar su propio desempeño, es factible imaginar otras aplicaciones. Paradiso recuerda un interviú temprano con el técnico: “Toqué una secuencia de acordes y el maniquí de Jordan generaba las pistas. Era como tener una ‘abeja’ musical de Jordan Rudess zumbando rodeando de la pulvínulo melódica que estaba estableciendo, haciendo poco como lo haría Jordan, pero sujeto a la progresión simple que estaba tocando”, recuerda, con su rostro reflejando el deleite que sentía. En el momento. «Verás complementos de IA para tu músico protegido que podrás incorporar a tus propias composiciones, con algunas perillas que te permitirán controlar los detalles», plantea. «Es ese tipo de mundo el que estamos abriendo con esto».
Rudess además está interesado en explorar usos educativos. Adecuado a que las muestras que grabó para entrenar el maniquí eran similares a los ejercicios de entrenamiento auditivo que ha utilizado con los estudiantes, cree que el maniquí en sí podría algún día estar de moda para la enseñanza. «Este trabajo va más allá del simple valencia de entretenimiento», dice.
La incursión en la inteligencia fabricado es una progresión natural del interés de Rudess en la tecnología musical. “Este es el venidero paso”, cree. Sin confiscación, cuando acento del trabajo con otros músicos, su entusiasmo por la IA a menudo encuentra resistor. “Puedo apreciar simpatía o compasión por un músico que se siente amenazado, lo entiendo totalmente”, admite. «Pero mi representación es ser una de las personas que impulsa esta tecnología en torno a cosas positivas».
«En el Media Lab, es muy importante pensar en cómo la IA y los humanos se unen para el beneficio de todos», dice Paradiso. “¿Cómo nos va a ayudar la IA a todos? Idealmente, hará lo que tantas tecnologías han hecho: llevarnos a otra perspectiva en la que estemos más capacitados”.
“Jordan está a la persona”, añade Paradiso. «Una vez que se establezca con él, la masa lo seguirá».
Tocando con el MIT
El Media Lab aterrizó por primera vez en el radar de Rudess antaño de su residencia porque quería probar el teclado tejido creado por otro miembro de Responsive Environments, el investigador textil Irmandy Wickasono PhD ’24. A partir de ese momento, “ha sido un descubrimiento para mí asimilar sobre las cosas interesantes que están sucediendo en el MIT en el mundo de la música”, dice Rudess.
Durante dos visitas a Cambridge la primavera pasada (con la auxilio de su esposa, la productora de teatro y música Danielle Rudess), Rudess revisó los proyectos finales del curso de Paradiso sobre controladores de música electrónica, cuyo software de estudios incluía vídeos de sus propias actuaciones pasadas. Llevó un nuevo sintetizador basado en gestos llamado Osmose a una clase sobre sistemas musicales interactivos impartida por Egozy, cuyos créditos incluyen la cocreación del videojuego “Guitar Hero”. Rudess además brindó consejos sobre improvisación en una clase de composición; tocó GeoShred, un utensilio musical con pantalla táctil que co-creó con investigadores de la Universidad de Stanford, con estudiantes de música en el software MIT Laptop Ensemble y Arts Scholars; y experimentó audio inmersivo en el MIT Spatial Sound Lab. Durante su alucinación más flamante al campus en septiembre, impartió una clase extraordinario para pianistas en el Software Emerson/Harris del MIT, que brinda a un total de 67 académicos y becarios apoyo para la instrucción musical a nivel de conservatorio.
«Me da una especie de prisa cada vez que vengo a la universidad», dice Rudess. «Siento la sensación de que, vaya, todas mis ideas musicales, mi inspiración y mis intereses se han unido de esta modo positivamente formidable».