Utilizo mi sinestesia para crear un nuevo género artístico con IA

Este artículo se basa en una conversación con Shane Guffogg, un artista estadounidense que realizó una exposición de 21 pinturas en la Bienal de Venecia a principios de este mes titulada “En el punto quieto del mundo que gira – Extraños del mundo que gira: Extraños de” presentó tiempo”). La conversación ha sido editada para mayor claridad y extensión.

Tener Sinestesialo que significa que escucho color.

Por eso es importante lo que escucho mientras pinto.. Escucho música clásica india, cantos gregorianos y algunos compositores desconocidos como György Ligeti, Leo Ornstein y Terry Riley. La música estimula mi creatividad y me permite estar plenamente presente y en el momento.

Durante años me he preocupado por cómo podrían sonar mis imágenes. La revolución de la inteligencia artificial me impulsó a buscar expertos que pudieran ayudarme. Mi primer punto de contacto fue Radhika Dirks, experta en IA y computación cuántica. Tuvimos algunas sesiones de Zoom y me dijo, desde su perspectiva, esto Ningún programa de inteligencia artificial podría ayudarme.

En cambio, me sugirió que creara un alfabeto visual que asociara los acordes musicales que escuchaba en mi cabeza con colores.

Pensé que podría ser una forma de impulsar mi creatividad. También se basó en la idea de un alfabeto subconsciente que ha inspirado mi arte a lo largo de mi carrera.

Me reuní con músicos y expertos en inteligencia artificial para crear un alfabeto visual

Empecé a buscar músicos con quienes colaborar. y conocí a Anthony Cardella, un joven pianista increíblemente talentoso de Los Ángeles. Cardella es estudiante de posgrado en la USC [la Universidad del Sur de California, Estados Unidos] y resulta que conoce –e incluso interpreta– a muchos compositores anónimos a los que escucho mientras pintan.

Empezamos a trabajar juntos. Nos sentamos juntos y miramos mis fotografías. Me acercaría a un color en Photoshop, lo miraría y sentiría la nota musical. Luego le dijo a Antonio. Por ejemplo, le dije que creo que ese es el color de la nota. Sí. Tocó la B y le dije: “No, no es eso; prueba B…”.

Después de algunas pruebas, de repente tocando las notas correctas. Lo supe porque los colores empezaron a vibrarme. Juntos dibujamos acordes que corresponden a 40 colores.

Poco después, a través de contactos mutuos, conocí a un investigador de inteligencia artificial llamado Jonah Lynch. Lynch trabaja en la intersección de las humanidades digitales y el aprendizaje automático. Lo invité a mi rancho en el centro de California y le expliqué mi trabajo y cómo creaba mis imágenes.

Tuvimos largas conversaciones sobre arte, poesía y la creación de un algoritmo de IA que podría alimentarse de acordes.

Jonah desarrolló un programa para «leer» mis imágenes y convertirlas en música. Le di los colores principales que usé en cada imagen y los acordes que escuchó al ver esos colores, estudiando los movimientos de mis manos. y escribí un programa que… intentó Las imágenes de las pinturas siguieron los movimientos de mis manos y asignaron cada color. intentó los parlantes a su acorde correspondiente.

Luego introdujo esta progresión de acordes en una red neuronal que ha almacenado la mayor parte de la música de piano de los últimos 500 años. Jonah pidió a la cadena que pensara en nuevas secuencias basadas en colores y secuencias de acordes y en la historia de la música occidental para crear páginas de partituras.

Cuando escuché esta música, Me conmovieron hasta las lágrimas. Era sólo una versión aproximada de lo que escuché mientras pintaba, pero pensé: «Ahí está».

Le llevé la música a Anthony, el pianista. Sorprendentemente, pude señalar la música y decirle qué composiciones había escuchado mientras pintaba, y él dijo: «Sí, lo sé por los acordes, los ragas indios, los cantos gregorianos, Ligeti y Ornstein». todo allí .

Aún así, la música en este punto consistía en gran medida en una secuencia de acordes. Anthony me dijo que si los arreglábamos un poco podríamos tener melodías.

La inteligencia artificial sigue siendo una herramienta que requiere supervisión humana

Hemos compuesto música para varios cuadros y los hemos interpretado para públicos de todo el mundo. El mes pasado dimos un concierto en el Forest Lawn Museum de Los Ángeles, donde también expuse algunas pinturas. El público pudo ver las imágenes mientras Anthony tocaba Fue una experiencia muy intensa (algunas personas lloraron).

En la inauguración de mi última exposición, en la semana inaugural de la Bienal de Venecia, Anthony interpretó en vivo el estreno mundial de una sonata que compuso inspirada en mi pintura. Sólo a través del tiempo se conquista el tiempo. (“Sólo a través del tiempo el tiempo será vencido”).

Después de la actuación hablé con varias personas y me dijeron que podían ver dónde estaban los colores y las notas en el cuadro. Era algo que nunca antes habían experimentado.

Sé que mucha gente le tiene mucho miedo a la IA y yo también la veo como una herramienta que requiere supervisión humana. No es un medio para un fin. Sin embargo, me ha abierto muchas oportunidades y ha mejorado mi proceso creativo. No sé si realmente habría podido desarrollar la musicalidad de mis imágenes sin ellos.

Puedes escuchar una de las composiciones a las que Guffogg hace referencia aquí: