Zona Fantasma es un programa de radio experimental impulsado por el colectivo Zona de Riesgo que explora la relación entre cuerpo, archivo, error, memoria y tecnologías contemporáneas desde una perspectiva sonora, poética y política.
El programa funciona como una plataforma de transmisión expandida donde convergen arte sonoro, poesía experimental, spoken word, paisaje sonoro, ruido, entrevistas, lectura de manifiestos, improvisación, registros de campo, ficciones especulativas y procesos colectivos de escucha.
Zona Fantasma propone una experiencia de deriva auditiva donde cada emisión se convierte en un territorio de resonancia crítica y sensibilidad compartida.
Zona Fantasma es conducido y producido por Mónica Martz M y Bruno Bresani
En este octavo capítulo de Zona Fantasma, exploraremos las relaciones entre inteligencia artificial, tecnología y banalidad del mal, interrogando cómo los sistemas algorítmicos transforman nuestra percepción, nuestras formas de pensamiento y las estructuras de responsabilidad en el mundo contemporáneo. A través de la reflexión crítica, la experimentación sonora y la música electrónica, nos aproximaremos a las zonas de opacidad donde la automatización, la indiferencia y la delegación de decisiones cuestionan nuestra capacidad de discernimiento y nuestra responsabilidad ética.
Con la participación de Jacob Bañuelos, investigador y especialista en imagen, semiótica e inteligencia artificial; Organza Ray, integrado por Eleni Poulou y Hilary Jeffery, desde la experimentación sonora; y un DJ set del sello discográfico argentino Sonido Atmosférico, esta emisión propone un recorrido por las tensiones entre pensamiento, tecnología y sensibilidad. Entre reflexión crítica, paisajes sonoros y pulsaciones electrónicas, escucharemos la inteligencia artificial como un territorio de disputa simbólica, política y estética, donde la banalidad del mal adquiere otras formas y la escucha se convierte en un espacio de resistencia y cuestionamiento.
Doctor en Ciencias de la Información por la Universidad Complutense de Madrid y profesor-investigador especializado en imagen, tecnología y cultura. Su trayectoria académica y editorial aborda las transformaciones de la imagen y sus expresiones contemporáneas desde perspectivas críticas y teóricas. En este capítulo de Zona Fantasma, nos acompañará a reflexionar sobre la inteligencia artificial, sus implicaciones socioculturales y las relaciones entre tecnología, automatización y banalidad del mal, interrogando los mecanismos mediante los cuales los sistemas algorítmicos reconfiguran nuestra percepción, pensamiento y responsabilidad ética.
Entrevista
1. ¿Puede un algoritmo producir la banalidad del mal?
Hannah Arendt describía la banalidad del mal como la capacidad de ejecutar acciones profundamente dañinas sin una reflexión ética sobre sus consecuencias. Hoy convivimos con algoritmos que clasifican personas, generan imágenes, moderan contenidos o toman decisiones automatizadas. Desde tu perspectiva como investigador de la imagen y la semiótica, ¿crees que la inteligencia artificial puede convertirse en una forma de banalidad del mal, donde la responsabilidad parece diluirse entre el código, los datos y las plataformas?
Yo diría que el algoritmo no puede ser banal en el sentido de Arendt, porque la banalidad que ella describió en Eichmann es una renuncia humana a pensar, a juzgar y a ponerse en el lugar del otro. Un sistema de IA no piensa ni deja de pensar. Pero sí puede convertirse en una infraestructura que industrializa la irreflexión: organiza el trabajo de modo que nadie tenga que detenerse a juzgar lo que se está haciendo. Me gusta pensarlo como una banalidad delegada. El riesgo es perder la capacidad del juicio crítico sobre lo que los algoritmos devuelven.
Vilém Flusser ya advertía que el aparato fotográfico convierte al operador en un «funcionario» que ejecuta las posibilidades del programa sin cuestionarlo. La IA generativa y los sistemas de clasificación llevan esa lógica al extremo. El ingeniero optimiza una métrica, el moderador aplica una política, el usuario escribe un prompt, la plataforma maximiza la interacción, y en esa cadena el daño aparece como efecto colateral de procesos «técnicos». Arendt mostró que el lenguaje burocrático servía para neutralizar la conciencia; hoy ese papel lo cumple el lenguaje de la eficiencia, la escala y la automatización.
Por eso insisto en que la responsabilidad no se diluye: se distribuye, y distribuirla exige más trabajo ético, no menos. Desde la semiótica, la tarea es desmontar la ficción de neutralidad que el propio dispositivo produce, y hacer visibles las decisiones humanas y los intereses detrás de cada clasificación y cada imagen. Como señala Safiya Noble, los algoritmos no inventan la discriminación; la heredan de los datos y la reproducen a una escala y con una opacidad que la vuelven difícil de reconocer como violencia.
2.La imagen sintética y la crisis de la verdad
Gran parte de tu trabajo analiza la producción y circulación de imágenes en la cultura contemporánea. Hoy la inteligencia artificial puede generar fotografías, videos y rostros que nunca existieron. ¿Cómo cambia esto nuestra capacidad para interpretar las imágenes? ¿Estamos entrando en una etapa donde la semiótica necesita otras herramientas para distinguir entre representación, simulación y manipulación?
Primero conviene matizar: la fotografía nunca fue un espejo de la verdad. La historia de la imagen está llena de montajes, retoques y escenificaciones. Lo que cambia con la IA generativa es más profundo que la facilidad para falsificar: es el régimen de producción de la imagen. En mi trabajo describo este tránsito como un paso del índex al algoritmo. La fotografía se legitimaba por su huella física, por haber estado frente a algo. La imagen generativa no tiene referente: es una síntesis estadística de millones de imágenes previas, una especie de promedio probable del mundo. No registra lo que ocurrió; calcula lo que podría parecer verosímil. Habría mucho que hablar sobre lo que he llamado el elogio a las alucinaciones, la importancia del error en la producción automática y humana de las imágenes, y en su conjunto de cualquier tipo de creación. ¿Qué sería de nosotros en un mundo o una realidad sin fusuras, sin poética, si capacidad de equivocarnos para poder descubrir lo falso de un mundo aparentemente perfecto? La frase exacta es «El sueño de la razón produce monstruos» y pertenece al famoso grabado (Capricho nº 43) de Francisco de Goya, creado entre 1799. Puedes ver la pieza original digitalizada en el Museo Nacional del Prado.
Esto desplaza el problema de la verdad asociado a la imagen. Verdad, lo veraz, lo versímil, el eterno cículo vicioso en el que se a envuelto a la imagen para confundir y producir discursos de hacer creer, siempre empujándonos a consumir y a legitimar sistemas o regímenes de pensamiento, siempre evidentemente apuntalando regímenes y estructuras ideológicas de dominación, control, represión y poder. Hoy más que nunca es crucial preguntarnos qué vemos y qué estamos dejando de ver, quién lo enuncia, cómo y dónde, cómo es nuestro regimen de visualdiad y qué dejamos fuera de los visible, quién y cómo se gestiona nuestra realidad y memoria visual, que es, finalmente, lo que nos construye.
Ya no basta con preguntarse si la imagen es «real» mirando la imagen misma, porque una imagen sintética puede ser perfecta en lo técnico y también es “real”. La distinción entre representación, simulación y manipulación deja de residir solo en el objeto visual y se traslada al contrato de lectura, a la circulación y a la intención: quién la produce, con qué herramientas, en qué contexto se publica, qué promete al espectador y qué efectos busca. En mis estudios sobre el deepfake he trabajado esa idea: lo decisivo son los géneros discursivos y los campos semánticos en los que la imagen sintética se inserta. La misma técnica puede servir a la sátira, al arte, a la memoria, a la reivindicación de valores humanos o a la desinformación.
Así que sí, la semiótica necesita ampliar sus herramientas, integrar el análisis de la procedencia y la trazabilidad, la lectura de la circulación en plataformas, y una sociosemiótica que entienda la imagen como acontecimiento social, no solo como texto. También debemos leer los sesgos del espacio latente, lo que el modelo tiende a producir «por defecto» revela los imaginarios dominantes con los que fue entrenado.
3.Ética, creatividad y responsabilidad
La inteligencia artificial suele presentarse como una herramienta neutral, pero detrás de cada modelo existen decisiones humanas, bases de datos, intereses económicos y estructuras de poder. ¿Cómo deberíamos pensar la responsabilidad ética en la creación artística y en la producción de conocimiento cuando parte del proceso creativo es delegada a sistemas algorítmicos? ¿Quién responde por los sesgos o las violencias que estas tecnologías pueden reproducir?
La neutralidad de la herramienta es quizá el mito más eficaz de la industria tecnológica. Cada modelo es un archivo y una política. El medio es el mensaje diría sabiamente Marshall McLuhan, con toda la compejidad ideológica y sitémica que esto implica cuando hablamos de IAG.
Detrás hay bases de datos construidas por extracción, a menudo sin consentimiento; trabajo invisible de etiquetado, muchas veces en el Sur global; criterios de filtrado; y modelos de negocio que definen qué se puede generar y qué no. Corremos el riesgo de ser ciudadanos reemplazados por algoritmos si aceptamos esas decisiones como dadas, como ha apuntado García Canclini.
Propongo pensar la responsabilidad por capas. Las empresas responden por el diseño, los datos y la falta de transparencia de sus modelos. Las instituciones y los Estados, por la regulación y por los usos que permiten. Y quienes creamos y producimos conocimiento con estas herramientas respondemos por el uso, el contexto y los efectos de lo que publicamos. Delegar parte del proceso creativo no delega la autoría ética.
En el arte latinoamericano con IA que he estudiado aparece una respuesta interesante: prácticas que trabajan contra el modelo. El artista chileno Felipe Rivas San Martín ha propuesto el concepto de minority prompting para nombrar estas estrategias: forzar al sistema a representar cuerpos, identidades y memorias que su entrenamiento invisibiliza o estereotipa. Retomo esa noción en mi trabajo porque permite entender cómo surgen lo que he llamado contra-archivos algorítmicos. Hay una larga lista de artistas latinoamericanos que han usado y están usando los algoritmos para cuestionar al propio sistema algorítmico y al sistema cultural y político de lo visual
Y en la postmemoria algorítmica, la IA se usa para restaurar memorias fracturadas, comunidades desplazadas, ciudades transformadas, familias de personas desaparecidas. Eso exige un cuidado ético particular. Reconstruir visualmente lo ausente puede reparar, pero también puede suplantar el testimonio o fabricar una memoria que no pertenece a nadie. Por eso defiendo que estos procesos sean colaborativos, con las comunidades como coautoras, y que declaren abiertamente su carácter sintético. La transparencia del proceso es parte de la obra.
4.Educar la mirada en la era de la inteligencia artificial
A lo largo de tu trayectoria has insistido en la importancia de formar una mirada crítica frente a las imágenes. En un contexto donde la inteligencia artificial produce una cantidad prácticamente infinita de contenidos visuales, ¿qué herramientas deberían desarrollar las nuevas generaciones para leer críticamente estas imágenes? ¿Cómo podemos evitar que la automatización de la cultura termine normalizando formas de violencia simbólica o desinformación?
Ante la abundancia infinita de imágenes, el recurso escaso ya no es la imagen sino la atención crítica. Educar la mirada hoy significa enseñar a hacer preguntas que la imagen sintética tiende a borrar: ¿quién la produjo y con qué sistema?, ¿con qué datos se entrenó ese sistema?, ¿qué cuerpos, territorios o historias aparecen por defecto y cuáles no aparecen nunca?, ¿en qué plataforma circula y qué gana alguien con su circulación?
En mi trabajo docente he desarrollado un modelo hermenéutico y sociosemiótico multinivel que propone leer la imagen desde cinco perspectivas: histórico-tecno-estética, filosófico-sociocultural, mediático-tecnológica, antropológica y semiótica. Lo hemos llevado a herramientas como MAVIA, donde la IA acompaña el análisis sin sustituirlo. La clave pedagógica es la asimetría: la IA puede proponer lecturas, pero el estudiante debe contrastarlas, discutirlas y argumentar su propio juicio. Si la usamos como oráculo, reproducimos justo la renuncia al juicio de la que hablaba Arendt.
Las nuevas generaciones necesitan, a mi juicio, cuatro competencias: leer el estereotipo como producto estadístico (lo «normal» para un modelo suele ser lo hegemónico: la blanquitud, la frontera como amenaza, ciertos cuerpos como norma); verificar la procedencia y el contexto antes de compartir; producir críticamente, porque generar imágenes y ver cómo responde el modelo es una forma poderosa de entender sus sesgos; y una alfabetización afectiva que reconozca cómo las imágenes nos movilizan emocionalmente antes de que podamos pensarlas.
Para evitar que la automatización normalice la violencia simbólica y la desinformación, no basta la alfabetización individual. Necesitamos archivos comunitarios, memorias producidas desde abajo, proyectos de humanidades digitales como el proyecto Narrateca para la justicia social que devuelvan la voz a quienes los datos excluyen. La mirada crítica es también una práctica colectiva.
Organza Ray – Eleni Poulou / Hilary Jeffery
Eleni Poulou es música, DJ, poeta y artista sonora, reconocida por su trayectoria con The Fall y diversos proyectos experimentales. Hilary Jeffery es músico, compositor y educador, cuya práctica abarca instrumentos de viento, piano y electrónica, con una profunda influencia de la exploración del silencio y el espacio.
Fake Lake
Fake Lake nos invita a escuchar las huellas de la intervención humana sobre el mundo, la apropiación, la simulación y la transformación de aquello que consideramos natural, desde la ironía y la sensibilidad sonora, nos invita a recorrer la intervención humana en paisajes que no le pertenecen, llevándonos a lagos artificiales, aves perturbadas y cuerpos que irrumpen en territorios ajenos. Esta pieza nos evoca la fabricación de la naturaleza y las contradicciones de nuestra relación con el entorno.
DJ Set – Sonido Atmosférico
Plataforma independiente de música experimental y exploración sonora que, desde la autogestión, conecta sensibilidades, territorios y escenas de Argentina y el mundo.
Su propuesta abre un espacio de libertad creativa y riesgo estético donde el sonido funciona como herramienta de experimentación, pensamiento y resistencia. A través de un recorrido por distintas geografías sonoras, esta selección propone una escucha que transita entre la abstracción, la distorsión, los ritmos electrónicos y las texturas industriales. Un paisaje sonoro que permite interrogar las relaciones entre tecnología, automatización, percepción y experiencia humana.
El DJ set reúne obras de Third World Orchestra, con Turbinho (remix para Claravox); Clonna, con Persecución laboral; Xnida, con Aduana mental; Symi, con Ptisi; El Halli Obeid, con Compresor; Kenis, con Natura Globale; 2SZ, con Positron; Nonoise79, con Yaxes: hora de mirar a ese elefante en la habitación; Atilio Sánchez, con La noche anterior; Gaffacan, con Pájaros que vuelan hacia atrás; y Pablo Reche, con D.
Una cartografía de sonidos y sensibilidades que nos invita a pensar, desde la escucha, las tensiones del presente y las zonas de fricción entre humanidad, tecnología y sociedad.