¿Sueñan las IA
con escrituras humanas?
Para este experimento, 429 personas intentaron distinguir textos escritos por humanos y textos generados por IA imitando distintos estilos. Las respuestas estuvieron cerca del azar, pero el análisis es más complejo. Aquí presentamos algunos de los resultados y cifras para que cada quien pueda sacar sus propias conclusiones.
Este trabajo replica en español la metodología que usó Jay Caspian Kang para The New Yorker: diez rondas, textos breves, sin las marcas más obvias de escritura sintética.
La IA logró camuflarse cerca de la mitad del tiempo
El acierto global fue 54,1%. Cuando el texto era humano, se identificó bien el 62,1% de las veces. Cuando era IA, solo el 46,2%. Más de la mitad de los textos sintéticos fueron clasificados como humanos.
3.395 respuestas individuales · 10 rondas
De los 1.705 textos de IA presentados, 918 —más de la mitad— fueron clasificados como humanos.
La gente mejoró levemente al detectar IA, pero no al reconocer lo humano
Si comparamos las primeras cinco rondas con las últimas cinco, hay un patrón. El acierto sobre textos de IA aumentó 4 puntos. Quienes se equivocaron atribuyendo humanidad a textos sintéticos, luego leyeron con más atención. Pero el acierto sobre textos humanos se mantuvo casi igual en las últimas rondas.
La ronda 2 fue la peor del juego (46,9% global), arrastrada por textos de IA que engañaron al 81% y al 70% de los participantes. Estos son esos textos:
"Clara había aprendido a leer el futuro en el color del humo de la cocina, pero nunca le contó ese secreto a nadie porque sabía que su madre lo habría llamado superstición. Fue en esa cocina donde entendió que las mujeres de su familia cargaban el don y la desgracia juntos, como una sola herencia que no se podía dividir ni rechazar. El olor a canela y a leña mojada le recordaría toda la vida esa mañana de julio en que supo, sin que nadie se lo dijera, que su madre no volvería del hospital."
"El sol había calentado las piedras durante ocho horas y ahora la yarará las usaba. Estaba quieta, con la cabeza apenas levantada, mirando el sendero con esa atención sin pensamiento que tienen las víboras cuando esperan. El hombre llegó silbando, con el machete al cinto y las botas abiertas por el calor. Vio la sombra negra sobre la piedra blanca medio segundo antes de sentir el golpe en el tobillo, y ese medio segundo fue suficiente para saber que no llegaría al rancho."
La influencia de la lectura y la educación en el experimento
De las 429 que participaron, 168 personas completaron la encuesta. Los datos muestran patrones contraintuitivos: a mayor formación académica, menor score. Y aunque leer más sí da ventaja, la diferencia es mucho más pequeña de lo que se esperaría.
Edad y rendimiento
La mayoría en el rango 5–7
Solo 3 personas sacaron 9/10 y 6 sacaron 1/10. El grueso se concentra en 5–7, lo que confirma que el experimento tuvo dificultad calibrada: no fue trivial ni imposible. El score 6 fue el más frecuente (46 personas).
score 1–4 · 16% de los encuestados
score 5–6 · 46% de los encuestados
score 7–9 · 38% de los encuestados
Podemos distinguirlos.
Pero no siempre
lo sabemos.
El resultado de este experimento no es que la IA ya escribe igual que los humanos. Es que, en condiciones de lectura casual y con textos breves, la diferencia se vuelve imperceptible en los detalles.
Lo que rescato de los 90 comentarios es que la gente sí percibe algo. Lo llaman "alma", "tirón en la panza", "lo inesperado", "el ritmo". No siempre saben explicarlo, pero lo sienten.
Quizás, como dice Flavia Costa en su último trabajo, la lectura atenta se convierta en un deporte de alto rendimiento, nuestra mejor arma para defender lo que nos hace humanos:
"En esta guerra, en la 'batalla cultural' del signo que sea, la clave —nuestra 'agencia'— es la lectura atenta. Todo lo que podamos ser, la libertad que está radicalmente en juego, depende de nuestras habilidades lectoras, nuestra capacidad de interpretación, la recepción como actividad cada vez más elaborada, reflexiva, autoconsciente. Y si nuestro ambiente cotidiano es un laberinto, la lectura pasa a ser un deporte de alto rendimiento. Es lo que nos permitirá captar el shock, la 'imagen dialéctica', la señal impredecible e inequívoca que nos llevará hasta el mástil al cual atarnos y anclar la nave, la mente, en medio de la tormenta semiótica ilimitada."
Flavia Costa · La gran batalla de nuestro tiempo
Intuición 1, análisis 0
El 53,6% de quienes completaron la encuesta dejó un comentario. Estos son algunos de los resultados.
La trampa del análisis
Ocho comentarios mencionan explícitamente la tensión entre intuición y análisis. Casi todos concluyen lo mismo: cuando siguieron la primera impresión, acertaron; cuando se pusieron a analizar, erraron. Varios mencionan que la estrategia analítica fue exactamente la que la IA necesitaba para pasar desapercibida.
"Cuando seguí mi primera intuición, lo que me pasaba en el cuerpo al leer, fue cuando acerté. En cada intento que puse mucho análisis, me equivoqué. Mi cerebro se cree más inteligente que el tirón en la panza. El tirón en la panza casi siempre tiene razón."
"Me enredé tratando de recordar si eso que leía eran imitaciones o no, y quizás no presté atención a otras cosas. Caí en la trampa varias veces."
El reconocimiento como trampa doble
Varios participantes reconocieron textos originales (Funes el memorioso, A la deriva, La casa de los espíritus). Paradójicamente, eso los confundió más: si la IA podría estar imitando esos textos, ¿cómo confiar en el reconocimiento? La certeza se convirtió en sospecha.
"Aunque reconocí el inicio de 'A la deriva' de Quiroga, empecé a dudar de si no sería otro texto generado por la IA con instrucciones de qué imitar. Un 'si no' que debería haber sido 'sino' me hizo inclinarme por lo humano. Y acerté — aunque ahora sé que se pueden introducir erratas a propósito."
Lo que dicen los encuestados sobre las diferencias entre escritura humana y sintética
Quiénes jugaron — y qué sintieron
"Me da bronca no haber sacado 100... soy profe de Letras."
"Me encanta detectar con tanta claridad la diferencia. Hay algo de 'perfecto y vacío' en la escritura de la IA. Escribí una nota para un diario sobre una obra que estaba dirigiendo, y al pedirle al GPT que la mejorara, al leerla me di cuenta que había perdido su 'alma'."
"Enseño escritura académica y escritura creativa, y esto me resulta muy útil. Gracias."
"Me frustró no poder detectar, especialmente porque escribo poesía y en mi trabajo corrijo muchos textos hechos con IA. Sentí que el patrón no solo estaba en lo predecible sino también en cierta forma extraña de construir las oraciones, que podría pasar por estilo pero a la vez no lo es."
"Leer textos que imitaban la prosa de autores que leí en mi juventud se sintió como escuchar versiones bossa nova de temas de rock. Algo puede llenar el vacío, el silencio de la sala de espera, pero no algo que alguien que quiera disfrutar de la experiencia iría a buscar."
"Asombra el acostumbramiento al contexto: somos la ranita..."
"La IA dice/escribe lo que es estadísticamente probable. Solo eso. Entrenada con datos aportados por millones de usuarios anónimos, no es generadora de verdad sino reproductora del 'sentido común' propio de la masa."