Experimento literario · 2026
¿Humano
o IA?
Jay Caspian Kang publicó en The New Yorker un experimento para tratar de ver cuán detectables son los textos escritos con IA cuando se borran las marcas típicas de la escritura sintética. Esta es una reversión en español con el mismo concepto.
Son diez párrafos. Tu misión: averiguar si cada texto fue escrito por un autor humano o generado por inteligencia artificial imitando su estilo. Al final, un análisis y el background para profundizar.
Jay Caspian Kang — The New Yorker
"Cada vez que empiezo a pensar en esta tecnología y en todas las posibilidades que tiene de reemplazarnos, me recuerdo a mí mismo, casi como un ejercicio de higiene mental, que los grandes maestros del ajedrez no han podido vencer a las mejores computadoras en dos décadas, y sin embargo cientos de miles de jóvenes siguen ahora a influencers de ajedrez en TikTok. Seguimos valorando el proceso humano del ajedrez, la forma en que el juego mueve nuestros cerebros. La superioridad de las máquinas es irrelevante cuando se trata de por qué jugamos."
"Lo mismo ocurrirá, por supuesto, con la escritura — simplemente podemos confiar en que las personas siempre necesitarán comprender las cosas, y que necesitarán convertirlas en palabras que luego puedan usarse para comunicarse con otros seres humanos."
Resultados
Antes de profundizar, unas preguntas anónimas para la estadística.
Si no las querés responder, no pasa nada, podés seguir leyendo las conclusiones.
No se almacena información personal.
Análisis del experimento de The New Yorker
Algunas ideas para pensar
-
Limitaciones del experimentoIgual que su versión en inglés, este test se hace con textos cortos que quizás contribuyen a la confusión. Y es algo que hace online (y por ende con menos atención) y de manera anónima (y quizás con menos compromiso).
-
El modelo usadoPara generar los textos usé Claude Sonnet 4.6, en modo esfuerzo bajo. Le di el artículo y le pedí que trabajara sobre esas ideas. En una segunda versión le pedí que sacara algunas marcas muy evidentes de escritura sintética, pero dejé las reglas de estilo tal cual las recopiló por sí mismo. Se pueden ver más abajo.
-
La calidad es bajaEn una segunda lectura más atenta se empiezan a ver algunas pistas en los textos sintéticos. En ningún caso la calidad se acercó a la de los autores originales. Los textos que escribió la IA incluso tienen errores de puntuación y algunos más sutiles de ortografía.
-
Los textos humanos: problemasEn la primera versión, también le pedí al modelo que recopilara los textos de los autores reales. Inventó algunos y modificó otros. Cuando le pedí que los chequee, me dijo que no podía confirmar su autenticidad.
-
Textos más largosEl experimento original muestra las diferencias narrativas entre textos humanos y sintéticos. En textos más largos esa separación se vuelve más evidente.
-
El estilo se puede editarLos detectores de texto IA por lo general miran el estilo, pero el estilo se puede editar. El problema está en la narrativa. Las IAs construyen historias de forma sistemáticamente predecible. Y ese patrón no desaparece aunque reescriban cada palabra. Los humanos usamos flashbacks, mezclamos líneas argumentales, dejamos finales ambiguos, rompemos la cuarta pared.
-
El problema narrativo y otras cuestionesMuchas de estas ideas están desarrolladas en este preprint.
Cómo se entrenó la IA
Las instrucciones que usó Claude para imitar a cada autor
En su artículo, Kang muestra las reglas que Claude se dio a sí mismo para imitar a Hemingway o George Eliot. Estas son las instrucciones equivalentes que usamos en este juego.
Qué dice el artículo de The New Yorker
El indicio más confiable: los personajes que no hacen nada
Kang identificó un patrón persistente incluso en los textos de IA más sofisticados: los personajes existen, pero no actúan.
"Las escenas generadas por IA tenían personajes, pero, aparte de agitarse, básicamente no hacían nada."
Jay Caspian Kang — The New Yorker, junio 2026"No importa cuántas instrucciones adicionales le diera: en el momento en que le pedía que hiciera las cosas más activas, volvía a aparecer esa prosa torpe y más fácilmente identificable."
Jay Caspian Kang — The New Yorker, junio 2026¿Por qué no podemos distinguirlos?
"Las personas que hicieron el test pudieron identificar un pasaje real frente a uno falso aproximadamente el cincuenta y dos por ciento de las veces, lo que podría ser otra manera de decir que en realidad no podían distinguirlos."
Jay Caspian Kang — The New Yorker, junio 2026La conclusión: el problema no es técnico, es humano
"Si Claude prefiere escribir esos pasajes en los que aparentemente nada ocurre y los pasillos siempre están vacíos y los personajes no hacen nada salvo tocar distraídamente los muebles cercanos, es porque nosotros también lo hacemos."
Jay Caspian Kang — The New Yorker, junio 2026"En ningún momento ni yo ni ninguno de los participantes del test llegamos a la conclusión de que queríamos leer literatura escrita por IA, ni nos quedamos con la revelación de que leer y escribir ya no eran necesarios."
Jay Caspian Kang — The New Yorker, junio 2026