Detectores de texto IA: cómo funcionan y por qué fallan tanto

En julio de 2023, OpenAI apagó uno de los primeros detectores de texto IA que ofreció al público, apenas seis meses después de lanzarlo. La empresa admitió que la herramienta fallaba demasiado para ser útil en producción.

Días atrás, el ensayo "LLM Voice" de Martin Fowler reabrió la discusión sobre cómo reconocer prosa escrita por un modelo, pero desde el oído humano y no desde un software. Esa diferencia importa porque miles de escuelas, medios y empresas de selección ya delegan ese juicio en herramientas automáticas, pese a que casi ninguna publica su tasa real de aciertos y errores.

TL;DR

• Los detectores GPT miden perplejidad y burstiness: qué tan previsible es cada palabra elegida.- OpenAI retiró su propio clasificador de IA en julio de 2023 por baja precisión declarada.- Un estudio de Stanford halló que los detectores marcan como IA más de la mitad de ensayos de no nativos.- SynthID, de Google DeepMind, marca con un patrón estadístico invisible cada token generado.- Parafrasear con otro modelo basta para hundir la precisión de casi cualquier clasificador entrenado.

¿Qué son los detectores de texto IA?

Los detectores de texto IA son programas que estiman, a partir de un texto, la probabilidad de que lo haya escrito un modelo de lenguaje y no una persona. No leen significado: miden patrones estadísticos como la previsibilidad de cada palabra, la variación entre oraciones o una marca oculta insertada al generarlo.

Existen al menos cuatro familias de estas herramientas: los clasificadores entrenados con ejemplos etiquetados, las heurísticas estadísticas sin entrenamiento, los métodos basados en curvatura de probabilidad y el watermarking (o marca de agua digital) insertado al momento de generar el texto. Cada una mide algo distinto, y ninguna analiza realmente el contenido: todas miran la forma.

Por qué importa que fallen

Un detector de texto IA no es un trámite técnico menor. Su resultado puede definir si un estudiante repite un curso, si un periodista independiente pierde un contrato o si un candidato queda descartado de una vacante antes de que una persona lea su currículum.
OpenAI retiró su clasificador de IA público apenas seis meses después de lanzarlo, en 2023.
En 2023, decenas de universidades en Estados Unidos activaron la función de detección de IA de Turnitin apenas unas semanas después de su lanzamiento, antes de que existieran estudios independientes sobre su precisión real. Cuando una herramienta automática decide quién hizo trampa, cualquier margen de error se traduce directo en sanciones injustas para alguien que nunca usó un modelo de lenguaje.

Cómo funcionan por dentro: perplejidad y burstiness

La mayoría de los detectores estadísticos parten de una idea simple: un modelo de lenguaje siempre prefiere la palabra más probable en cada posición, mientras que una persona se desvía de esa previsibilidad todo el tiempo. Esa desviación se mide con la perplejidad, un número que crece cuanto más le sorprende el texto al modelo de referencia.

Pensemos en la frase "el cielo está despejado hoy". Después de "el cielo está", la palabra más probable para casi cualquier modelo es "despejado" o "nublado": ambas concentran casi toda la probabilidad. Si el texto efectivamente dice "despejado", el modelo apenas se sorprende. Un humano, en cambio, mete giros, errores de tipeo y referencias personales que ningún modelo anticiparía con la misma probabilidad, y esa falta de sorpresa sostenida oración tras oración es justamente lo que un texto humano difícilmente mantiene.

La burstiness agrega una segunda señal: la variación de esa sorpresa entre oraciones consecutivas. El texto humano alterna frases muy predecibles con otras completamente inesperadas. El texto generado, en cambio, mantiene una perplejidad más pareja de principio a fin porque el modelo nunca se arriesga demasiado en ninguna palabra.

flowchart TD
A["Texto de entrada"] --> B["Tokenizador"]
B --> C["Modelo de lenguaje de referencia"]
C --> D["Calcula perplejidad y burstiness"]
D --> E["Clasificador o umbral estadistico"]
E --> F["Score: humano o IA"]

Ese cálculo no necesita entrenamiento: alcanza con tener acceso a un modelo de lenguaje que sirva de vara de medir. Es el enfoque que usa Binoculars, una herramienta zero-shot publicada en 2024 que compara la perplejidad de un mismo texto bajo dos modelos distintos en lugar de entrenar un clasificador aparte.

Clasificadores supervisados: el enfoque de OpenAI y Turnitin

El otro camino es entrenar directamente un clasificador de texto generado por IA: tomar miles de textos humanos y miles generados por modelos, etiquetarlos y dejar que una red aprenda a distinguirlos. Así funcionaba el clasificador que OpenAI publicó en enero de 2023 y retiró apenas seis meses después.

La propia empresa reportó el problema en su anuncio original: su clasificador identificaba correctamente solo el 26% de los textos generados por IA como "probablemente de IA", mientras marcaba como IA el 9% de los textos escritos por personas. Esa tasa de falsos positivos resultó demasiado alta para un uso serio, y OpenAI decidió discontinuarlo en vez de seguir ofreciéndolo con esa precisión.

Turnitin y GPTZero siguen una lógica parecida, aunque ninguno de los dos publica el detalle completo de su arquitectura. Lo que sí comparten es la debilidad de fondo: un clasificador aprende los patrones de los textos con los que se entrenó, y pierde precisión en cuanto el texto real se aleja de ese set, ya sea por el tema, el idioma o el estilo propio del autor.

Hay además un problema de mantenimiento permanente. Cada vez que sale un modelo nuevo (GPT, Gemini, Claude, Llama), su estilo de escritura cambia un poco, y el clasificador entrenado con la generación anterior empieza a perder precisión contra la nueva. Mantener un clasificador actualizado exige reentrenarlo todo el tiempo, algo que muy pocos proveedores hacen con la frecuencia necesaria.

Watermarking: la marca que Google DeepMind esconde en cada token

Hay un tercer camino que no analiza el estilo del texto después de escrito, sino que lo marca desde el momento en que se genera. SynthID, de Google DeepMind, sesga la elección de cada token con un patrón pseudoaleatorio derivado de una clave criptográfica: invisible para quien lee, pero reconstruible por quien tiene esa clave.

sequenceDiagram
participant M as Modelo generador
participant K as Clave de watermarking
participant D as Detector
M->>K: solicita patron por token
K-->>M: devuelve sesgo de muestreo
M->>D: entrega el texto generado
D->>K: recalcula el patron esperado
D-->>D: compara estadisticamente el texto recibido

La ventaja frente a un clasificador es que el watermarking no necesita adivinar nada: compara el texto recibido contra el patrón que el modelo debería haber producido si usó esa clave durante la generación. La desventaja es igual de directa: solo funciona si el proveedor activó la marca al generar ese texto puntual, y nadie puede detectarla en un texto de un modelo que nunca la implementó.

No hay forma directa de verificar desde afuera si un texto específico lleva una marca de SynthID sin acceso a la clave privada del proveedor: Google ofrece un verificador propio dentro de sus productos, pero no publica un método público para auditar el patrón sin pasar por esa herramienta.

La robustez también tiene límites. Un texto marcado que se reescribe a mano o se parafrasea con otro modelo puede perder suficiente señal estadística como para que el verificador ya no distinga el patrón del ruido, sobre todo si la reescritura cambia buena parte de las palabras originales.

Profundizando: DetectGPT y la curvatura de probabilidad

Hay un cuarto enfoque, más lento pero conceptualmente distinto: en vez de comparar perplejidades, perturbar el texto y medir cómo cambia su probabilidad. DetectGPT, descrito por Mitchell y su equipo en 2023, genera decenas de variaciones menores del mismo texto, por ejemplo reemplazando palabras por sinónimos, y le pide al modelo fuente que calcule la probabilidad de cada variante.

La intuición es que un texto generado por un modelo suele ocupar un máximo local de probabilidad bajo ese mismo modelo. Casi cualquier perturbación hace caer esa probabilidad de forma notoria. Un texto humano no ocupa ese máximo, así que sus perturbaciones suben o bajan la probabilidad de forma más pareja. Esa diferencia de curvatura es la señal que usa DetectGPT para decidir, sin entrenar jamás un clasificador.

flowchart LR
A["Texto sospechoso"] --> B{"Hay un clasificador entrenado disponible?"}
B -->|"Si"| C["Clasificador supervisado (OpenAI, Turnitin)"]
B -->|"No"| D["Perturba el texto con sinonimos"]
D --> E["Compara probabilidad original vs perturbada"]
E --> F["Curvatura alta sugiere origen IA"]

El costo es computacional: evaluar decenas de perturbaciones por cada texto multiplica el tiempo de inferencia varias veces frente a un clasificador que hace una sola pasada. Binoculars resuelve parte de ese problema comparando la perplejidad del texto bajo dos modelos de tamaño distinto en una única pasada, sin perturbaciones, aunque sacrifica algo de la precisión que ofrece la curvatura completa de DetectGPT.

Comparativa de los cuatro enfoques

Ningún método es superior en todos los escenarios: cada uno exige un acceso distinto (al modelo fuente, a una clave privada, o solo al texto) y falla de una forma distinta.
EnfoqueEjemploCómo detectaLimitación principalClasificador supervisadoClasificador retirado de OpenAI, Turnitin, GPTZeroEntrena una red con miles de textos humanos y de IA etiquetadosPierde precisión fuera de los temas y estilos de su set de entrenamientoHeurística estadística zero-shotBinocularsCompara la perplejidad del texto bajo dos modelos de lenguaje distintosNecesita acceso directo a los modelos de referencia, no solo al textoCurvatura de probabilidadDetectGPTPerturba el texto y mide cuánto cae la probabilidad bajo el modelo fuenteLento: exige decenas de perturbaciones por cada texto analizadoWatermarking en origenSynthID de Google DeepMindSesga la elección de tokens al generar el texto con una clave criptográficaSolo funciona si el proveedor activó la marca al generar ese texto

Cómo empezar: medí la perplejidad de un texto en Python

Antes de instalar nada, necesitás Python 3.10 o superior y unos 2 GB libres en disco para descargar el modelo de referencia. Instalá las dependencias con:

pip install transformers torch

Con eso ya podés calcular la perplejidad de cualquier frase bajo GPT-2, el mismo tipo de modelo de referencia que usan varios detectores zero-shot:

import torch
from transformers import GPT2LMHeadModel, GPT2TokenizerFast

tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
model = GPT2LMHeadModel.from_pretrained("gpt2")

def perplejidad(texto):
    ids = tokenizer(texto, return_tensors="pt").input_ids
    with torch.no_grad():
        salida = model(ids, labels=ids)
    return torch.exp(salida.loss).item()

print(perplejidad("El gato subio al tejado para ver el atardecer."))

Ese script tokeniza la frase, le pide al modelo que prediga cada palabra a partir de las anteriores y convierte la pérdida promedio en un número: la perplejidad. En una laptop sin GPU, ese script imprime algo como 42.17 para esa frase, un valor relativamente bajo porque el modelo no se sorprende con casi ninguna palabra. El número exacto varía según la versión de la librería y el hardware, pero el orden de magnitud (decenas, no miles) se mantiene estable.

El siguiente paso es comparar dos frases de estilo distinto para ver la señal que buscan los detectores basados en perplejidad:

frases = {
    "informal": "no se si voy a poder llegar a tiempo, el bus se re atraso",
    "generico": "Es importante destacar que, en el contexto actual, resulta fundamental considerar multiples factores."
}

for nombre, frase in frases.items():
    print(nombre, round(perplejidad(frase), 2))

Una salida típica marca justo la diferencia que buscan estos detectores: algo como informal 61.3 frente a generico 24.8. La frase cargada de conectores formulaicos resulta mucho más previsible para el modelo que la frase informal con jerga y errores de tipeo. Ese contraste es exactamente lo que miden GPTZero y herramientas similares, aunque con modelos de referencia más grandes y ajustes adicionales que no son públicos.

💡 Tip: corré el mismo script sobre un párrafo tuyo escrito a mano y otro pedido a un chatbot, antes de confiar en el puntaje de cualquier detector comercial sobre un texto que realmente te importe.

Qué dicen los estudios sobre la precisión de los detectores GPT

Los estudios independientes sobre detectores de texto IA son escasos, pero coinciden en un punto incómodo: la precisión baja mucho fuera del tipo de texto con el que se entrenó o calibró cada herramienta.
El estudio de Stanford evaluó ensayos de estudiantes no nativos de inglés frente a varios detectores GPT.
El caso más citado es el de Liang y su equipo en Stanford, publicado en 2023. El grupo pasó ensayos del examen TOEFL, escritos por hablantes no nativos de inglés, por varios detectores GPT comerciales y de código abierto. El resultado: los detectores marcaron como generados por IA más de la mitad de esos ensayos humanos, mientras casi nunca se equivocaban con ensayos de estudiantes nativos de inglés de nivel escolar.

La explicación técnica conecta directo con la perplejidad. Un hablante no nativo suele usar estructuras gramaticales más simples y vocabulario más previsible, justo el patrón que estos detectores asocian con texto de IA. El sesgo no es un error de programación puntual, sino una consecuencia directa de medir previsibilidad como señal de origen.

Casi todos estos estudios se hicieron en inglés. Para español la investigación es todavía más escasa: los pocos detectores con soporte multiidioma suelen ser extensiones del mismo clasificador entrenado mayormente en inglés, sin recalibrar para la gramática y el vocabulario del español. Eso sugiere que el mismo sesgo contra hablantes no nativos de inglés podría repetirse, en otra dirección, contra textos en español que estos detectores analicen sin ningún ajuste regional.

⚠️ Ojo: ningún detector de texto IA debería ser la única prueba para sancionar a una persona. Incluso los que reportan baja tasa de falsos positivos en inglés nativo la pierden con otros perfiles de escritura.

Errores comunes y cómo evadir un detector

El error más común es tratar el puntaje de un detector como un veredicto en lugar de una señal. Un 90% de "probabilidad de IA" no es una prueba: es una medida estadística con un margen de error que casi nunca se publica junto al número.

El segundo error es subestimar lo fácil que es evadir un clasificador entrenado. Pasar el texto por un parafraseador, por otro modelo de IA o simplemente reescribir a mano algunas oraciones rompe el patrón estadístico que el clasificador aprendió a reconocer. Los métodos zero-shot como DetectGPT son algo más resistentes a esto porque no dependen de un estilo fijo, pero tampoco son inmunes a una reescritura agresiva.

El tercer error, menos comentado, es mezclar texto humano y de IA en un mismo documento y esperar un resultado binario. Casi todos los detectores dan un puntaje promedio por párrafo o por documento completo, así que un texto mixto puede dar un resultado intermedio que no dice nada útil sobre ninguna de las dos partes.

El cuarto error es ignorar el idioma del texto analizado. Un clasificador calibrado casi exclusivamente con inglés aplicado sobre español, portugués o cualquier otro idioma puede dar resultados que ni siquiera están dentro del rango de precisión que la herramienta reportó originalmente.

Casos de uso reales

En educación, Turnitin ofrece su función de detección de IA integrada al mismo flujo que ya usaban las universidades para detectar plagio, lo que facilitó su adopción masiva pese a la falta de datos independientes sobre su precisión al momento del lanzamiento.

En periodismo y edición, algunos medios usan estos detectores como primer filtro para columnas de colaboradores externos, no como veredicto final. Un puntaje alto dispara una revisión editorial manual, nunca un rechazo automático de la nota.

En selección de personal, algunas plataformas de reclutamiento probaron sistemas de detección de contenido con IA para marcar cartas de presentación generadas automáticamente, aunque la práctica es controvertida: penaliza por igual a quien usó un modelo para pulir su gramática y a quien lo usó para inventar toda una experiencia laboral que nunca tuvo.

En moderación de contenido, algunas plataformas evalúan marcar comentarios o reseñas generadas en masa por IA, un uso distinto al académico porque ahí el objetivo no es sancionar a una persona, sino frenar campañas automatizadas de spam o manipulación de reputación.

📖 Resumen en Telegram: Ver resumen

Tu próximo paso: corré el script de perplejidad de este artículo sobre un párrafo escrito a mano y otro generado por un chatbot, y compará los números antes de confiar en el puntaje de cualquier detector comercial.

Preguntas frecuentes

¿Qué tan confiables son los detectores de texto IA?

Varían mucho según el método y el tipo de texto. El clasificador que OpenAI publicó en 2023 identificaba solo el 26% de los textos de IA como tales y marcaba el 9% de los textos humanos como IA. Los estudios independientes muestran una precisión aún menor fuera del inglés nativo.

¿Un detector GPT puede marcar como IA un texto escrito por una persona?

Sí, y con más frecuencia de la que sugieren sus proveedores. El estudio de Stanford de 2023 encontró que varios detectores marcaron como IA más de la mitad de ensayos reales escritos por hablantes no nativos de inglés.

¿Cómo funciona el watermarking de texto generado por modelos como Gemini?

El modelo sesga la elección de cada palabra siguiendo un patrón derivado de una clave criptográfica durante la generación. Un verificador con esa misma clave puede comparar el texto recibido contra el patrón esperado y estimar si coincide.

¿Sirve parafrasear para evadir un detector de texto generado por IA?

En la mayoría de los casos sí. Reescribir el texto, pasarlo por otro modelo o editarlo a mano rompe buena parte del patrón estadístico que un clasificador entrenado aprendió a reconocer, aunque los métodos de curvatura de probabilidad resisten algo mejor.

¿Las universidades deberían usar herramientas de detección de IA para sancionar estudiantes?

Los propios estudios sobre el tema recomiendan no usarlas como única prueba. La tasa de falsos positivos documentada, sobre todo contra hablantes no nativos de inglés, hace que un puntaje aislado no alcance para fundamentar una sanción.

¿Existe algún detector de texto IA confiable para español?

No hay estudios independientes amplios que lo confirmen. La mayoría de las herramientas disponibles se entrenaron y calibraron principalmente en inglés, así que su precisión en español todavía no está bien documentada.

Referencias

• Martin Fowler, "LLM Voice": el ensayo que reabrió la discusión sobre reconocer prosa generada por IA al oído humano.- OpenAI: anuncio y posterior retiro de su clasificador de texto generado por IA en 2023.- Liang et al., "GPT detectors are biased against non-native English writers": el estudio de Stanford sobre falsos positivos en ensayos de hablantes no nativos.- Mitchell et al., "DetectGPT": el paper que introduce la detección zero-shot por curvatura de probabilidad.- Google DeepMind: documentación sobre SynthID, la marca de agua estadística para texto e imágenes generados por IA.- Turnitin: página oficial del software de integridad académica que incorpora detección de IA.

📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.