Han, C., Manoharan, S., Ye, X., & Speidel, U. (2026). Phantom citations: An empirical study of non-existent and unverifiable references in scholarly literature. Journal of the Association for Information Science and Technology. https://doi.org/10.1002/asi.70104
La integridad de la comunicación científica depende en gran medida de la precisión de las referencias bibliográficas. Las citas permiten verificar las fuentes utilizadas, contextualizar nuevos hallazgos y facilitar la reproducibilidad de la investigación. Sin embargo, la rápida incorporación de herramientas de inteligencia artificial generativa en la redacción académica ha incrementado la preocupación por la aparición de referencias inexistentes o imposibles de verificar, conocidas como phantom citations o citas fantasma.
Estas referencias presentan una apariencia completamente legítima —con autores, títulos, revistas e incluso DOI— pero no corresponden a ninguna publicación real. El estudio de Han y colaboradores aborda este problema mediante dos preguntas fundamentales: si es posible desarrollar una herramienta automática y auditable capaz de detectar este tipo de referencias y cuál es la magnitud real del fenómeno en publicaciones científicas recientes relacionadas con la inteligencia artificial y la educación.
Los autores revisan la literatura previa sobre errores bibliográficos y demuestran que el problema de las referencias incorrectas precede a la aparición de la IA generativa. No obstante, destacan que los grandes modelos de lenguaje han introducido una nueva modalidad de error: la generación automática de referencias completamente inventadas pero altamente plausibles. Diversos estudios previos muestran que modelos como GPT-3.5, GPT-4 o Bard producen porcentajes significativos de citas fabricadas, mientras que investigaciones recientes han detectado miles de referencias inexistentes incluso en artículos ya publicados y sometidos a revisión por pares. Estas referencias falsas no solo dificultan la verificación de los trabajos, sino que pueden propagarse a través de nuevas publicaciones, contaminar las redes de citación, alterar indicadores bibliométricos y comprometer revisiones sistemáticas y metaanálisis.
Para afrontar este desafío, el artículo desarrolla una herramienta de verificación bibliográfica automatizada basada en un proceso de múltiples etapas. El sistema extrae automáticamente las referencias de los documentos PDF mediante GROBID y posteriormente verifica cada una utilizando varias fuentes bibliográficas internacionales, entre ellas Crossref, OpenAlex, Semantic Scholar y arXiv. La metodología combina la comprobación de DOI, la validación de URL, la comparación de títulos mediante algoritmos de similitud, la coincidencia de autores y la verificación de fechas de publicación. Además, todas las referencias que no pueden resolverse automáticamente son revisadas manualmente antes de ser clasificadas definitivamente como «no verificables». Esta estrategia permite reducir tanto los falsos positivos como los falsos negativos y proporciona un procedimiento transparente y reproducible para evaluar la autenticidad de las referencias bibliográficas.
La evaluación empírica constituye una de las aportaciones más relevantes del estudio. Los investigadores analizaron un corpus formado por 3.201 artículos científicos revisados por pares, publicados entre 2023 y 2025 en congresos relacionados con la inteligencia artificial aplicada a la educación e indexados en IEEE Xplore, ACM Digital Library y SpringerLink. Los resultados muestran que 69 artículos (2,16 %) contenían al menos una referencia imposible de verificar mediante el protocolo desarrollado. La distribución no fue homogénea entre congresos: algunos presentaban porcentajes muy reducidos mientras que otros alcanzaban cifras superiores al 12 %. Asimismo, los autores observaron un incremento temporal preocupante, ya que los artículos con referencias no verificables pasaron del 0,73 % en 2023 al 3,61 % en 2025, aunque advierten que parte de este aumento puede deberse a diferencias entre las sedes de publicación analizadas.
El trabajo incluye además un estudio de caso que ilustra cómo una referencia generada por IA puede parecer completamente auténtica pese a no existir realmente. En el ejemplo analizado, el DOI no resolvía ningún registro, el título no aparecía en Google Scholar ni en IEEE Xplore y, aunque la revista citada era real, el artículo mencionado nunca había sido publicado. Este tipo de referencias suele construirse combinando patrones extraídos de publicaciones auténticas, lo que dificulta enormemente su detección durante la revisión editorial y aumenta el riesgo de que pasen inadvertidas para autores, revisores y editores.
Para validar la eficacia de su sistema, los autores compararon su herramienta con Hallucinator, uno de los programas de código abierto más conocidos para detectar referencias alucinadas. Sobre un conjunto de prueba formado por 731 referencias pertenecientes a 37 artículos, el sistema propuesto obtuvo una precisión del 92,9 %, un recall del 93,1 % y un F1 del 93 %, superando a Hallucinator en precisión y equilibrio global. Además, el nuevo sistema completó el análisis en apenas 13 minutos, frente a los 351 minutos requeridos por Hallucinator en su configuración estándar, lo que representa una mejora muy significativa tanto en rendimiento como en eficiencia computacional.
En la discusión final, los autores sostienen que la presencia de referencias imposibles de verificar constituye un nuevo desafío para la integridad científica. Argumentan que el fenómeno responde a una combinación de factores: la presión por publicar, la utilización creciente de herramientas de IA para redactar manuscritos, las limitaciones del proceso tradicional de revisión por pares y la falta de comprobación sistemática de las bibliografías. Como consecuencia, proponen incorporar procedimientos automáticos de verificación de referencias en los flujos editoriales de revistas y congresos, así como fomentar entre investigadores y revisores una cultura de comprobación rigurosa de todas las citas antes de la publicación. El estudio concluye que, aunque el porcentaje de artículos afectados todavía es relativamente reducido, la tendencia observada justifica el desarrollo de nuevas herramientas y protocolos que preserven la fiabilidad de la comunicación científica en la era de la inteligencia artificial.