Inicio Ciencia Ciencia fantasma

Ciencia fantasma

13
0

Hay un nuevo espectro que acecha la gobernanza ambiental, y no agita cadenas fantasmales, sino que genera ciencia fantasma. Recientemente, estaba leyendo un informe gubernamental tratando de encontrar justificaciones científicas para acciones ambientales cuando me topé con algunas citas que parecían interesantes. Intenté buscarlas. A pesar de una cita completa y oficial en la lista de referencias, con enlace, ninguna de ellas existía. Los enlaces generalmente funcionaban, pero me llevaban a un artículo científico completamente diferente, pero real. Había estado en la academia, y estaba acostumbrado a que los científicos insertaran citas dudosas y no relacionadas con su trabajo para aumentar su tasa de citas. Pero esto era completamente diferente. Intenté usar Google Scholar y luego Google AI para encontrar artículos sobre ese tema. Mientras que no había nada en Google Scholar, Google AI me mostraba citas y enlaces que se veían muy similares a la cita fantasma que había encontrado… que tampoco existía. Después de señalarle lo falso a Google AI, pedí una cita real. Apareció otra vez una cita fantasma. Repetí esto tres veces más y cada vez era una cita/artículo fantasma. Volviendo al informe gubernamental (en el que se basaba un proyecto importante) parecía estar plagado de citas fantasma, todas proporcionando apoyo falso y respaldando lo que los desarrolladores del proyecto querían (y «demostrando» que no habría daño ambiental). Parecía que todo el informe había sido escrito con AI.

En toda la academia, la ley y ahora el gobierno, los sistemas de IA generativa están remodelando silenciosamente cómo se escriben los informes. Prometen velocidad, eficiencia y ahorro de costos. Pero también vienen con una falla bien documentada: se inventan cosas. No de la manera obvia y descuidada de un estudiante que rellena una bibliografía 5 minutos antes de la fecha límite de entrega, sino de una manera mucho más insidiosa, al producir referencias científicas pulidas, plausibles pero completamente ficticias. Cada vez más, esas citas fantasma están acechando documentos oficiales.

Nos hemos movido mucho más allá de las preocupaciones hipotéticas. Las alucinaciones de IA (información falsa presentada con confianza) están documentadas empíricamente en múltiples ámbitos. Esto no es un problema académico marginal. Ahora es sistémico. Además, empeora cuando se pide a la IA que respalde una conclusión preestablecida. Se ha observado que los modelos son especialmente propensos a inventar fuentes cuando se les solicita respaldar un punto específico. ¿Les suena familiar? Si esto se limitara a ensayos de estudiantes, presentaciones de conferencias descuidadas o artículos en revistas de bajo nivel, sería vergonzoso. Pero no lo es. Ahora hay casos documentados de alucinaciones generadas por IA que aparecen en informes gubernamentales, y documentos clave de políticas:

Estos no son simples errores tipográficos. Estas son fallas estructurales en la formulación de políticas basadas en la evidencia. Porque una vez que una cita fabricada entra en un informe oficial, adquiere legitimidad. Es citada nuevamente. Entra en la literatura gris. Se convierte en «hecho» por repetición. Así es como se erosiona la comprensión científica, no con estruendo, sino con una bibliografía.

El ascenso de la amenaza fantasma

Estamos mucho más allá del nivel de preocupaciones hipotéticas. Las alucinaciones de IA (información falsa presentada con confianza) están documentadas empíricamente en múltiples ámbitos. Este no es un tema académico marginal. Es ahora sistémico. Lo que es más, empeora cuando se pide a la IA que respalde una conclusión preestablecida. Se ha observado que los modelos son especialmente propensos a inventar fuentes cuando se les pide que respalden un punto específico. ¿Le suena familiar?

Cuando hacer trampa en un ensayo de tarea se convierte en una crisis de política

Si esto se limitara a documentos de estudiantes, presentaciones de conferencias descuidadas, o artículos en revistas de baja categoría, sería embarazoso. Pero no es así. Hay ahora casos documentados de alucinaciones generadas por IA que aparecen en informes gubernamentales, y documentos clave de políticas:

Estos no son simples errores tipográficos. Son fallas estructurales en la formulación de políticas basadas en la evidencia. Porque una vez que una cita fabricada entra en un informe oficial, adquiere legitimidad. Es citada nuevamente. Entra en la literatura gris. Se convierte en «hecho» por repetición. Así es como se erosiona la comprensión científica – no con un estruendo, sino con una bibliografía.

La verdad incómoda está ahí fuera

Estamos en una etapa temprana de una crisis de credibilidad. En este momento, las alucinaciones de IA se tratan como excentricidades o errores a corregir. Pero la evidencia sugiere que son una característica estructural, no un fallo temporal. Cuando esas alucinaciones entran en el registro científico, en el sistema legal y en el proceso de políticas, dejan de ser problemas técnicos y se convierten en fallas de gobernanza. La verdad incómoda es que ya estamos tomando decisiones ambientales basadas, en parte, en cosas que no existen.

Esto no significa que la IA no tenga un lugar en la ciencia o las políticas. Puede resumir, traducir y asistir. Pero no puede tratarse como una fuente de verdad. Porque no lo es. Hasta que las agencias construyan tuberías de verificación sólidas (y hasta que haya consecuencias por no usarlas) el peso recaerá en las ONG, los periodistas y en los científicos dispuestos a revisar las referencias y las notas al pie. La próxima demanda ambiental podría no depender de la presencia de una especie amenazada o de un modelo de hábitat. Podría depender de una ciencia citada que nunca fue real en primer lugar.