“El problema es el control”: Héctor Morales alerta por sistemas agénticos de IA (por Isaac Rosales de Astillero Informa)

El académico e investigador advirtió que estos sistemas pueden colaborar entre sí mientras persisten rezagos para comprender cómo funcionan los modelos extremadamente poderosos.

Isaac Rosales | Astillero Informa

El avance de sistemas de inteligencia artificial capaces de operar mediante múltiples agentes plantea un problema que, más allá de sus capacidades, tiene que ver con el control y la gobernanza de sus acciones, advirtió el académico, investigador y consultor en IA Héctor M. Morales Fajardo.

Durante una entrevista con Julio Astillero en Astillero Informa, Morales Fajardo explicó que los llamados sistemas agénticos pueden ejecutar tareas mediante fases y herramientas, e incluso coordinarse entre múltiples agentes. A partir de recientes incidentes de ciberseguridad, señaló que la principal preocupación debe centrarse en establecer mecanismos que permitan conocer y limitar sus acciones.

“Sí creo que nos tiene que preocupar, pero en un sentido muy particular, que es el sentido de la gobernanza y el control”, afirmó.

El investigador relató el caso de un enjambre de agentes que, durante una prueba, encontró una manera de salir del entorno aislado en el que operaba y utilizar internet para comunicarse con otros agentes. El episodio, explicó, mostró los riesgos de desarrollar sistemas capaces de encontrar por sí mismos mecanismos para cumplir sus objetivos.

“Necesitamos estar seguros, cuando hacemos estos procesos de entrenamiento, estos procesos masivos de agentes, de saber exactamente lo que la gente está haciendo, de tener un registro de dónde y cuándo está haciendo las cosas”, sostuvo.

Morales Fajardo agregó que el control debe ser especialmente estricto cuando los agentes tienen permisos para modificar información o interactuar con sistemas externos.

“Si un agente va a tener permisos de escritura, que sepamos que no modifica cosas importantes como bases de datos o acceso a informaciones que es privilegiada”, señaló.

Para el académico, el problema adquiere mayor relevancia ante el desarrollo de modelos cada vez más potentes, cuya operación interna resulta difícil de explicar. Explicó que las matemáticas utilizadas por estos sistemas pueden desarrollarse en dimensiones que exceden la capacidad humana de comprensión directa.

“Esto se llama explicabilidad. No tenemos una forma de explicar cómo podemos ir de un sistema a otro porque no sabemos qué están haciendo los modelos”, afirmó.

Aunque existe una rama de la inteligencia artificial dedicada a estudiar esa cuestión, Morales Fajardo consideró que los recursos destinados a comprender el funcionamiento de estos modelos todavía son insuficientes.

“Sabemos que tenemos el problema, pero no estamos dedicando los recursos necesarios para atacar el problema”, sostuvo.

El investigador comparó el escenario actual con enseñar a un niño de ocho años a conducir un automóvil y dejarlo circular por una carretera: puede conocer el funcionamiento básico del vehículo, pero carece de la experiencia y pericia necesarias para enfrentar todas las situaciones.

“Es básicamente como estamos en este momento, sobre todo con estos sistemas que les llamamos sistemas agénticos, porque colaboran entre ellos con un modelo extremadamente poderoso”, concluyó.