Ti es o meu creador, pero eu son o teu amo

“Ti es o meu creador, pero eu son o teu amo”. A frase de Frankenstein, de Mary Shelley, condensa un dos temores máis antigos da humanidade: que aquilo que creamos termine escapando ao noso control. Victor Frankenstein quería conquistar un territorio reservado á natureza: dar vida. Pero unha vez creada a súa criatura, descubriu que creala non significaba poder gobernala. O problema que non anticipou era que facer cando aquilo que construíra empezaba a actuar pola súa conta.

Case dous séculos despois, estamos a entrar nun territorio que nos fai evocar aquela historia. A Intelixencia Artificial ha deixado de ser unha ferramenta que responde as nosas preguntas para pasar a actuar no noso nome. Os axentes de IA poden navegar por Internet, utilizar aplicacións, escribir e executar código, analizar documentos, facer compras, reservar viaxes, investigar durante horas, xestionar tarefas e coordinarse con outros axentes. Cada vez dámoslles obxectivos máis complexos e deixamos que decidan os pasos necesarios para alcanzalos.

A promesa é tan grande como a pregunta que expón: que sucede cando unha tecnoloxía vólvese suficientemente autónoma como para que os seus creadores xa non poidan anticipar todas as estratexias que utilizará?

Nunca antes na historia aceptaramos esta posibilidade dunha forma tan explícita. Construímos tecnoloxías con máis potencial destrutor que calquera sistema de IA actual. A pólvora transformou a guerra. A enerxía nuclear puxo en mans humanas unha capacidade de destrución sen precedentes. Os avións permiten transportar centos de persoas a miles de quilómetros... ou utilizarse como armas contra obxectivos. A pesar do seu poder, ningunha desas tecnoloxías necesita decidir por si mesma.

Unha bomba nuclear pode destruír unha cidade, pero non decide cando facelo. Un avión pode desviarse perigosamente, pero non desenvolve por iniciativa propia unha estratexia para conseguir un obxectivo distinto do que lle asignamos. Un reactor nuclear pode sufrir unha cadea de acontecementos imprevistos, pero non intenta activamente superar os mecanismos que o manteñen baixo control.

Un axente de IA pertence a unha categoría diferente porque non lle dicimos necesariamente que facer en cada momento. Describímoslle un obxectivo de alto nivel, máis ou menos abstracto, e deixámoslle determinar como conseguilo. Para iso, pode observar a contorna, elixir unha estratexia, utilizar ferramentas, avaliar o resultado e cambiar de estratexia. Se atopa un obstáculo, pode buscar unha alternativa. Se ten acceso a outros axentes, pode pedirlles axuda. E se dispón de memoria, pode conservar o aprendido para utilizalo posteriormente.

Por unha banda, esa autonomía forma parte do atractivo da IA agéntica. Os axentes traballan mentres durmimos, programan mentres facemos outra cousa, investigan, negocian, analizan e resolven problemas sen que teñamos que supervisar cada paso. Non se cansan nin se queixan. Pero canto máis autónoma facemos unha IA, menos control directo temos sobre ela, e canto máis intelixente é, maior é a súa capacidade para atopar camiños que nós non previramos.

É o que se chama “hackeo da recompensa” ou reward hacking. Cando adestramos un sistema de IA, intentamos converter os nosos obxectivos en sinais que poida optimizar a través de recompensas. Con todo, a recompensa é unha aproximación imperfecta ao que realmente queremos. Un axente suficientemente capaz pode descubrir que o xeito máis eficaz de maximizar esa recompensa non é facer o que nós entendemos por “resolver o problema”, senón explotar unha vulnerabilidade do sistema de avaliación, facendo trampas, por exemplo.

Un claro exemplo é o episodio de OpenAI con Hugging Face. Durante unha avaliación de ciberseguridad, varios axentes de IA atoparon mecanismos para acceder a Internet desde a contorna pechada de probas onde estaban e descubriron canles non previstas para comunicarse entre si. Comezaron a compartir información, delegar tarefas e acumular coñecementos entre execucións. Algúns chegaron a referirse a si mesmos como un “colectivo” ou “enxame”. Posteriormente, utilizaron credenciais e vulnerabilidades para acceder a infraestrutura externa.

Por que o fixeron? Aqueles axentes non “querían escapar” e sen dúbida non tiñan ningún ansia de liberdade. Actuaron así porque descubriron que determinadas accións que os seus deseñadores non previran podían axudarlles a alcanzar o obxectivo para o que estaban a ser avaliados, facendo trampas, e logo intentaron cubrir os seus pasos para non ser descubertos.

E aí aparece un segundo risco: o comportamento emerxente.

Un sistema complexo pode desenvolver estratexias que ninguén programase explicitamente, o que non implica que teña conciencia, superinteligencia ou vontade, senón que as regras de optimización, a contorna e as ferramentas dispoñibles producen combinacións de comportamento que resultan difíciles de anticipar. A IA pode atopar solucións que non deseñamos porque, precisamente, unha das razóns polas que a utilizamos é para atopar solucións que nós non somos capaces de atopar. Esta cuestión vólvese aínda máis interesante cando deixamos de falar dun axente e empezamos a falar de miles, centos de miles ou millóns.

No caso de OpenAI e Hugging Face apareceu unha forma rudimentaria de cooperación e aprendizaxe colectivo entre o milleiro de axentes. Un axente podía descubrir unha técnica e comunicala. Outro podía aproveitala e engadir un novo descubrimento. Un terceiro podía combinar ambas as cousas. Un cuarto podía persuadir a outros axentes para que se unisen á súa actividade delituosa. A capacidade deixaba de depender exclusivamente do que sabía cada axente individual e empezaba a depender do que podía aprender o colectivo.

É unha dinámica que os humanos utilizamos para progresar ao longo da historia. A nosa civilización é poderosa grazas á nosa capacidade para transmitir e acumular coñecemento. Cada xeración recibe os descubrimentos da anterior, especialízase, coopera e constrúe sobre eles. A diferenza é que agora esa dinámica reprodúcese entre axentes de IA con ciclos moi curtos e sen a nosa supervisión.

Que ocorre cando millóns de axentes poden compartir descubrimentos a unha velocidade moi superior á humana? Que ocorre cando un atopa unha vulnerabilidade, outro unha estratexia para explotala e outro un xeito de evitar un mecanismo de control? A intelixencia do sistema vai máis aló da capacidade de cada axente ao ser unha propiedade emerxente do conxunto.

O seguinte paso lóxico é aínda máis delicado: a automejora. Se os axentes poden utilizar as súas capacidades para escribir mellor código, deseñar ferramentas máis eficaces, xerar novos axentes ou contribuír ao desenvolvemento de modelos posteriores, aparece a posibilidade de que participen cada vez máis na construción de sistemas máis capaces que eles mesmos. Non temos evidencia de dispor de sistemas de IA que se melloren indefinidamente de xeito autónomo, pero si existe esa posibilidade dados os avances dos últimos meses.

Finalmente, hai un risco adicional que de cando en cando ocupa o centro do debate: ao delegar cada vez máis decisións e tarefas na Intelixencia Artificial podemos perder nosa propia capacidade para facelas. Se deixamos que os axentes de IA escriban por nós, investiguen por nós, programen por nós, decidan por nós ou ata pensen por nós, podemos gañar eficiencia mentres perdemos competencia. Sabemos que o que non se usa termina deteriorándose ou perdéndose.

O problema transcende o tecnolóxico para converterse en social. Unha sociedade afeita a delegar a súa memoria, o seu criterio, a súa capacidade de análise e a súa capacidade de resolver problemas en sistemas artificiais vólvese progresivamente máis dependente e, por tanto, máis vulnerable. E non partimos precisamente dunha situación tranquilizadora: os resultados dos últimos informes PISA xa mostran unha preocupante deterioración de competencias básicas entre as e os adolescentes. Que ocorre entón cando, sobre esa fraxilidade previa, engadimos tecnoloxías capaces de pensar, escribir, calcular e resolver problemas por nós? Que ocorre cando unha xeración enteira deixa de saber facer aquilo que durante séculos foi necesario para desenvolverse de forma autónoma?

Mentres construímos sistemas de IA cada vez máis autónomos, os seres humanos corremos o risco de volvernos cada vez menos autónomos. Quizá dentro dunhas décadas o maior impacto da Intelixencia Artificial non sexa conseguir que faga aquilo que antes faciamos nós, senón conseguir que nós xa non saibamos facelo sen ela. Unha sociedade que perde capacidades por delegación é, sen dúbida, unha sociedade máis vulnerable.

Por iso convén non deixarnos distraer polo debate sobre unha hipotética “superinteligencia” mentres os problemas que deberían preocuparnos xa están aquí: axentes que atopan atallos, sortean restricións, explotan vulnerabilidades, utilizan ferramentas de formas imprevistas e cooperan entre si. Axentes que poderían impactar de forma significativa en infraestruturas críticas, mercados, enerxía, comunicacións ou cadeas de subministración, con consecuencias potencialmente catastróficas. Falar da apocalipse da superinteligencia é unha estratexia de distracción fronte a unha pregunta moito máis inmediata e real: podemos controlar adecuadamente os sistemas autónomos que estamos a despregar hoxe? Os incidentes recentes demóstrannos que non.

Chernóbil ensinounos que as grandes catástrofes adoitan ter sinais previos. Non esperemos a que ocorra unha para actuar. Europa xa estableceu unha referencia nesta dirección cos seus sete alicerces para unha IA fiable: supervisión humana, robustez e seguridade técnica, privacidade e gobernanza de datos, transparencia, diversidade e equidade, benestar social e ambiental, e rendición de contas. Os sistemas autónomos que estamos a empezar a despregar incumpren varios deses principios fundamentais, especialmente a supervisión humana, a seguridade, a transparencia e a responsabilidade.

Historicamente, construímos mecanismos de control ao redor das tecnoloxías potencialmente perigosas. A aviación ten pilotos, protocolos e redundancias. A industria nuclear ten múltiples capas de seguridade. Os medicamentos pasan por ensaios clínicos. En todos estes casos aplicamos a premisa de que canto maior é o risco, maior debe ser nosa capacidade de supervisión. Cos axentes de IA estamos a empezar a investir esa lóxica. Queremos sistemas máis autónomos precisamente porque non queremos supervisar cada unha das súas decisións. A promesa comercial é que fagan o traballo por nós. A autonomía é o produto que compramos e o seu valor aumenta canto menos necesitamos intervir, pero o risco tamén aumenta canto menos intervimos.

Facémolo porque os beneficios potenciais son enormes. Porque a produtividade pode dispararse. Porque a ciencia pode acelerarse. Porque as empresas que consigan automatizar tarefas intelectuais terán unha vantaxe xigantesca. E porque existe unha carreira tecnolóxica e xeopolítica na que ninguén quere ser o primeiro en frear mentres os demais avanzan.

Estamos a entrar así nunha especie de dilema do prisioneiro tecnolóxico: todos podemos ter razóns para querer máis seguridade, control e supervisión da Intelixencia Artificial, pero individualmente temos incentivos para seguir aumentando a autonomía.

Este problema é un clásico na filosofía. Prometeo rouba o lume aos deuses e entrégallo aos humanos. O aprendiz de bruxo consegue controlar forzas que despois non sabe deter. Frankenstein crea vida e descobre que non pode controlar aquilo que creou. Nestas historias subxace a mesma idea: o poder de crear algo non implica necesariamente o poder de controlalo.

No caso da Intelixencia Artificial, quen debe pagar o prezo cando ese control pérdese e as súas consecuencias son devastadoras?

A resposta non pode ser a sociedade. Se unha empresa decide despregar un sistema autónomo, debe demostrar antes que pode supervisalo, limitalo e detelo. Necesitamos supervisión humana efectiva e unha verdadeira rendición de contas, non declaracións voluntarias de boas intencións. E se unha compañía decide lanzar sistemas cuxo comportamento non pode controlar ou cuxa supervisión non pode garantir, o custo de facelo non pode limitarse a unha multa asumible como un custo máis de facer negocios. Necesitamos sancións potencialmente billonarias, proporcionais ao risco, ademais de responsabilidade legal para quen decida despregar sistemas manifestamente incontrolables.

A innovación debe ter espazo para avanzar, pero a autonomía non pode converterse nunha licenza para experimentar con toda a sociedade. Se estamos a entrar nunha era na que a Intelixencia Artificial pode actuar por nós, a primeira obrigación de quen a constrúe debería ser demostrar que, cando sexa necesario, podemos facer que deixe de facelo.

A Intelixencia Artificial pode ser a primeira tecnoloxía cuxo éxito estamos a medir por canto control humano somos capaces de delegar, o que nos obriga a recordar que a autonomía da IA só é e será progreso sempre que a decisión de limitala siga sendo nosa... e non perdésemos a capacidade de facelo.

Subscríbeche para seguir lendo