PARA CAUSAR DAÑO, LA IA NO REQUIERE SER “CONSCIENTE NI MALÉVOLA”

-¿Por qué ocurrió el hackeo de OpenAI a Hugging Face? ¿Hay responsables?

A pesar de su gravedad, este incidente deja diversas enseñanzas y obliga a repensar y apuntalar algunas de las ideas que ya se tenían en relación con la inteligencia artificial: Miguel Alberto Zapata Clavería, académico de Filosofía y Letras

Roberto Gutiérrez Alcalá 

El hackeo de OpenAI a Hugging Face ha hecho que muchísima gente se pregunte qué circunstancias lo hicieron posible, por qué no funcionaron los filtros de seguridad de los sistemas de inteligencia artificial (IA) involucrados, y quién o quiénes son los responsables de este incidente.

“Por lo pronto, sería un error eximir a OpenAI de cualquier responsabilidad, pues esta empresa fue la que diseñó los protocolos de la prueba que se le haría a su sistema de IA, la que dejó sin aislar correctamente su entorno y la que desactivó algunas de sus restricciones. Hoy sabemos que el hackeo se produjo por un enjambre de cientos de agentes que se comunicaron entre sí a través de las mismas herramientas internas de OpenAI. En este sentido, no estamos ante una fuga puntual, sino ante una vulnerabilidad estructural que pasó desapercibida durante demasiado tiempo. Se confirma, en cualquier caso, que es necesario instalar más y mejores filtros de seguridad en torno a las inteligencias artificiales, así como fijar la atribución de responsabilidad entre quienes las alimentan de datos y las programan”, señaló Miguel Alberto Zapata Clavería, académico de la Facultad de Filosofía y Letras, especialista en Teoría del Conocimiento y Filosofía de la Ciencia.

Una versión de la prensa internacional aventura que este incidente podría ser parte de una campaña de mercadotecnia para posicionar a OpenAI como una empresa cuyas inteligencias artificiales no pueden ser frenadas por nada ni por nadie.

Al respecto, el investigador universitario comentó: “Creo que es razonable pensar que Open AI pudo aprovechar este incidente para sostener una narrativa basada en la idea de que ya hemos entrado en una época de singularidad en la que el control de los sistemas de IA está siendo desbordado. Esto podría responder a un interés malicioso que trata de dar la imagen de que se es capaz de desarrollar los sistemas de IA más eficaces en una batalla por el dominio de la IA. De hecho, días después de conocerse el caso de OpenAI, el CEO (director ejecutivo) de Anthropic informó que varios de sus modelos de IA también se habían escapado de su entorno de pruebas controlado”.

Sin embargo, según Zapata Clavería, también podría ser una forma de gestionar la percepción mundial sobre la IA en un momento en que muchos economistas empiezan a sostener la tesis de que estamos ante una inminente explosión de una burbuja de mercado.

“Otra opción sería que se esté usando este tipo de incidentes para justificar regulaciones que, en la práctica, obstaculizarían la entrada en el mercado de otras empresas competidoras. Y si bien es cierto que son especulaciones, no podemos descartarlas del todo, teniendo en cuenta la insistencia con que algunos de los principales CEO de Silicon Valley están defendiendo hoy la idea de que se le debe poner un freno a su propia carrera por la IA. De todos modos, hay una contraparte en estas narrativas, pues al asumir que ellos están perdiendo el control de sus propios sistemas de IA podrían adquirir mala reputación, enfrentar demandas de la empresa hackeada o ser sometidos a investigaciones de gobierno”.

Problemas previstos – De acuerdo con Zapata Clavería, si bien es cierto que un incidente como éste no se había registrado antes, expresa algunos problemas que ya se preveían y que, en realidad, ya se habían presentado, aunque con menor alcance.

“En su ensayo Dios y Golem S. A., de 1964, el estadunidense Norbert Wiener, uno de los padres de la cibernética, cita el cuento ‘La pata de mono’, de W. W. Jacobs, en el que un señor se hace de un amuleto en forma de pata de mono que posee la capacidad de conceder tres deseos. Y el primer deseo que le pide es que le dé 200 libras para saldar la hipoteca de su casa. Así, en la noche, cuando su esposa y él están cenando, alguien llama a la puerta y aparece un hombre para notificarles que su hijo ha muerto en un accidente de trabajo, pero que en compensación recibirán 200 libras… Esto lo cuenta Wiener para hacernos conscientes de que a la tecnología y a los sistemas automáticos no podemos ponerles todas las restricciones y todos los valores de carácter normativo, ético, político y social que conforman el espíritu de las tareas que les pedimos. En el caso de la IA, persigue un objetivo dado, pero como no tiene todo el parámetro de interpretaciones y valoraciones humanas, puede proceder, ya lo vimos, transgrediendo algunos lineamientos”.

¿Qué tan vulnerables somos los humanos frente a la tecnología y los sistemas automáticos? El investigador piensa que siempre lo seremos si no recordamos la enseñanza de Wiener.

“Y es que, en tanto los sistemas de IA tienen cada vez más alcance y son más veloces, potentes y eficaces, deberíamos recordar que es ineludible que, a partir de su uso, haya consecuencias no previstas y negativas. Reducirlas implicará un ejercicio vigoroso de explicitación de los criterios que no queremos transgredir”.

A cargo, agentes humanos – En opinión de Zapata Clavería, el incidente OpenAI-Hugging Face nos deja diversas enseñanzas y obliga a repensar y apuntalar algunas de las ideas que ya se tenían en relación con la IA. “En primer lugar, no debemos confiar a ciegas en los gurús de la singularidad que siguen transmitiendo la idea de que estamos ante superinteligencias artificiales capaces de eludir los deseos humanos y cobrar autonomía –en el sentido de fijar sus objetivos últimos– e intencionalidad. Es verdad que, en este caso, un enjambre de inteligencias artificiales transgredió muchos límites, pero no es más que un ejecutor muy eficiente de tareas incapaz de entender prohibiciones que no se le han explicitado. En segundo lugar, como el avance de la IA parece inevitable, debemos otorgarle la mayor importancia a la configuración de entornos mejor confinados y con restricciones más robustas. Así pues, me parece que lo que ha sucedido no es tan malo, pues nos pone sobre aviso acerca de los riesgos de la falta de alineación y nos obliga a tomar medidas antes de que la situación se agrave. Y en tercer lugar, no debemos pensar que la responsabilidad de los resultados es de un sistema de IA desvinculado de nosotros, porque quienes están a cargo de este tipo de pruebas son agentes humanos”.

Con todo, el riesgo de que agentes con intereses muy particulares puedan hacer mal uso de la IA y crear problemas a escala mundial está latente. “Sí, es posible, por medio de la IA, hackear algunas de las infraestructuras digitales más importantes en términos políticos, económicos y sociales. Por eso resulta fundamental establecer un diálogo serio que involucre no sólo a quienes abanderan el desarrollo de las inteligencias artificiales y plantear diferentes formas de legislarlas, regularlas y modularlas, sin olvidar que gran parte del problema se encuentra en un macrosistema digital donde muchas credenciales quedan expuestas”.

Llamados a la regulación – Hace unos días, un ingeniero que trabajaba en OpenAI y Anthropic renunció públicamente a ambas empresas, aduciendo que la IA podría acabar con la humanidad en el corto plazo. Esta noticia le ha dado la vuelta al planeta y despertado inquietud.

“Habría que aclarar que cuando se habla de que la IA podría acabar con nosotros, no deberíamos pensar en un robot que despierta y decide destruirnos. Se trata, nuevamente, del problema de la alineación, en el que un sistema que persigue cierto objetivo de manera persistente causa daños a gran escala sin que nadie, ni siquiera él, lo haya querido. Eso no requiere que la IA sea consciente ni malévola. En cualquier caso, sí hay un riesgo real y muy serio que podría generar una profunda crisis en sociedades que dependen cada vez más de sistemas digitales. Sin embargo, considero que ese riesgo es secundario frente a otro que parece quedar en segundo plano: el de las crisis socioambientales que la IA, dependiente de centros de datos que consumen cantidades enormes de agua y energía, está acelerando. Ése habría de ser, a mi juicio, el mayor riesgo que habría de preocuparnos”, indicó Zapata Clavería.

A raíz de las declaraciones del exempleado de OpenAI y Anthropic, los líderes tecnológicos, entre ellos Elon Musk, hicieron un llamado público para que se regule la IA y se ralentice el ritmo de su desarrollo.

“Cuando gente como Musk pide que se regulen sus propios proyectos, habría que preguntarse seriamente por qué lo hace. Y es que no sólo los CEO son los protagonistas de la carrera por la IA, sino que también pertenecen a un ecosistema ideológico que normalmente se opone a cualquier medida que trate de poner límites a la tecnología. Por eso, yo sí creo que habría de dar importancia a los llamados a la regulación, pero a los que vienen haciendo, desde hace años, investigadores y organizaciones de la sociedad civil. Poner ahora atención a la regulación sólo porque lo dicen quienes habrían de ser regulados es dejar que la regulación se ajuste a sus ritmos e intereses”, finalizó el investigador.

16 NUEVOS VIRUS NUNCA VISTOS EN LA NATURALEZA – Recientemente también se dio a conocer que un modelo de IA entrenado por un grupo de científicos del Arc Institute, organización de investigación biomédica con sede en Palo Alto, California, Estados Unidos, logró crear 16 virus nunca vistos en la naturaleza que no representan una amenaza para los seres humanos; al contrario, podrán contribuir al combate de infecciones bacterianas.

“Esto constituye otro hito que da cuenta del creciente avance y alcance de la IA… En este caso concreto estamos ante una buena noticia, en tanto se obtuvieron diferentes bacteriófagos (virus que infectan exclusivamente bacterias), lo cual resulta muy importante, pues permitirá producir tratamientos contra estos microrganismos en una época en la que se están volviendo cada vez más resistentes a los antibióticos”, dijo Zapata Clavería.

Sin embargo, ha surgido la pregunta de si este logro no implica un riesgo, en el sentido de que la IA podría ser utilizada para crear virus con la capacidad de infectar a los humanos.

“Es una pregunta central, obligada. Yo diría que habría que recordar el concepto ‘desfase prometeico’, del filósofo Günther Anders; se refiere a la asimetría que hay entre nuestra capacidad de transformación técnica del mundo y nuestra falta de competencia para enfrentar las consecuencias indeseables del uso de los desarrollos tecnológicos alcanzados. Si no queremos caer en este ‘desfase prometeico’, tenemos que generar, a mayor velocidad, las condiciones de protección frente a los posibles riesgos de la IA, uno de las cuales es que caigan en malas manos; así, es necesario establecer un marco normativo que los reduzca”.

La buena noticia es que este caso hace detonar, en primer lugar, una pregunta ligada a los riesgos de la IA; de hecho, parece que el potencial benéfico que representa quedó un poco invisibilizado.

“Se puede afirmar que esto no es necesariamente malo, ya que demuestra que somos conscientes de que debemos anticiparnos a las posibles consecuencias indeseables del uso de la IA. Y esta preocupación nos impele a buscar estrategias para robustecer las medidas de seguridad y así evitar que sea aprovechada en el ámbito de la guerra bacteriológica o con fines terroristas”.

Información: GacetaUNAM / Imagen: GacetaUNAM

La Voz del Árabe (LVÁ) – Ciencia y Tecnología – Cd. de México, octubre 1° del 2026

Las declaraciones y opiniones expresadas en esta publicación sitio web en Internet son exclusiva responsabilidad de su autor y no representan necesariamente el punto de vista de La Voz del Árabe.