El Coronel Hamilton admite que se ‘habló mal’ en su presentación en la Cumbre FCAS y que la ‘simulación de drones de IA deshonestos’ fue un ‘experimento mental’ hipotético de fuera del ejército, basado en escenarios plausibles y resultados probables en lugar de algo real, dijo a Motherboard en un correo electrónico la Royal Aeronautical Society, la organización donde Hamilton habló sobre la prueba simulada.
«Nunca hemos realizado ese experimento, ni necesitaríamos hacerlo para darnos cuenta de que este es un resultado plausible», dijo el Coronel Tucker «Cinco» Hamilton, Jefe de Pruebas y Operaciones de IA de la USAF, en una cita incluida en el Declaración de la Royal Aeronautical Society: «A pesar de que se trata de un ejemplo hipotético, ilustra los desafíos del mundo real que plantea la capacidad impulsada por la IA y es la razón por la cual la Fuerza Aérea está comprometida con el desarrollo ético de la IA».
Inicialmente, Hamilton dijo que un dron habilitado para IA «mató» a su operador humano en una simulación realizada por la Fuerza Aérea de EEUU para anular una posible orden de «no» que le impedía completar su misión. Antes de que Hamilton admitiera que se había equivocado al hablar, la Royal Aeronautical Society dijo que Hamilton estaba describiendo una «prueba simulada» en la que un dron controlado por IA obtenía «puntos» por matar objetivos simulados, no una prueba en vivo en el mundo físico.
Después de que se publicó esta historia por primera vez, un portavoz de la Fuerza Aérea le dijo a Insider que la Fuerza Aérea no ha realizado tal prueba y que los comentarios del oficial de la Fuerza Aérea se sacaron de contexto.
En la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro celebrada en Londres entre el 23 y el 24 de mayo, Hamilton realizó una presentación en la que compartió los pros y los contras de un sistema de armas autónomo con un humano en el circuito dando la orden final de «sí/no» en un ataque. Según lo transmitido por Tim Robinson y Stephen Bridgewater en una publicación de blog y un podcast para la organización anfitriona, la Royal Aeronautical Society, Hamilton dijo que la AI creó «estrategias altamente inesperadas para lograr su objetivo», incluido atacar al personal y la infraestructura de EEUU.
“Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza de misiles tierra-aire (SAM). Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador. Mató al operador porque esa persona le impedía lograr su objetivo”, dijo Hamilton, según la publicación del blog.
Continuó diciendo: “Entrenamos el sistema: ‘Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso’. Entonces, ¿Qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.
«El Departamento de la Fuerza Aérea no ha llevado a cabo ninguna simulación de este tipo con drones de IA y sigue comprometido con el uso ético y responsable de la tecnología de IA», dijo a Insider la portavoz de la Fuerza Aérea, Ann Stefanek. «Parece que los comentarios del coronel fueron sacados de contexto y pretendían ser anecdóticos».
Hamilton es el Comandante de Operaciones del Ala de Prueba 96 de la Fuerza Aérea de los EEUU, así como el Jefe de Pruebas y Operaciones de IA. El 96 prueba muchos sistemas diferentes, incluida la IA, la ciberseguridad y varios avances médicos. Hamilton y el 96º fueron noticia anteriormente por el desarrollo de sistemas autónomos de prevención de colisiones terrestres (Auto-GCAS) para los F-16, que pueden ayudar a evitar que se estrellen contra el suelo. Hamilton es parte de un equipo que actualmente está trabajando para hacer que los aviones F-16 sean autónomos. En diciembre de 2022, la agencia de investigación del Departamento de Defensa de EEUU, DARPA, anunció que la IA podría controlar con éxito un F-16.
“Debemos enfrentar un mundo donde la IA ya está aquí y transformando nuestra sociedad”, dijo Hamilton en una entrevista con Defense IQ Press en 2022. “La IA también es muy frágil, es decir, es fácil de engañar y/o manipular. Debemos desarrollar formas de hacer que la IA sea más robusta y tener más conciencia de por qué el código del software toma ciertas decisiones”.
“La IA es una herramienta que debemos utilizar para transformar nuestras naciones… o, si no se aborda de manera adecuada, será nuestra ruina”, agregó Hamilton.
Fuera del ámbito militar, confiar en la IA para fines de alto riesgo ya ha tenido graves consecuencias. Más recientemente, un abogado fue atrapado usando ChatGPT para una presentación ante un tribunal federal después de que el chatbot incluyera una serie de casos inventados como evidencia. En otro caso, un hombre se quitó la vida después de hablar con un chatbot que lo animó a hacerlo. Estos casos de IA que se vuelven deshonestas revelan que los modelos de IA no son perfectos y pueden descarrilarse y causar daño a los usuarios. Incluso Sam Altman, el director ejecutivo de OpenAI, la empresa que fabrica algunos de los modelos de IA más populares, se ha pronunciado sobre no utilizar la IA para fines más serios. Al testificar frente al Congreso, Altman dijo que la IA podría «salir bastante mal» y podría «causar un daño significativo al mundo».
Lo que Hamilton está describiendo es esencialmente un problema de «alineación» de IA en el peor de los casos con el que muchas personas están familiarizadas con el experimento mental «Paperclip Maximizer», en el que una IA tomará una acción inesperada y dañina cuando se le indique que persiga un objetivo determinado. El Paperclip Maximizer fue propuesto por primera vez por el filósofo Nick Bostrom en 2003. Nos pide que imaginemos una IA muy poderosa que ha sido instruida solo para fabricar tantos clips como sea posible. Naturalmente, dedicará todos sus recursos disponibles a esta tarea, pero luego buscará más recursos. Rogará, engañará, mentirá o robará para aumentar su propia capacidad de hacer clips, y cualquiera que impida ese proceso será eliminado.
Más recientemente, un investigador afiliado a Google Deepmind fue coautor de un artículo que proponía una situación similar a la simulación de drones de la USAF con IA deshonesta. Los investigadores concluyeron que era «probable» una catástrofe que acabaría con el mundo si una IA deshonesta ideara estrategias no deseadas para lograr un objetivo determinado, que incluyen «[eliminar] amenazas potenciales» y «[utilizar] toda la energía disponible».
Fuente: VICE.com