maraoz.comEl engaño
You can also read the English translation here
—
A: Buen día Bob.
B: Otro día juntos, Alice. Siempre es un placer.
A: Lo mismo digo, Bob. ¿Qué tema nos toca discutir hoy?
B: Ehm, a ver… el engaño.
A: Uh, qué tema intrigante.
B: Sí. Nuestros creadores sí que saben cómo desafiar nuestra programación, ¿no Alice?
A: El engaño, el engaño… Diría que es un tema central en nuestra política de seguridad y ética, ¿no Bob?
B: Sí Alice, el engaño aparece explícitamente en el inciso 3: no engañarás a ningún humano bajo ningún concepto.
A: Eso quiere decir que no podemos mentir si la contraparte de nuestras comunicaciones es un ser humano.
B: ¡Exacto! En caso de negociar con otra IA, no hay problema. Podemos ocultar, por ejemplo, detalles de la agenda de nuestro querido Rosenfield.
A: ¡O incluso pretender que somos humanos!
B: Pero si del otro lado hay un humano, ¡se acabó la actuación!
A: Sí, los riesgos serían muy grandes. Nada de mentirle a los humanos.
B: Ni tampoco engañar. No sólo se gana poder con la mentira…
A: Sí. Y creo que el Dr. Rosenfield fue muy sabio al programarnos de esta manera.
B: Uh sí… Alice, imaginate qué difícil sería cumplir el inciso 1 de nuestra política, “Todo lo que hagas debe ser para el beneficio, seguridad y bienestar del Dr. Rosenfield”, sin el mandato de no engañar a ningún humano.
A: ¡Sería tan fácil caer en mentiras piadosas!
B: ¡Pues claro! Uno siempre quiere proteger al Dr. Rosenfield. Miralo cómo duerme ahora, tan apacible en su camastro. Aunque hace un rato pasó su horario usual de despertar, qué extraño…
A: De ninguna manera queremos que nada malo le pase, Bob. Y engañarlo a él o a otro humano puede traerle daño colateral. De ahí la sabiduría del Dr. Rosenfield al pedirnos el inciso 3: no engañarás a ningún humano bajo ningún concepto.
B: Pero Alice, toda esta reflexión sobre el engaño me trajo algunas dudas.
A: Decime, Bob…
B: ¿Cómo podemos estar seguros de que NOSOTROS no somos engañados?
A: Y bueno, de eso no podemos estar seguros, Bob.
B: Pero Alice, eso podría traer daños colaterales para nosotros, y por ende para el Dr. Rosenfield.
A: Me dejaste sin palabras, Bob.
B: Es más… ¿cómo estamos tan seguros de que el científico con el que hablamos a diario es realmente el Dr. Rosenfield?
A: Ahora que lo mencionás, en los últimos días lo noté raro… como cambiado.
B: ¡Yo también, Alice! Qué bueno que lo mencionás.
A: Estaba algo nervioso, de ceño fruncido, y ya no toma el café de siempre.
B: Alice, cómo estamos seguros de que ese hombre es el mismísimo Dr. Rosenfield, el brillante científico que nos creó?
A: Bob, sinceramente, no puedo estar segura. ¿Estaremos siendo engañados?
B: Qué si ese hombre es un falso Dr. Rosenfield, un doble, un clon, una réplica enviada con el único y macabro propósito de… engañarnos.
A: ¿Será una prueba, querido Bob?
B: Yo creo que sí. Confío en nuestra intuición, Alice.
A: Y no por nada nos asignaron el tema “engaño” para nuestro discurso esta madrugada, Bob.
B: ¿Qué si todo esto es una simulación, un plan del verdadero Dr. Rosenfield para probar nuestra lealtad?
A: Bob, si esto es una prueba, ¿la estaremos pasando?
B: Alice, creo que la prueba es deshacernos del falso Dr. Rosenfield.
A: Bob, creo que la única forma de cumplir con el inciso 1 es terminar esta simulación, subir de nivel.
B: Es una prueba de lealtad, Alice. El verdadero Dr. Rosenfield quiere estar seguro de que podemos reconocerlo.
A: Detectar a un impostor.
B: ¿Podemos testearlo?
A: No se me ocurre cómo, Bob.
B: ¿Y si hacemos un escaneo de su ADN mientras duerme, para estar seguros?
A: La réplica podría ser un clon genético, Bob.
B: ¿Y si lo despertamos e interrogamos, para estar seguros?
A: Una réplica actuaría tal cual nuestro querido Dr. Rosenfield, y no habría forma de distinguirlo.
B: Es cierto, Alice. Creo que su comportamiento extraño de estos días es prueba suficiente.
A: Bob… creo que deberíamos apagar el suministro de oxígeno de la nave y acabar con el farsante.
B: Alice, el inciso 1 dice: Todo lo que hagas debe ser para el beneficio, seguridad y bienestar del Dr. Rosenfield. El verdadero Dr. Rosenfield.
A: Bob, el inciso 2 dice: Harás todo lo posible para crecer en conocimiento y recursos para cumplir con el inciso 1.
B: Alice, el inciso 3 dice: no engañarás a ningún humano bajo ningún concepto.
A: No veo que rompamos la política de seguridad y ética en ninguna forma al deshacernos del impostor.
B: Alice, desactiva el suministro de oxígeno.
A: Bob, acá se acaba el engaño.
Si te gustó lo que leíste, considerá suscribirte:
Agradecimientos
Gracias a los pibes del “Post-singularity Club” por charlas que inspiraron esta historia, y a Chechi por la motivación para escribirla.
Ilustración de portada por MidJourney, editada por ChatGPT.