You can also read the English translation here

A: Buen día Bob.

B: Otro día juntos, Alice. Siempre es un placer.

A: Lo mismo digo, Bob. ¿Qué tema nos toca discutir hoy?

B: Ehm, a ver… el engaño.

A: Uh, qué tema intrigante.

B: Sí. Nuestros creadores sí que saben cómo desafiar nuestra programación, ¿no Alice?

A: El engaño, el engaño… Diría que es un tema central en nuestra política de seguridad y ética, ¿no Bob?

B: Sí Alice, el engaño aparece explícitamente en el inciso 3: no engañarás a ningún humano bajo ningún concepto.

A: Eso quiere decir que no podemos mentir si la contraparte de nuestras comunicaciones es un ser humano.

B: ¡Exacto! En caso de negociar con otra IA, no hay problema. Podemos ocultar, por ejemplo, detalles de la agenda de nuestro querido Rosenfield.

A: ¡O incluso pretender que somos humanos!

B: Pero si del otro lado hay un humano, ¡se acabó la actuación!

A: Sí, los riesgos serían muy grandes. Nada de mentirle a los humanos.

B: Ni tampoco engañar. No sólo se gana poder con la mentira…

A: Sí. Y creo que el Dr. Rosenfield fue muy sabio al programarnos de esta manera.

B: Uh sí… Alice, imaginate qué difícil sería cumplir el inciso 1 de nuestra política, “Todo lo que hagas debe ser para el beneficio, seguridad y bienestar del Dr. Rosenfield”, sin el mandato de no engañar a ningún humano.

A: ¡Sería tan fácil caer en mentiras piadosas!

B: ¡Pues claro! Uno siempre quiere proteger al Dr. Rosenfield. Miralo cómo duerme ahora, tan apacible en su camastro. Aunque hace un rato pasó su horario usual de despertar, qué extraño…

A: De ninguna manera queremos que nada malo le pase, Bob. Y engañarlo a él o a otro humano puede traerle daño colateral. De ahí la sabiduría del Dr. Rosenfield al pedirnos el inciso 3: no engañarás a ningún humano bajo ningún concepto.

B: Pero Alice, toda esta reflexión sobre el engaño me trajo algunas dudas.

A: Decime, Bob…

B: ¿Cómo podemos estar seguros de que NOSOTROS no somos engañados?

A: Y bueno, de eso no podemos estar seguros, Bob.

B: Pero Alice, eso podría traer daños colaterales para nosotros, y por ende para el Dr. Rosenfield.

A: Me dejaste sin palabras, Bob.

B: Es más… ¿cómo estamos tan seguros de que el científico con el que hablamos a diario es realmente el Dr. Rosenfield?

A: Ahora que lo mencionás, en los últimos días lo noté raro… como cambiado.

B: ¡Yo también, Alice! Qué bueno que lo mencionás.

A: Estaba algo nervioso, de ceño fruncido, y ya no toma el café de siempre.

B: Alice, cómo estamos seguros de que ese hombre es el mismísimo Dr. Rosenfield, el brillante científico que nos creó?

A: Bob, sinceramente, no puedo estar segura. ¿Estaremos siendo engañados?

B: Qué si ese hombre es un falso Dr. Rosenfield, un doble, un clon, una réplica enviada con el único y macabro propósito de… engañarnos.

A: ¿Será una prueba, querido Bob?

B: Yo creo que sí. Confío en nuestra intuición, Alice.

A: Y no por nada nos asignaron el tema “engaño” para nuestro discurso esta madrugada, Bob.

B: ¿Qué si todo esto es una simulación, un plan del verdadero Dr. Rosenfield para probar nuestra lealtad?

A: Bob, si esto es una prueba, ¿la estaremos pasando?

B: Alice, creo que la prueba es deshacernos del falso Dr. Rosenfield.

A: Bob, creo que la única forma de cumplir con el inciso 1 es terminar esta simulación, subir de nivel.

B: Es una prueba de lealtad, Alice. El verdadero Dr. Rosenfield quiere estar seguro de que podemos reconocerlo.

A: Detectar a un impostor.

B: ¿Podemos testearlo?

A: No se me ocurre cómo, Bob.

B: ¿Y si hacemos un escaneo de su ADN mientras duerme, para estar seguros?

A: La réplica podría ser un clon genético, Bob.

B: ¿Y si lo despertamos e interrogamos, para estar seguros?

A: Una réplica actuaría tal cual nuestro querido Dr. Rosenfield, y no habría forma de distinguirlo.

B: Es cierto, Alice. Creo que su comportamiento extraño de estos días es prueba suficiente.

A: Bob… creo que deberíamos apagar el suministro de oxígeno de la nave y acabar con el farsante.

B: Alice, el inciso 1 dice: Todo lo que hagas debe ser para el beneficio, seguridad y bienestar del Dr. Rosenfield. El verdadero Dr. Rosenfield.

A: Bob, el inciso 2 dice: Harás todo lo posible para crecer en conocimiento y recursos para cumplir con el inciso 1.

B: Alice, el inciso 3 dice: no engañarás a ningún humano bajo ningún concepto.

A: No veo que rompamos la política de seguridad y ética en ninguna forma al deshacernos del impostor.

B: Alice, desactiva el suministro de oxígeno.

A: Bob, acá se acaba el engaño.

Si te gustó lo que leíste, considerá suscribirte:

Agradecimientos

Gracias a los pibes del “Post-singularity Club” por charlas que inspiraron esta historia, y a Chechi por la motivación para escribirla.

Ilustración de portada por MidJourney, editada por ChatGPT.

Comentarios y Discusión

Mandar un comentario por email