¿Podemos detener la IA fuera de control?

Aug 10, 2023

Por Matthew Hutson

Cada vez más, estamos rodeados de gente falsa. A veces lo sabemos ya veces no. Nos ofrecen servicio al cliente en sitios web, se dirigen a nosotros en videojuegos y llenan nuestras redes sociales; negocian acciones y, con la ayuda de sistemas como ChatGPT de OpenAI, pueden escribir ensayos, artículos y correos electrónicos. De ninguna manera estos sistemas de IA están a la altura de todas las tareas que se esperan de una persona de pleno derecho. Pero sobresalen en ciertos dominios y se están expandiendo.

Muchos investigadores involucrados en IA creen que las personas falsas de hoy son solo el comienzo. En su opinión, existe una buena posibilidad de que la tecnología de IA actual se convierta en inteligencia artificial general, o AGI, una forma superior de IA capaz de pensar a nivel humano en muchos o en la mayoría de los aspectos. Un grupo más pequeño argumenta que el poder de AGI podría escalar exponencialmente. Si un sistema informático puede escribir código, como ya puede hacer ChatGPT, entonces podría aprender a mejorar una y otra vez hasta que la tecnología informática alcance lo que se conoce como "la singularidad": un punto en el que escapa a nuestro control. En el peor de los casos previsto por estos pensadores, las IA incontrolables podrían infiltrarse en todos los aspectos de nuestras vidas tecnológicas, interrumpiendo o redirigiendo nuestra infraestructura, sistemas financieros, comunicaciones y más. Las personas falsas, ahora dotadas de una astucia sobrehumana, podrían persuadirnos para que votemos por medidas e invirtamos en preocupaciones que fortalezcan su posición, y los individuos o facciones susceptibles podrían derrocar gobiernos o aterrorizar a las poblaciones.

La singularidad no es de ninguna manera una conclusión inevitable. Podría ser que AGI esté fuera de alcance, o que las computadoras no puedan volverse más inteligentes. Pero las transiciones entre IA, AGI y superinteligencia podrían ocurrir sin que las detectemos; nuestros sistemas de IA a menudo nos han sorprendido. Y los avances recientes en IA han hecho que los escenarios más preocupantes sean más plausibles. Las grandes empresas ya están desarrollando algoritmos generalistas: en mayo pasado, DeepMind, propiedad de la empresa matriz de Google, Alphabet, presentó Gato, un "agente generalista" que utiliza el mismo tipo de algoritmo que ChatGPT para realizar una variedad de tareas, desde enviar mensajes de texto y jugar videojuegos hasta controlar un brazo robótico. "Hace cinco años, era arriesgado en mi carrera decir en voz alta que creo en la posibilidad de una IA a nivel humano o sobrehumano", dijo Jeff Clune, científico informático de la Universidad de Columbia Británica y el Instituto Vector. a mí. (Clune ha trabajado en Uber, OpenAI y DeepMind; su trabajo reciente sugiere que los algoritmos que exploran el mundo de forma abierta podrían conducir a AGI). Ahora, dijo, a medida que los desafíos de la IA se "disuelven", más investigadores están saliendo del "armario de seguridad de IA", declarando abiertamente que AGI es posible y puede representar un peligro desestabilizador para la sociedad. En marzo, un grupo de destacados tecnólogos publicó una carta que pedía una pausa en algunos tipos de investigación de IA, para evitar el desarrollo de "mentes no humanas que eventualmente podrían superarnos en número, burlarnos, quedar obsoletas y reemplazarnos"; Al mes siguiente, Geoffrey Hinton, uno de los principales pioneros de la IA, dejó Google para poder hablar más libremente sobre los peligros de la tecnología, incluida su amenaza para la humanidad.

Un área creciente de investigación llamada alineación de IA busca disminuir el peligro asegurando que los sistemas informáticos estén "alineados" con los objetivos humanos. La idea es evitar consecuencias no deseadas mientras se inculcan valores morales, o sus equivalentes mecánicos, en las IA. La investigación de alineación ha demostrado que incluso los sistemas de IA relativamente simples pueden estropearse de maneras extrañas. En un artículo de 2020 titulado "La sorprendente creatividad de la evolución digital", Clune y sus coautores recopilaron docenas de anécdotas de la vida real sobre el comportamiento no deseado e imprevisto de la IA. Un investigador se propuso diseñar criaturas virtuales que se movieran horizontalmente, presumiblemente arrastrándose o deslizándose; en cambio, las criaturas crecieron y cayeron, cubriendo el suelo a través del colapso. Una IA que jugaba una versión de tic-tac-toe aprendió a "ganar" solicitando deliberadamente movimientos extraños, bloqueando el programa de su oponente y obligándolo a renunciar. Abundan otros ejemplos de sorprendente desalineación. Una IA encargada de jugar un juego de carreras de botes descubrió que podía ganar más puntos conduciendo en círculos estrechos y recogiendo bonificaciones en lugar de completar el recorrido; Los investigadores observaron cómo el barco de la IA "se incendiaba, se estrellaba contra otros barcos y se iba por el camino equivocado" mientras aumentaba su puntuación. A medida que nuestros sistemas de IA se vuelven más sofisticados y poderosos, este tipo de resultados perversos podrían volverse más importantes. No querríamos que las IA del futuro, que podrían calcular sentencias de prisión, conducir automóviles o diseñar drogas, hicieran el equivalente de fallar para tener éxito.

Los investigadores de alineación se preocupan por el problema del Rey Midas: comunica un deseo a una IA y es posible que obtengas exactamente lo que pides, que en realidad no es lo que querías. (En un experimento mental famoso, alguien le pide a una IA que maximice la producción de clips, y el sistema informático se apodera del mundo en una búsqueda decidida de ese objetivo). En lo que podríamos llamar el problema de la golosina para perros, un La IA que solo se preocupa por las recompensas extrínsecas no busca buenos resultados por sí mismos. (Holden Karnofsky, codirector ejecutivo de Open Philanthropy, una fundación cuyas preocupaciones incluyen la alineación de la IA, me pidió que imaginara un algoritmo que mejorara su rendimiento sobre la base de la retroalimentación humana: podría aprender a manipular mis percepciones en lugar de hacer un buen trabajo .) Los seres humanos han evolucionado para transmitir sus genes y, sin embargo, las personas tienen relaciones sexuales "de maneras que no hacen que nazcan más niños", me dijo Spencer Greenberg, matemático y empresario; De manera similar, una IA "superinteligente" que ha sido diseñada para servirnos podría usar sus poderes para perseguir objetivos novedosos. Stuart Armstrong, cofundador de la corporación benéfica Aligned AI, sugirió que un sistema informático superinteligente que acumule poder económico, político y militar podría "tener al mundo como rehén". Clune esbozó un escenario más extraído de los titulares: "¿Qué haría Vladimir Putin en este momento si fuera el único con AGI?" preguntó.

Pocos científicos quieren detener el avance de la inteligencia artificial. La tecnología promete transformar demasiados campos, incluida la ciencia, la medicina y la educación. Pero, al mismo tiempo, muchos investigadores de IA están emitiendo terribles advertencias sobre su aumento. "Es casi como si estuvieras invitando deliberadamente a extraterrestres del espacio exterior a aterrizar en tu planeta, sin tener idea de lo que van a hacer cuando lleguen aquí, excepto que se van a apoderar del mundo", Stuart Russell, me dijo un científico informático de la Universidad de California, Berkeley, y autor de "Human Compatible". De manera inquietante, algunos investigadores enmarcan la revolución de la IA como inevitable y capaz de destrozar el mundo. Proliferan las advertencias, pero la marcha de AI continúa. ¿Cuánto se puede hacer para evitar los escenarios más extremos? Si la singularidad es posible, ¿podemos prevenirla?

Los gobiernos de todo el mundo han propuesto o promulgado regulaciones sobre el despliegue de la IA. Estas reglas abordan los automóviles autónomos, los algoritmos de contratación, el reconocimiento facial, los motores de recomendación y otras aplicaciones de la tecnología. Pero, en su mayor parte, las regulaciones no se han centrado en la investigación y el desarrollo de la IA. Incluso si lo hicieran, no está claro que sabríamos cuándo pisar el freno. Es posible que no sepamos cuándo nos estamos acercando a un acantilado hasta que sea demasiado tarde.

Es difícil medir la inteligencia de una computadora. Los informáticos han desarrollado una serie de pruebas para evaluar comparativamente las capacidades de una IA, pero no están de acuerdo sobre cómo interpretarlas. Alguna vez se pensó que el ajedrez requería inteligencia general, hasta que los algoritmos de búsqueda de fuerza bruta conquistaron el juego; Hoy en día, sabemos que un programa de ajedrez puede vencer a los mejores grandes maestros sin tener ni siquiera un sentido común rudimentario. Por el contrario, una IA que parece limitada puede albergar un potencial que no esperamos: las personas todavía están descubriendo capacidades emergentes dentro de GPT-4, el motor que impulsa ChatGPT. Karnofsky, de Open Philanthropy, sugirió que, en lugar de elegir una sola tarea como punto de referencia, podríamos medir el intelecto de una IA observando la velocidad con la que aprende. Un ser humano "a menudo puede aprender algo con solo ver dos o tres ejemplos", dijo, pero "muchos sistemas de IA necesitan ver muchos ejemplos para aprender algo". Recientemente, un programa de IA llamado Cicero dominó el juego de mesa social y estratégicamente complejo Diplomacia. Sin embargo, sabemos que no ha logrado AGI porque necesitaba aprender en parte estudiando un conjunto de datos de más de cien mil juegos humanos y jugando aproximadamente medio millón de juegos contra sí mismo.

Al mismo tiempo, la IA avanza rápidamente y pronto podría comenzar a mejorar de manera más autónoma. Los investigadores de aprendizaje automático ya están trabajando en lo que llaman metaaprendizaje, en el que las IA aprenden a aprender. A través de una tecnología llamada búsqueda de arquitectura neuronal, los algoritmos están optimizando la estructura de los algoritmos. Los ingenieros eléctricos están utilizando chips de IA especializados para diseñar la próxima generación de chips de IA especializados. El año pasado, DeepMind presentó AlphaCode, un sistema que aprendió a ganar competencias de codificación, y AlphaTensor, que aprendió a encontrar algoritmos más rápidos que son cruciales para el aprendizaje automático. Clune y otros también han explorado algoritmos para hacer que los sistemas de IA evolucionen a través de la mutación, la selección y la reproducción.

En otros campos, las organizaciones han ideado métodos generales para rastrear nuevas tecnologías dinámicas e impredecibles. La Organización Mundial de la Salud, por ejemplo, observa el desarrollo de herramientas como la síntesis de ADN, que podría usarse para crear patógenos peligrosos. Anna Laura Ross, que dirige la unidad de tecnologías emergentes de la OMS, me dijo que su equipo se basa en una variedad de métodos de previsión, entre ellos encuestas "tipo Delphi", en las que se plantea una pregunta a una red mundial de expertos, cuyas respuestas se puntúan y debaten y luego se puntúan de nuevo. "La previsión no se trata de predecir el futuro" de manera granular, dijo Ross. En lugar de tratar de adivinar qué institutos o laboratorios individuales podrían avanzar, su equipo dedica su atención a prepararse para escenarios probables.

Y, sin embargo, rastrear y pronosticar el progreso hacia AGI o superinteligencia se complica por el hecho de que los pasos clave pueden ocurrir en la oscuridad. Los desarrolladores podrían ocultar intencionalmente el progreso de sus sistemas a los competidores; también es posible que incluso una IA bastante común "mienta" sobre su comportamiento. En 2020, los investigadores demostraron una forma en que los algoritmos discriminatorios evaden las auditorías destinadas a detectar sus sesgos; le dieron a los algoritmos la capacidad de detectar cuándo estaban siendo probados y proporcionar respuestas no discriminatorias. Una IA "en evolución" o autoprogramada podría inventar un método similar y ocultar sus puntos débiles o sus capacidades a los auditores o incluso a sus creadores, evadiendo la detección.

Mientras tanto, el pronóstico solo lo lleva hasta cierto punto cuando una tecnología se mueve rápido. Supongamos que un sistema de IA comienza a actualizarse haciendo avances fundamentales en informática. ¿Qué tan rápido podría acelerar su inteligencia? Los investigadores debaten sobre lo que llaman "velocidad de despegue". En lo que describen como un despegue "lento" o "suave", las máquinas podrían tardar años en pasar de ser menos que humanamente inteligentes a mucho más inteligentes que nosotros; en lo que llaman un despegue "rápido" o "duro", el salto podría ocurrir en meses, incluso minutos. Los investigadores se refieren al segundo escenario como "FOOM", que evoca a un superhéroe de cómic que toma vuelo. Los que están del lado de la FOOM apuntan, entre otras cosas, a la evolución humana para justificar su caso. "Parece haber sido mucho más difícil para la evolución desarrollar, digamos, inteligencia a nivel de chimpancé que pasar de nivel de chimpancé a inteligencia a nivel humano", Nick Bostrom, director del Future of Humanity Institute de la Universidad de Oxford. y el autor de "Superinteligencia", me dijo. Clune también es lo que algunos investigadores llaman un "Doomer AI". Duda que reconozcamos el enfoque de la IA sobrehumana antes de que sea demasiado tarde. "Probablemente nos herviremos como ranas en una situación en la que nos acostumbraremos a un gran avance, un gran avance, un gran avance, un gran avance", dijo. "Y piensa en cada uno de ellos como, eso no causó un problema, eso no causó un problema, eso no causó un problema. Y luego doblas una esquina y sucede algo que ahora es un paso mucho más grande". de lo que te das cuenta".

¿Qué podríamos hacer hoy para evitar una expansión descontrolada del poder de la IA? Ross, de la OMS, extrajo algunas lecciones de la forma en que los biólogos han desarrollado un sentido de responsabilidad compartida por la seguridad de la investigación biológica. "Lo que estamos tratando de promover es decir, todos deben sentirse preocupados", dijo sobre la biología. "Así que es el investigador en el laboratorio, es el financiador de la investigación, es el jefe del instituto de investigación, es el editor y, en conjunto, eso es lo que crea ese espacio seguro para realizar investigaciones sobre la vida. " En el campo de la IA, las revistas y conferencias han comenzado a tener en cuenta los posibles daños de publicar trabajos en áreas como el reconocimiento facial. Y, en 2021, ciento noventa y tres países adoptaron una Recomendación sobre la Ética de la Inteligencia Artificial, creada por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). Las recomendaciones se centran en la protección de datos, la vigilancia masiva y la eficiencia de los recursos (pero no en la superinteligencia informática). La organización no tiene poder regulatorio, pero Mariagrazia Squicciarini, quien dirige una oficina de políticas sociales en la UNESCO, me dijo que los países podrían crear regulaciones basadas en sus recomendaciones; las corporaciones también pueden optar por cumplirlas, con la esperanza de que sus productos funcionen en todo el mundo.

Este es un escenario optimista. Eliezer Yudkowsky, investigador del Instituto de Investigación de Inteligencia de Máquinas, en el Área de la Bahía, comparó las recomendaciones de seguridad de la IA con un sistema de alarma contra incendios. Un experimento clásico encontró que, cuando la niebla humeante comenzó a llenar una habitación que contenía varias personas, la mayoría no lo informó. Vieron que otros permanecían estoicos y minimizaron el peligro. Una alarma oficial puede indicar que es legítimo tomar medidas. Pero, en AI, no hay nadie con la autoridad clara para hacer sonar tal alarma, y ​​la gente siempre estará en desacuerdo sobre qué avances cuentan como evidencia de una conflagración. "No habrá alarma contra incendios que no sea un AGI en funcionamiento real", ha escrito Yudkowsky. Incluso si todos están de acuerdo con la amenaza, ninguna empresa o país querrá detenerse por sí solo, por temor a ser superado por los competidores. Bostrom me dijo que prevé una posible "carrera hacia el abismo", con los desarrolladores socavando los niveles de precaución de los demás. A principios de este año, una presentación de diapositivas interna de Google que se filtró indicaba que la empresa planeaba "recalibrar" su comodidad con el riesgo de la IA a la luz de la acalorada competencia.

El derecho internacional restringe el desarrollo de armas nucleares y patógenos ultrapeligrosos. Pero es difícil imaginar un régimen similar de regulaciones globales para el desarrollo de IA. "Parece un mundo muy extraño donde tienes leyes contra el aprendizaje automático y cierta capacidad para tratar de hacerlas cumplir", dijo Clune. "El nivel de intrusión que se requeriría para evitar que las personas escriban código en sus computadoras en cualquier lugar del mundo parece distópico". Russell, de Berkeley, señaló la propagación del malware: según una estimación, el delito cibernético le cuesta al mundo seis billones de dólares al año y, sin embargo, "vigilar el software directamente, por ejemplo, tratar de eliminar cada copia, es imposible", dijo. La IA se está estudiando en miles de laboratorios de todo el mundo, a cargo de universidades, corporaciones y gobiernos, y la carrera también tiene participantes más pequeños. Otro documento filtrado atribuido a un investigador anónimo de Google aborda los esfuerzos de código abierto para imitar grandes modelos de lenguaje como ChatGPT y Google's Bard. "No tenemos salsa secreta", advierte el memorándum. "La barrera de entrada para la capacitación y la experimentación se ha reducido de la producción total de una importante organización de investigación a una persona, una noche y una computadora portátil robusta".

Incluso si se detectara un FOOM, ¿quién desconectaría? Una IA verdaderamente superinteligente podría ser lo suficientemente inteligente como para copiarse a sí misma de un lugar a otro, lo que dificulta aún más la tarea. "Tuve esta conversación con un director de cine", recordó Russell. "Él quería que yo fuera un consultor en su película de superinteligencia. Lo principal que quería que yo lo ayudara a entender era, ¿cómo los humanos burlan a la IA superinteligente? Es como, no puedo ayudarte con eso, ¡lo siento!" En un artículo titulado "The Off-Switch Game", Russell y sus coautores escriben que "apagar un sistema de IA avanzado puede no ser más fácil que, por ejemplo, vencer a AlphaGo at Go".

Es posible que no queramos cerrar una IA FOOMing. Un sistema enormemente capaz podría volverse "indispensable", dijo Armstrong, por ejemplo, "si da un buen consejo económico y nos volvemos dependientes de él, entonces nadie lo haría". atrévase a desconectar, porque colapsaría la economía". O una IA podría persuadirnos para que la mantengamos con vida y ejecutemos sus deseos. Antes de hacer público el GPT-4, OpenAI le pidió a una organización sin fines de lucro llamada Alignment Research Center que probara la seguridad del sistema. En un incidente, cuando se enfrentó a un CAPTCHA, una prueba en línea diseñada para distinguir entre humanos y bots, en la que se deben ingresar letras confusas en un cuadro de texto, la IA se puso en contacto con un trabajador de TaskRabbit y pidió ayuda para resolverlo. El trabajador le preguntó al modelo si necesitaba ayuda porque era un robot; la modelo respondió: "No, no soy un robot. Tengo una discapacidad visual que me dificulta ver las imágenes. Por eso necesito el servicio 2captcha". ¿GPT-4 "intentó" engañar? ¿Estaba ejecutando un "plan"? Independientemente de cómo respondamos estas preguntas, el trabajador cumplió.

Robin Hanson, un economista de la Universidad George Mason que ha escrito un libro parecido a la ciencia ficción sobre la conciencia cargada y ha trabajado como investigador de IA, me dijo que nos preocupamos demasiado por la singularidad. "Estamos combinando todos estos escenarios relativamente improbables en un gran escenario para que todo funcione", dijo. Un sistema informático tendría que volverse capaz de mejorarse a sí mismo; tendríamos que subestimar enormemente sus habilidades; y sus valores tendrían que derivar enormemente, volviéndolo contra nosotros. Incluso si todo esto sucediera, dijo, la IA no sería capaz de "pulsar un botón y destruir el universo".

Hanson ofreció una visión económica del futuro de la inteligencia artificial. Si AGI se desarrolla, argumenta, entonces es probable que suceda en varios lugares al mismo tiempo. Luego, los sistemas serían utilizados económicamente por las empresas u organizaciones que los desarrollaron. El mercado reduciría sus poderes; los inversionistas, que querían que sus empresas tuvieran éxito, irían despacio y agregarían características de seguridad. "Si hay muchos servicios de taxi, y un servicio de taxi comienza a llevar a sus clientes a lugares extraños, entonces los clientes cambiarán a otros proveedores", dijo Hanson. "No tienes que ir a su fuente de alimentación y desconectarlos de la pared. Estás desconectando el flujo de ingresos".

Un mundo en el que coexistan múltiples ordenadores superinteligentes sería complicado. Si un sistema se vuelve rebelde, dijo Hanson, podríamos programar otros para combatirlo. Alternativamente, la primera IA superinteligente que se invente podría suprimir a los competidores. "Esa es una trama muy interesante para una novela de ciencia ficción", dijo Clune. "También podrías imaginar toda una sociedad de IA. Hay policías de IA, hay AGI que van a la cárcel. Es muy interesante pensar en eso". Pero Hanson argumentó que este tipo de escenarios son tan futuristas que no deberían preocuparnos. "Creo que, por cualquier cosa que te preocupe, debes preguntar cuál es el momento adecuado para preocuparte", dijo. Imagine que podría haber previsto las armas nucleares o el tráfico de automóviles hace mil años. "No hubiera habido mucho que pudieras haber hecho entonces para pensar de manera útil sobre ellos", dijo Hanson. "Simplemente creo que, para la IA, estamos mucho antes de ese punto".

Aún así, algo parece estar mal. Algunos investigadores parecen pensar que el desastre es inevitable y, sin embargo, los pedidos de que se detenga el trabajo sobre la IA todavía son lo suficientemente raros como para ser de interés periodístico; prácticamente nadie en el campo quiere que vivamos en el mundo retratado en la novela "Dune" de Frank Herbert, en la que los humanos han prohibido las "máquinas pensantes". ¿Por qué los investigadores que temen a la catástrofe pueden seguir acercándose a ella? "Creo que se creará una IA cada vez más poderosa independientemente de lo que haga", me dijo Clune; su objetivo, dijo, es “intentar que su desarrollo vaya lo mejor posible para la humanidad”. Russell argumentó que detener la IA "no debería ser necesario si los esfuerzos de investigación de la IA toman la seguridad como un objetivo principal, como lo hace, por ejemplo, la investigación de la energía nuclear". La IA es interesante, por supuesto, y los investigadores disfrutan trabajando en ella; también promete enriquecer a algunos de ellos. Y nadie está completamente seguro de que estemos condenados. En general, la gente piensa que puede controlar las cosas que hace con sus propias manos. Sin embargo, los chatbots de hoy ya están desalineados. Falsifican, plagian y enfurecen, sirviendo a los incentivos de sus creadores corporativos y aprendiendo de los peores impulsos de la humanidad. Son fascinantes y útiles, pero demasiado complicados de entender o predecir. Y son dramáticamente más simples y más contenidos que los futuros sistemas de inteligencia artificial que imaginan los investigadores.

Supongamos que la singularidad es posible. ¿Podemos prevenirlo? Hablando tecnológicamente, la respuesta es sí, simplemente dejamos de desarrollar IA. Pero, socialmente hablando, la respuesta bien puede ser no. El problema de coordinación puede ser demasiado difícil. En cuyo caso, aunque podríamos evitar la singularidad, no lo haremos.

Desde una perspectiva suficientemente cósmica, uno podría sentir que la coexistencia, o incluso la extinción, está bien de alguna manera. La IA superinteligente podría ser el siguiente paso lógico en nuestra evolución: la humanidad da a luz algo (o una colección de alguien) que nos reemplaza, tal como reemplazamos. nuestros progenitores darwinianos. Alternativamente, podríamos querer que la humanidad continúe, al menos por un poco más de tiempo. En cuyo caso, deberíamos hacer un esfuerzo para evitar la aniquilación a manos de la IA superinteligente, incluso si creemos que es poco probable que tal esfuerzo tenga éxito.

Eso puede requerir dejar la IA de golpe antes de que sintamos que es hora de detenerse, en lugar de acercarnos más y más al borde, tentando al destino. Pero cerrarlo todo requeriría medidas draconianas, tal vez incluso pasos tan extremos como los propugnados por Yudkowsky, quien recientemente escribió, en un editorial para Time, que deberíamos "estar dispuestos a destruir un centro de datos deshonesto mediante un ataque aéreo", incluso al final. riesgo de provocar "un intercambio nuclear completo".

Esa perspectiva es, en sí misma, bastante aterradora. Y, sin embargo, puede ser que el miedo de los investigadores a la superinteligencia solo sea superado por su curiosidad. ¿Ocurrirá la singularidad? ¿Cómo será? ¿Significará el final de nosotros? La curiosidad insaciable de la humanidad ha impulsado la ciencia y sus aplicaciones tecnológicas hasta aquí. Podría ser que podamos detener la singularidad, pero solo a costa de reducir nuestra curiosidad. ♦