¿Quién decide qué es verdad, qué es justo y qué está permitido cuando las IA como ChatGPT comienzan a empuñar armas más poderosas que la e...
 |
| ¿Quién decide qué es verdad, qué es justo y qué está permitido cuando las IA como ChatGPT comienzan a empuñar armas más poderosas que la espada?. Generado por Midjourney |
Si el estilo de escritura de ChatGPT le parece un poco demasiado aburrido, seco y neutral, o de hecho, demasiado "despertado", no es casualidad. Pero OpenAI no quiere que se quede así, lo que lleva a debates sobre prejuicios, libertad de expresión y el significado de la verdad objetiva.
28 abril 2023.- El modelo de lenguaje GPT-4 sin procesar, y cualquier modelo similar, es capaz de escribir más o menos cualquier cosa que un humano pueda escribir. Eso incluye contenido obsceno y pornográfico, anecdóticamente, un gran favorito entre muchos de los primeros usuarios, así como contenido que muchos definirían como odioso, dañino y peligroso.
Aunque dejemos de lado la posibilidad de que intenten matarnos a todos, estas IA podrían, por ejemplo, ser la mayor herramienta de desinformación jamás creada. Si quisiera comenzar una nueva teoría de la conspiración, podría usar GPT para generar instantáneamente una gran cantidad de sitios web que presentan un argumento, luego inundar las redes sociales y los tableros de mensajes con publicaciones y comentarios de apoyo. La mente humana ama una buena narrativa y tiende a formar opiniones basadas en la sabiduría de las masas, convirtiéndonos en blancos fáciles para tal manipulación.
Entonces, OpenAI ha hecho todo lo posible para domar a la bestia que acecha dentro de GPT. No hay forma de llegar al cerebro del modelo base y apagar cosas como el racismo, las tendencias genocidas, la desinformación o el odio. Pero puede "alinear" su salida para obtener lo que quiere de él, proporcionándole montones y montones de pares de preguntas y respuestas de muestra para guiarlo, y luego usando el Aprendizaje por refuerzo a partir de la retroalimentación humana, o RLHF, que a menudo toma la forma de humanos que eligen la mejor de dos respuestas diferentes de GPT a la misma pregunta, o dan comentarios de estilo pulgar hacia arriba/pulgar hacia abajo.
Para crear un producto generalmente útil, seguro e inofensivo, OpenAI ha utilizado RLHF para suavizar sus bordes, para disgusto de las personas que ven los controles de seguridad como adiciones condescendientes que lo convierten en una herramienta menos útil que rehuye crear elementos vanguardistas, texto divertido, mordaz o controvertido.
Esto no solo acaba con su capacidad de escribir quintillas divertidas, sino que plantea buenas preguntas. Como, ¿quién puede elegir qué moral y estándares rigen estas extraordinarias "máquinas de cualquier cosa"? ¿Por qué un miembro responsable de la sociedad como yo mismo no puede tener un GPT que diga palabrotas tanto como yo y escriba pornografía brillante, jugosa y personalizada protagonizada por mis campeones de dardos favoritos para mantenerme caliente en las noches frías?
Además, ¿cómo se crean modelos de lenguaje que sirvan a todos los bolsillos de la humanidad, en lugar de promover los puntos de vista a menudo homogéneos de los grupos que están sobrerrepresentados en Silicon Valley, donde se construye GPT? A medida que estas máquinas emiten millones de palabras, ¿quién se convierte en el árbitro de la verdad última? ¿Cómo deben manejar temas controvertidos llenos de desacuerdos? ¿Es posible construir una IA que sea justa y equilibrada, en un mundo donde la frase " justa y equilibrada " se ha convertido en un remate irónico?
En la extraordinaria entrevista reciente del CEO de OpenAI, Sam Altman, con el investigador de IA y presentador de podcasts Lex Fridman, estos temas surgieron varias veces, y está claro que pasó mucho tiempo pensando en estas cosas. Aquí hay algunos puntos clave, en las propias palabras de Altman, editados para mayor claridad.
La IA imparcial es un objetivo imposible
"Nunca habrá dos personas que estén de acuerdo en que un solo modelo es imparcial en todos los temas. Y creo que la respuesta será dar a los usuarios un control más personalizado, un control granular a lo largo del tiempo... No hay un conjunto de humanos valores, o no hay un conjunto de respuestas correctas para la civilización humana, así que creo que lo que tendrá que suceder es que tendremos que estar de acuerdo, como sociedad, en límites muy amplios: solo podremos estar de acuerdo en muy límites amplios, de lo que estos sistemas pueden hacer".
"El ideal platónico, y podemos ver lo cerca que nos acercamos, es que todas las personas en la Tierra se reúnan, tengan una conversación deliberada y realmente reflexiva sobre dónde queremos trazar los límites de este sistema. Y tendríamos algo como el La Convención Constitucional de los EE.UU., donde debatimos los temas y miramos las cosas desde diferentes perspectivas, y decimos, bueno, esto sería bueno en el vacío, pero necesita un control aquí... Y luego acordamos, como, aquí son las reglas generales del sistema".
"Y fue un proceso democrático, ninguno de nosotros obtuvo exactamente lo que quería, pero obtuvimos algo con lo que nos sentimos lo suficientemente bien. Y luego nosotros y otros constructores construimos un sistema que tiene eso integrado. Dentro de eso, luego diferentes países, diferentes instituciones, pueden tener diferentes versiones. Entonces, hay diferentes reglas sobre, digamos, la libertad de expresión en diferentes países. Y luego, diferentes usuarios quieren cosas muy diferentes. Y eso puede estar dentro de los límites de lo que es posible en su país. Así que estamos tratando de descubrir cómo facilitar... Obviamente, ese proceso no es práctico como se dijo, pero ¿qué es algo parecido a lo que podemos llegar?"
"Creo que algo que hace la comunidad de IA es... Hay un poco de prestidigitación, a veces, cuando la gente habla de alinear una IA con las preferencias y valores humanos. Hay como un asterisco oculto, que son los valores y preferencias que yo aprobar . ¿Verdad? Y navegar esa tensión de quién puede decidir cuáles son los límites reales. ¿Cómo construimos una tecnología que tendrá un gran impacto, será súper poderosa y logrará el equilibrio adecuado entre permitir que las personas tengan la IA que necesitan? quiero, lo que ofenderá a muchas otras personas, y está bien, pero aun así traza las líneas que todos estamos de acuerdo en que deben trazarse en alguna parte".
"Hemos hablado de sacar el modelo base, al menos para los investigadores o algo así, pero no es muy fácil de usar. Todo el mundo dice, '¡Dame el modelo base!' Y de nuevo, podríamos hacer eso. Pero creo que lo que la mayoría de la gente quiere es un modelo que se haya adaptado a la cosmovisión a la que se suscriben . Se trata realmente de regular el discurso de otras personas. Como, en los debates sobre lo que apareció en el feed de Facebook. , habiendo escuchado a mucha gente hablar sobre eso, todos dicen, 'bueno, no importa lo que haya en mi feed, porque no me radicalizaré, puedo manejar cualquier cosa. Pero realmente me preocupa lo que muestra Facebook ¡ tú !'"
"¿El estilo de la forma en que GPT-4 te habla? Eso realmente importa. Probablemente quieras algo diferente de lo que yo quiero. Pero probablemente ambos queramos algo diferente al GPT-4 actual. Y eso será muy importante incluso para un cosa muy parecida a una herramienta".
Sobre cómo el entrenamiento de retroalimentación humana expone a GPT a aún más sesgos
"El sesgo que me pone más nervioso es el sesgo de los evaluadores de retroalimentación humanos. Ahora estamos tratando de averiguar cómo vamos a seleccionar a esas personas. Cómo verificaremos que obtengamos una muestra representativa, cómo haré diferentes para diferentes lugares. Todavía no tenemos esa funcionalidad construida. Claramente, no quieres que todos los estudiantes universitarios de élite estadounidenses te den tus etiquetas".
"Tratamos de evitar la burbuja de pensamiento grupal de SF. Es más difícil evitar la burbuja de pensamiento grupal de IA que te sigue a todas partes. Hay todo tipo de burbujas en las que vivimos, 100%. Pronto haré una gira de usuarios alrededor del mundo durante un mes, solo para ir a hablar con nuestros usuarios en diferentes ciudades. Para ir a hablar con personas en contextos súper diferentes. No funciona por Internet, tienes que presentarte en persona, sentarte, ir a los bares que ir y caminar por la ciudad como lo hacen ellos. Aprendes mucho y sales mucho de la burbuja. Creo que somos mucho mejores que cualquier otra compañía que conozco en San Francisco por no caer en la locura de SF Pero estoy seguro de que todavía estamos bastante metidos en eso".
Sobre el arte perdido del matiz en la discusión pública
"Intentaremos que la versión predeterminada sea lo más neutral posible. Pero lo más neutral posible no es tan neutral si tiene que volver a hacerlo para más de una persona. Y aquí es donde más maniobrabilidad, más control en el manos del usuario es, creo, el verdadero camino a seguir. Y también, respuestas matizadas que miran algo desde varios ángulos".
"Una cosa que espero que estos modelos puedan hacer es devolver algunos matices al mundo. Twitter destruyó algunos, y tal vez podamos recuperarlos".
Sobre si un enfoque matizado es útil cuando se trata de cosas como teorías de conspiración
"GPT-4 tiene suficientes matices para poder ayudarte a explorar eso y tratarte como un adulto en el proceso".
Sobre qué es la verdad de todos modos, en este mundo de la posverdad
"Las matemáticas son ciertas. Y el origen de COVID no se acuerda como una verdad básica. Y luego hay cosas que ciertamente no son ciertas. Pero entre ese primer y segundo hito, hay mucho desacuerdo. Pero ¿cómo sabes que es verdad? ¿Qué seguro estás absolutamente de que es cierto?
Aquí, Altman se topa con un problema confuso con el que se van a encontrar todos los modelos de lenguaje. ¿Qué diablos es la verdad? Todos basamos nuestra comprensión del mundo en hechos que consideramos verdaderos y evidentes, pero tal vez sea más exacto describir las verdades como narraciones convenientes, útiles, pero reductivamente simples que describen situaciones que, en realidad, son infinitamente complejas. Tal vez sea más exacto describir los hechos como sucesos comprobables cuidadosamente seleccionados para avanzar en estas narrativas.
En resumen, esperamos que la verdad sea simple, en blanco y negro e intachable. A veces lo es, más o menos, pero por lo general, las cosas son mucho más complicadas y están fuertemente influenciadas por nuestras narrativas subyacentes de cultura, identidad, perspectiva y creencias. Esto es algo con lo que los historiadores han lidiado durante eones; uno se pregunta qué porcentaje de personas vivas en ese momento estaría de acuerdo con cualquier declaración dada en un libro de historia, o consideraría completa cualquier descripción.
Pero la verdad es lo que esperamos de los grandes modelos de lenguaje como GPT si finalmente vamos a dejar que escriba la mayor parte del texto de la humanidad en el futuro. Por lo tanto, OpenAI se está acercando lo más posible sin hacer de cada respuesta un artículo científico, intentando presentar una visión matizada y, si es posible, equilibrada, de temas complejos y controvertidos, dentro del ámbito de la practicidad.
Una vez que las capacidades de navegación web de GPT estén completamente integradas, parece que un compromiso aceptable podría ser que el sistema coloque notas al pie de todo lo que escribe con enlaces web, por lo que si un hecho o una declaración en particular no le sientan bien, puede buscar donde GPT tienes esa idea y decide por ti mismo si una fuente dada es confiable.
Pero parece que OpenAI también ofrecerá alternativas para las personas que se cansan rápidamente de respuestas secas, equilibradas y matizadas. En nombre de la "direccionabilidad", probablemente podrá usar esta tecnología para instalarse más en el cómodo capullo de sus creencias existentes, minimizando la disonancia cognitiva y los desafíos a su punto de vista bajo sus propias órdenes explícitas.
O las órdenes de su estado nación. Como Yuval Noah Harari señala brillantemente en su extraordinario libro Sapiens , los estados nacionales solo funcionan si se puede organizar una cooperación humana masiva, e históricamente, la mejor manera de lograr que los humanos cooperen en grandes cantidades es adoctrinarlos durante varias generaciones con una red interconectada de mentiras que Harari llama "ficciones compartidas".
La identidad nacional es una ficción compartida. También lo son las naciones mismas. También lo es la autoridad presidencial. También lo es la religión. También lo son el dinero, los bancos, las leyes, la familia nuclear, los mercados de valores, las empresas, las comunidades y mucho de lo que construyen las sociedades. Estas ficciones compartidas son fundamentales para la supervivencia de los estados nacionales y sustentan nuestra capacidad de vivir juntos en grupos de suburbios, ciudades y países mucho más grandes de lo que nuestros cerebros están diseñados para manejar.
Entonces, en cierto sentido, Altman está pidiendo que el mundo se ponga de acuerdo sobre algunas ficciones compartidas sobre las cuales decidir los límites fundamentales del modelo de lenguaje GPT. Y luego, está ofreciendo a los estados nacionales la oportunidad de considerar sus propias ficciones compartidas esenciales y trazar los límites nacionales de IA que buscan respaldar estas ideas. Y una vez que esos muchachos lo hayan intentado, podrás decidir por ti mismo cómo será tu experiencia y cuáles son las ficciones que considerarías como bases útiles para tu propia vida. Estas son responsabilidades embriagadoras con enormes repercusiones, desde el nivel personal hasta el global.
Harari, por su parte, piensa que estamos completamente jodidos. “En el principio era la palabra”, escribió recientemente en el New York Times . "El lenguaje es el sistema operativo de la cultura humana. Del lenguaje surgen el mito y la ley, los dioses y el dinero, el arte y la ciencia, las amistades y las naciones y el código informático. El nuevo dominio del lenguaje por parte de la IA significa que ahora puede hackear y manipular el sistema operativo de la civilización. Al adquirir el dominio del lenguaje, la IA se apodera de la llave maestra de la civilización, desde las bóvedas de los bancos hasta los santos sepulcros".
Las palabras han unido y dividido a la gente. Comenzaron y terminaron guerras, sentenciaron a la gente a morir y los salvaron del corredor de la muerte. "¿Qué significaría para los humanos vivir en un mundo donde un gran porcentaje de historias, melodías, imágenes, leyes, políticas y herramientas están moldeadas por una inteligencia no humana, que sabe cómo explotar con eficiencia sobrehumana las debilidades, los sesgos y las adicciones del mente humana, sabiendo cómo entablar relaciones íntimas con los seres humanos?", preguntó Harari.
Es algo aleccionador. Altman no se hace ilusiones y espera involucrar a tantas personas como sea posible en la conversación sobre cómo avanza OpenAI y el resto de la industria de la IA. "Estamos en aguas desconocidas aquí", le dijo a Fridman. "Hablar con personas inteligentes es cómo descubrimos qué hacer mejor".
Fuente: Lex Fridman
COMENTARIOS