Alpaca AI de Stanford funciona de manera similar a ChatGPT, pero es menos seguro y puede construir uno usted mismo por menos de US $ 100. ...
 |
| Alpaca AI de Stanford funciona de manera similar a ChatGPT, pero es menos seguro y puede construir uno usted mismo por menos de US $ 100. Depositphotos |
Alpaca AI de Stanford funciona de manera similar al asombroso ChatGPT en muchas tareas, pero se basa en un modelo de lenguaje de código abierto y su capacitación cuesta menos de US$600. Parece que estas IA divinas ya son terriblemente baratas y fáciles de replicar.
20 marzo 2023.- Hace seis meses, solo los investigadores y los cerebritos seguían el desarrollo de grandes modelos de lenguaje. Pero el lanzamiento de ChatGPT a fines del año pasado envió un cohete por la espalda de la humanidad: las máquinas ahora pueden comunicarse de una manera prácticamente indistinguible de los humanos. Son capaces de escribir texto e incluso código de programación en una vertiginosa variedad de áreas temáticas en segundos, a menudo con un estándar muy alto.
Están mejorando a un ritmo meteórico, como lo ilustra el lanzamiento de GPT-4 , y pueden transformar fundamentalmente la sociedad humana como pocas otras tecnologías podrían, al automatizar potencialmente una variedad de tareas laborales, particularmente entre los trabajadores de cuello blanco, que previamente se han pensado como imposible.
Muchas otras empresas, en particular Google, Apple, Meta, Baidu y Amazon, entre otras, no se quedan atrás, y sus IA pronto inundarán el mercado, adjuntas a todas las aplicaciones y dispositivos posibles. Los modelos de idioma ya están en su motor de búsqueda si es usuario de Bing, y pronto estarán en el resto. Estarán en su automóvil, su teléfono, su televisor y esperando al otro lado de la línea cada vez que intente llamar a una empresa. En poco tiempo, los verás en robots.
Un pequeño punto de consuelo es que OpenAI, y el resto de estas grandes empresas, son conscientes del increíble potencial de estas máquinas para el spam, la desinformación, la creación de malware, el acoso dirigido y todo tipo de otros casos de uso que la mayoría de la gente puede estar de acuerdo en que harían el mundo un lugar peor.
Pasan meses y meses trabajando para reducir estas capacidades manualmente antes del lanzamiento. El CEO de OpenAI, Sam Altman, es uno de los muchos preocupados porque los gobiernos no se están moviendo lo suficientemente rápido para poner vallas alrededor de las IA en nombre del bien público.
Pero, ¿qué pasa con un modelo de lenguaje que puede construir usted mismo por 600 dólares? Un equipo de investigadores de Stanford ha hecho exactamente eso, y su impresionante desempeño destaca cuán rápido todo este sector, y sus asombrosas capacidades, podrían perder el control rápidamente.
Un equipo de investigación de Stanford comenzó con el modelo de lenguaje LLaMA 7B de código abierto de Meta, el más pequeño y económico de varios modelos LLaMA disponibles.
Pre-entrenado en un billón de "tokens", este pequeño modelo de lenguaje tenía una cierta cantidad de capacidad incorporada, pero se quedaría significativamente por detrás de ChatGPT en la mayoría de las tareas; el costo principal, y de hecho la principal ventaja competitiva, en los modelos GPT proviene en gran medida de la enorme cantidad de tiempo y mano de obra que OpenAI ha invertido en la capacitación posterior. Una cosa es haber leído mil millones de libros, pero otra es haber masticado grandes cantidades de pares de conversaciones de preguntas y respuestas que les enseñan a estas IA cuál será su trabajo real.
Entonces, con el modelo LLaMA 7B en funcionamiento, el equipo de Stanford básicamente le pidió a GPT que tomara 175 pares de instrucciones/salidas escritas por humanos y comenzara a generar más en el mismo estilo y formato, 20 a la vez. Esto se automatizó a través de una de las API proporcionadas de forma útil por OpenAI y, en poco tiempo, el equipo tenía unas 52.000 conversaciones de muestra para usar en el entrenamiento posterior del modelo LLaMA. Generar estos datos de capacitación masivos cuesta menos de US$500.
Luego, usaron esos datos para ajustar el modelo LLaMA, un proceso que tomó alrededor de tres horas en ocho computadoras de procesamiento en la nube A100 de 80 GB. Esto cuesta menos de US$100.
A continuación, probaron el modelo resultante, al que llamaron Alpaca, contra el modelo de lenguaje subyacente de ChatGPT en una variedad de dominios, incluida la escritura de correo electrónico, las redes sociales y las herramientas de productividad. Alpaca ganó 90 de estas pruebas, GPT ganó 89.
El equipo continuó diciendo que probablemente podrían haber hecho esto más barato si hubieran buscado optimizar el proceso. También vale la pena señalar que cualquiera que desee replicar una IA ahora tiene acceso al GPT 4.0 mucho más capaz, así como a varios modelos LLaMA más potentes para usar como base, y ciertamente no hay necesidad de detenerse en 52.000 preguntas.
El equipo de Stanford ha publicado las 52 000 preguntas utilizadas en esta investigación, junto con el código para generar más y el código que usaron para ajustar el modelo LLaMA, en Github. El equipo señala que "aún no hemos afinado el modelo de Alpaca para que sea seguro e inofensivo", y pide que cualquier persona que configure uno informe sobre los problemas de seguridad y ética que encuentre.
Entonces, ¿qué impide básicamente que alguien cree su propia IA mascota ahora, por unos cien dólares, y la entrene como quiera? Bueno, los términos de servicio de OpenAI dicen "usted no puede... usar la salida de los Servicios para desarrollar modelos que compitan con OpenAI". Y Meta dice que solo permite que los investigadores académicos usen LLaMA bajo licencias no comerciales en esta etapa, aunque eso es un punto discutible, ya que todo el modelo LLaMA se filtró en 4chan una semana después de su anuncio.
Ah, y otro grupo dice que logró eliminar el costo de la computación en la nube, lanzando más código en Github que puede ejecutarse en una Raspberry Pi y completar el proceso de capacitación en cinco horas en una sola tarjeta gráfica nVidia RTX 4090 de gama alta.
¿Qué significa todo esto? Bueno, significa que ahora se puede configurar un número ilimitado de modelos de lenguaje de forma no controlada, por parte de personas con conocimientos de aprendizaje automático que no se preocupan por los términos y condiciones o la piratería de software, con muy poca inversión.
También enturbia el agua para las empresas comerciales de IA que trabajan para desarrollar sus propios modelos de lenguaje; si gran parte del tiempo y los gastos involucrados se incurren en la fase posterior a la capacitación, y este trabajo puede ser más o menos robado en el tiempo que se tarda en responder 50 o 100.000 preguntas, ¿tiene sentido que las empresas sigan gastando este dinero?
Y para el resto de nosotros, bueno, es difícil decirlo, pero las asombrosas capacidades de este software sin duda podrían ser útiles para un régimen autoritario, una operación de phishing, un remitente de correo no deseado o cualquier otra persona poco fiable.
El genio salió de la botella y parece que ya es increíblemente fácil de replicar y volver a entrenar. Aférrense a sus sombreros.
Fuente: Stanford a través de AI explicado
COMENTARIOS