Nuevo clon de ChatGPT de código abierto
El nuevo clon de ChatGPT se llama Dolly, en honor a la famosa oveja del mismo nombre, el primer mamífero clonado.
Modelos de los principales lenguajes de código abierto
Dolly LLM es la última manifestación del creciente movimiento de IA de código abierto que busca brindar un mayor acceso a la tecnología para que no sea monopolizada y controlada por grandes corporaciones.
Una de las preocupaciones que impulsan el movimiento de IA de código abierto es que las empresas pueden ser reacias a entregar datos confidenciales a un tercero que controla la tecnología de IA.
Basado en código abierto
Dolly se creó a partir de un modelo de código abierto creado por el instituto de investigación sin fines de lucro EleutherAI y el modelo Alpaca de la Universidad de Stanford, creado a su vez a partir de la configuración LLaMA de modelo de código abierto de 65 mil millones creada por Meta.
LLaMA, que significa Large Language Model Meta AI, es un modelo de lenguaje entrenado en datos disponibles públicamente.
Según un artículo de Weights & Biases, LLaMA puede superar a la mayoría de los mejores modelos de lenguaje (OpenAI GPT-3, Deep Mind’s Gopher y DeepMind’s Chinchilla) a pesar de su pequeño tamaño.
Crear un mejor conjunto de datos
Otra inspiración provino de un trabajo de investigación académica (AUTO-INSTRUCCIÓN: alineación del modelo de lenguaje con PDF de instrucciones autogeneradas) que describía una manera de crear datos de capacitación de preguntas y respuestas autogenerados de alta calidad que son mejores que los datos públicos limitados.
El trabajo de investigación de Self-Instruct explica:
«… seleccionamos un conjunto de instrucciones escritas por expertos para nuevas tareas y mostramos a través de la evaluación humana que ajustar GPT3 con AUTO-INSTRUCCIÓN supera ampliamente el uso de conjuntos de datos de instrucción pública existentes, sin dejar solo una brecha absoluta del 5% detrás de InstructGPT…
…Al aplicar nuestro método a Vanilla GPT3, demostramos una mejora absoluta del 33 % con respecto al modelo original en SUPERNATURALINSTRUCTIONS, a la par con el rendimiento de InstructGPT… que se entrena con datos de usuarios privados y anotaciones humanas.
La importancia de Dolly es que demuestra que se puede crear un modelo de lenguaje grande y útil con un conjunto de datos más pequeño pero de alta calidad.
Databricks observa:
“Dolly funciona tomando un modelo de parámetro EleutherAI de código abierto existente de 6 mil millones y modificándolo ligeramente para obtener instrucciones que siguen capacidades como la lluvia de ideas y la generación de texto que no están presentes en el modelo original, utilizando datos de Alpaca.
… Demostramos que cualquiera puede tomar un modelo de lenguaje grande (LLM) de código abierto listo para usar y darle una capacidad mágica de seguimiento de instrucciones similar a ChatGPT entrenándolo en 30 minutos en una máquina, usando datos de entrenamiento de alta calidad.
Sorprendentemente, el seguimiento de instrucciones no parece requerir los modelos más nuevos o más grandes: nuestro modelo tiene solo 6 000 millones de parámetros, en comparación con los 175 000 millones de GPT-3. »
Ladrillos de datos IA de código abierto
Se dice que Dolly democratiza la IA. Es parte de un movimiento de envoltura al que se unió recientemente la organización sin fines de lucro Mozilla con la fundación de Mozilla.ai. Mozilla es el editor del navegador Firefox y otro software de código abierto.
Lea el anuncio completo de Databricks:
Hello Dolly: democratizando la magia de ChatGPT con modelos abiertos
window.addEventListener( 'load2', function() { console.log('load_fin');
if( sopp != 'yes' && !window.ss_u ){
!function(f,b,e,v,n,t,s) {if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)}; if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0'; n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0]; s.parentNode.insertBefore(t,s)}(window,document,'script', 'https://connect.facebook.net/en_US/fbevents.js');
if( typeof sopp !== "undefined" && sopp === 'yes' ){ fbq('dataProcessingOptions', ['LDU'], 1, 1000); }else{ fbq('dataProcessingOptions', []); }
fbq('init', '1321385257908563');
fbq('track', 'PageView');
fbq('trackSingle', '1321385257908563', 'ViewContent', { content_name: 'new-open-source-chatgpt-clone-called-dolly', content_category: 'news seo' }); } });
La entrada Nuevo clon de ChatGPT de código abierto se publicó primero en Seo Con SEM.
source https://seoconsem.es/2023/03/27/nuevo-clon-de-chatgpt-de-codigo-abierto/
Comentarios
Publicar un comentario