Cómo funciona el modelo de lenguaje para aplicaciones de diálogo
Google estudió modelos basados en el lenguaje durante varios años con la esperanza de entrenar un modelo que esencialmente pudiera mantener una conversación lógica y perspicaz sobre cualquier tema.
Hasta ahora, Google LaMDA parece ser el más cercano a alcanzar este hito.
¿Qué es Google LaMDA?
LaMDA, que significa Language Models for Dialog Application, se creó para permitir que el software participe mejor en una conversación fluida y natural.
LaMDA se basa en la misma arquitectura de transformadores que otros modelos de lenguaje como BERT y GPT-3.
Sin embargo, gracias a su capacitación, LaMDA puede entender preguntas y conversaciones matizadas que cubren varios temas diferentes.
Con otros modelos, debido a la naturaleza abierta de las conversaciones, podrías terminar hablando de algo completamente diferente, incluso si inicialmente te enfocas en un tema.
Este comportamiento puede confundir fácilmente a la mayoría de los modelos conversacionales y chatbots.
En el anuncio de Google I/O del año pasado, vimos que LaMDA fue diseñado para superar estos problemas.
La demostración demostró cómo el modelo podía conducir naturalmente una conversación sobre un tema aleatorio.
A pesar de la avalancha de preguntas vagamente asociadas, la conversación se mantuvo encaminada, lo cual fue increíble de ver.
¿Cómo funciona LaMDA?
LaMDA se creó sobre la red neuronal de código abierto de Google, Transformer, que se utiliza para la comprensión del lenguaje natural.
El modelo está entrenado para encontrar patrones en oraciones, correlaciones entre diferentes palabras utilizadas en esas oraciones e incluso predecir qué palabra es probable que venga a continuación.
Lo hace mediante el estudio de conjuntos de datos formados por diálogos en lugar de solo palabras individuales.
Aunque un sistema de IA conversacional es similar al software de chatbot, existen algunas diferencias clave entre los dos.
Por ejemplo, los chatbots están capacitados en conjuntos de datos limitados y específicos y solo pueden tener una conversación limitada en función de los datos exactos y las preguntas en las que están capacitados.
Por otro lado, dado que LaMDA está capacitado en varios conjuntos de datos diferentes, puede tener conversaciones abiertas.
Durante el proceso de formación, capta los matices del diálogo abierto y se adapta.
Puede responder preguntas sobre muchos temas diferentes, dependiendo de cómo vaya la conversación.
Por lo tanto, permite conversaciones aún más similares a la interacción humana de lo que a menudo pueden proporcionar los chatbots.
¿Cómo se forma LaMDA?
Google explicó que LaMDA tiene un proceso de capacitación de dos pasos, que incluye capacitación previa y ajuste.
En total, el modelo se entrena en 1,56 billones de palabras con 137 mil millones de parámetros.
Pre-entrenamiento
Para la fase de precapacitación, el equipo de Google creó un conjunto de datos de 1,56 T palabras a partir de varios documentos web públicos.
Luego, este conjunto de datos se tokeniza (se transforma en una cadena de caracteres para formar oraciones) en tokens 2.81T, en los que se entrena inicialmente el modelo.
Durante el entrenamiento previo, el modelo usa paralelización general y escalable para predecir la siguiente parte de la conversación en función de los tokens anteriores que ha visto.
Sintonia FINA
LaMDA está capacitado para realizar tareas de generación y clasificación durante la fase de depuración.
Esencialmente, el generador LaMDA, que predice la siguiente parte del diálogo, genera múltiples respuestas relevantes basadas en la conversación de ida y vuelta.
Los clasificadores de LaMDA luego predecirán los puntajes de seguridad y calidad para cada respuesta posible.
Cualquier respuesta con un puntaje de seguridad bajo se filtra antes de que se seleccione la respuesta con la calificación más alta para continuar la conversación.
Las puntuaciones se basan en la seguridad, la sensibilidad, la especificidad y los porcentajes de interés.
Imagen del blog de Google AI, marzo de 2022El objetivo es garantizar que se brinde la respuesta más relevante, de alta calidad y, en última instancia, más segura.
Objetivos y métricas clave de LaMDA
Se han definido tres objetivos principales para el modelo para guiar el entrenamiento del modelo.
Estos son calidad, seguridad y anclaje.
Calidad
Esto se basa en tres dimensiones del evaluador humano:
- Sensibilidad.
- especificidad
- Interesar.
El puntaje de calidad se usa para garantizar que una respuesta tenga sentido en el contexto en el que se usa, sea específica para la pregunta formulada y se considere lo suficientemente perspicaz para crear un mejor diálogo.
Seguridad
Para garantizar la seguridad, el modelo sigue los estándares de IA responsable. Se utiliza un conjunto de objetivos de seguridad para capturar y examinar el comportamiento del modelo.
Esto garantiza que la salida no proporcione respuestas no deseadas y evita sesgos.
Enraizamiento
El arraigo se define como «el porcentaje de respuestas que contienen afirmaciones sobre el mundo exterior».
Esto se utiliza para garantizar que las respuestas sean «tan precisas como sea posible, lo que permite a los usuarios juzgar la validez de una respuesta en función de la confiabilidad de su fuente».
Valoración
A través de un proceso continuo de cuantificación del progreso, se examinan las respuestas del modelo preentrenado, el modelo refinado y los evaluadores humanos para evaluar las respuestas frente a las medidas de calidad, seguridad y anclaje antes mencionadas.
Hasta el momento, han podido concluir que:
- Las métricas de calidad mejoran con el número de parámetros.
- La seguridad mejora con el ajuste fino.
- El anclaje mejora a medida que aumenta el tamaño del modelo.
Imagen del blog de Google AI, marzo de 2022¿Cómo se utilizará LaMDA?
Aunque todavía es un trabajo en progreso sin una fecha de lanzamiento firme, se espera que LaMDA se use en el futuro para mejorar la experiencia del cliente y permitir que los chatbots brinden una conversación más humana.
Además, usar LaMDA para navegar en el motor de búsqueda de Google es una posibilidad real.
Implicaciones de LaMDA para SEO
Al centrarse en los modelos lingüísticos y conversacionales, Google ofrece información sobre su visión del futuro de la búsqueda y destaca un cambio en la forma en que se desarrollarán sus productos.
En última instancia, esto significa que bien podría haber un cambio en el comportamiento de búsqueda y en la forma en que los usuarios buscan productos o información.
Google trabaja constantemente para mejorar la comprensión de la intención de búsqueda de los usuarios para garantizar que reciban los resultados más útiles y relevantes en los SERP.
El modelo LaMDA será, sin duda, una herramienta clave para comprender las preguntas que los investigadores puedan plantearse.
Todo esto subraya aún más la necesidad de garantizar que el contenido esté optimizado para humanos en lugar de motores de búsqueda.
Asegurarse de que el contenido sea conversacional y esté escrito teniendo en cuenta a su público objetivo significa que incluso a medida que Google avanza, el contenido aún puede funcionar bien.
También es esencial actualizar el contenido en curso con regularidad para garantizar que cambie con el tiempo y siga siendo relevante.
En un artículo titulado Repensar la investigación: convertir a los diletantes en expertosLos ingenieros de búsqueda de Google han compartido cómo prevén que los avances de IA como LaMDA mejorarán aún más la «búsqueda como una conversación con expertos».
Compartieron un ejemplo en torno a la pregunta de investigación: «¿Cuáles son los beneficios para la salud y los riesgos del vino tinto?»
Actualmente, Google mostrará una lista de respuestas con viñetas como respuestas a esta pregunta.
Sin embargo, sugieren que en el futuro, una respuesta bien podría ser un párrafo que explique los beneficios y riesgos del vino tinto, con enlaces a la información de origen.
Por lo tanto, garantizar que el contenido esté respaldado por fuentes expertas será más importante que nunca si Google LaMDA genera resultados de búsqueda en el futuro.
Superar desafíos
Como con cualquier modelo de IA, hay desafíos que superar.
Los dos desafíos principales que enfrentan los ingenieros con Google LaMDA son la seguridad y el anclaje.
Seguridad: evitar sesgos
Dado que puede obtener respuestas de cualquier parte de la web, el resultado puede amplificar los sesgos, reflejando nociones compartidas en línea.
Es importante que la responsabilidad sea primero con Google LaMDA para asegurarse de que no genere resultados impredecibles o dañinos.
Para ayudar a superar esto, Google ha abierto los recursos utilizados para analizar y entrenar los datos.
Esto permite que diversos grupos participen en la creación de conjuntos de datos utilizados para entrenar el modelo, ayudar a identificar cualquier sesgo que exista y minimizar el intercambio de información dañina o engañosa.
Evidencia base
No es fácil validar la fiabilidad de las respuestas que producen los modelos de IA, ya que las fuentes se recopilan por toda la web.
Para superar este desafío, el equipo permite que el modelo consulte múltiples fuentes externas, incluidos sistemas de recuperación de información e incluso una calculadora, para brindar resultados precisos.
La métrica Groundedness compartida anteriormente también garantiza que las respuestas se basen en fuentes conocidas. Estas fuentes se comparten para permitir a los usuarios validar los resultados proporcionados y evitar la difusión de información falsa.
¿Qué sigue para Google LaMDA?
Google tiene claro que los modelos de diálogo abierto como LaMDA tienen beneficios y riesgos y se compromete a mejorar la seguridad y el anclaje para garantizar una experiencia más confiable e imparcial.
Entrenar modelos LaMDA en diferentes datos, incluidas imágenes o videos, es otra cosa que podríamos ver en el futuro.
Esto abre la capacidad de navegar por la web aún más, utilizando indicaciones de conversación.
El CEO de Google, Sundar Pichai, dijo sobre LaMDA: «Creemos que las capacidades conversacionales de LaMDA tienen el potencial de hacer que la información y la computación sean radicalmente más accesibles y fáciles de usar».
Aunque aún no se ha confirmado una fecha de lanzamiento, no hay duda de que modelos como LaMDA serán el futuro de Google.
Más recursos:
Imagen destacada: Andrey Suslov/Shutterstock
!function(f,b,e,v,n,t,s) {if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)}; if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0'; n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0]; s.parentNode.insertBefore(t,s)}(window,document,'script', 'https://connect.facebook.net/en_US/fbevents.js');
if( typeof sopp !== "undefined" && sopp === 'yes' ){ fbq('dataProcessingOptions', ['LDU'], 1, 1000); }else{ fbq('dataProcessingOptions', []); }
fbq('init', '1321385257908563');
fbq('track', 'PageView');
fbq('trackSingle', '1321385257908563', 'ViewContent', { content_name: 'how-google-lamda-works', content_category: 'seo ' });
La entrada Cómo funciona el modelo de lenguaje para aplicaciones de diálogo se publicó primero en Seo Con SEM.
source https://seoconsem.es/2022/03/24/como-funciona-el-modelo-de-lenguaje-para-aplicaciones-de-dialogo/
Comentarios
Publicar un comentario