Google BERT, es la actualización algorítmica más reciente del gigante tecnológico. Ayuda a Google a entender mejor el lenguaje natural, especialmente en la búsqueda conversacional.
El BERT afectará aproximadamente al 10% de las consultas. También tendrá un impacto en las clasificaciones orgánicas y en los fragmentos destacados. Así que este no es un cambio pequeño.
Pero, ¿sabías que el BERT no es una actualización algorítmica cualquiera, sino también un marco de trabajo de investigación para el procesamiento del lenguaje natural en papel y en máquina?
Google BERT: ¿qué es? ¿Cómo funciona?
De hecho, en el año anterior a su implementación, el BERT ha causado una tormenta frenética de actividad en la búsqueda de producción.
He aquí un resumen de los aspectos más resaltantes de este tópico.
¿Qué es BERT en la búsqueda?
BERT, que significa Bidirectional Encoder Representations from Transformers, es en realidad muchas cosas. Como algoritmo de búsqueda, ayuda a entender el tono y el contexto de las palabras en las búsquedas realizadas por el usuario y encontrar una mejor coincidencia de esa consulta con resultados favorables y útiles.
Además, el BERT es un marco de trabajo de procesamiento de lenguaje natural (PLN) que Google produjo y luego de código abierto para que todo el campo de investigación de procesamiento de lenguaje natural pudiera realmente mejorar la comprensión del lenguaje natural en general.
Hay muchos documentos reales sobre el BERT que están siendo realizados por otros investigadores que no están utilizando lo que usted consideraría como la actualización del algoritmo Google BERT.
Lo alcances de BERT
BERT ha acelerado dramáticamente la comprensión del lenguaje natural (CLN) más que nada y el cambio de Google a BERT de código abierto probablemente ha cambiado el procesamiento del lenguaje natural para siempre.
Las comunidades de máquinas que aprenden (MA) y PLN están muy entusiasmadas con el BERT, ya que requiere una gran cantidad de esfuerzo para poder llevar a cabo investigaciones en lenguaje natural. Ha sido pre-entrenado en un montón de palabras, y en el conjunto de la Wikipedia en inglés 2.500 millones de palabras.
Vanilla BERT proporciona una capa de punto de partida pre-entrenada para redes neuronales en el aprendizaje automático y en tareas diversas de lenguaje natural.
Mientras que el BERT ha sido pre-entrenado en Wikipedia, está afinado en conjuntos de datos de preguntas y respuestas.
Uno de esos conjuntos de datos de preguntas y respuestas en los que se puede ajustar se llama MS MARCO: A Human Generated MAchine Reading COmprehension Dataset construido y de código abierto por Microsoft.
Hay preguntas y respuestas reales de Bing (consultas anónimas de usuarios reales de Bing) que han sido incorporadas en un conjunto de datos con preguntas y respuestas para que los investigadores de MA y PLN las afinen y luego compitan entre sí para construir el mejor modelo.
Los investigadores también compiten por el entendimiento del lenguaje natural con SQuAD (Stanford Question Answering Dataset). BERT ahora incluso supera el punto de referencia del razonamiento humano en SQuAD.
Muchas compañías en pos de la mejora
Muchas de las principales compañías de IA también están construyendo versiones BERT:
- Microsoft se extiende en BERT con MT-DNN (Multi-Task Deep Neural Network).
- RoBERTa de Facebook.
- SuperGLUE Benchmark fue creado porque el GLUE Benchmark original se hizo demasiado fácil.
Cómo funciona el BERT
Los modelos de lenguaje anteriores (como Word2Vec y Glove2Vec) construyeron incrustaciones de palabras sin contexto. El BERT, por su parte, proporciona «contexto». Para entender mejor cómo funciona el BERT, veamos qué significa el acrónimo.
B: Bi-direccional
Anteriormente, todos los modelos de lenguaje (por ejemplo, Skip-gram y Continuous Bag of Words) eran unidireccionales, por lo que sólo podían mover la ventana de contexto en una dirección: una ventana móvil de «n» palabras (a la izquierda o a la derecha de una palabra de destino) para entender el contexto de la palabra.
La mayoría de los modeladores de lenguaje son unidireccionales. Pueden atravesar la ventana de contexto de la palabra sólo de izquierda a derecha o de derecha a izquierda. Sólo en una dirección, pero no en ambas al mismo tiempo.
BERT es diferente. El BERT utiliza un modelo de lenguaje bidireccional (que es el PRIMERO). BERT puede ver la oración COMPLETA a ambos lados de un modelo de lenguaje contextual de palabras y todas las palabras casi a la vez.
ER: Representaciones del codificador
Lo que se codifica se decodifica. Es un mecanismo de entrada y salida.
T: Transformadores
El BERT utiliza «transformadores» y «modelos de lenguaje enmascarados».
Uno de los grandes problemas con la comprensión del lenguaje natural en el pasado ha sido no poder entender en qué contexto se está refiriendo una palabra.
Pronombres, por ejemplo. Es muy fácil perder la pista de quién es de quién está hablando alguien en una conversación. Incluso los humanos pueden tener dificultades para saber a quién se refiere alguien en una conversación todo el tiempo.
Te gustará leer: Que es una landing page y porque utilizarlas en marketing digital
Eso es similar para los motores de búsqueda, pero ellos luchan por seguir la pista cuando dices «él», «ellos», «ella», «nosotros», «ella», «él», etc.
Así que la parte de atención de los transformadores se centra en los pronombres y en todos los significados de las palabras que van juntos para tratar de relacionar a quién se le está hablando o de qué se está hablando en un contexto dado.
El modelado de lenguaje enmascarado impide que la palabra de destino se vea a sí misma. Cuando la máscara está en su lugar, BERT simplemente adivina cuál es la palabra que falta. También es parte del proceso de ajuste.
Hay cosas que los humanos entendemos fácilmente y que las máquinas no entienden en absoluto, incluyendo los motores de búsqueda.
La comprensión del BERT de los matices del lenguaje humano va a marcar una gran diferencia en cuanto a la forma en que Google interpreta las consultas, ya que la gente está buscando obviamente con más tiempo, cuestionando las consultas.
