Recherche vocale Google
Google est l'un des pionniers de la recherche sur l'IA et une multitude de leurs projets ont fait tourner les têtes. AlphaZero de Google DeepMind a été une percée dans la recherche sur l'IA, en raison de la capacité du programme à apprendre par lui-même des jeux compliqués (sans formation et intervention humaines). Google a également fait un excellent travail Programmes de traitement du langage naturel (PNL), qui est l'une des raisons de l'efficacité de Google Assistant dans la compréhension et le traitement de la parole humaine.
Google a récemment annoncé la sortie de trois nouveaux UTILISER des modules multilingues et fournir plus de modèles multilingues pour récupérer du texte sémantiquement similaire.
Les deux premiers modules fournissent des modèles multilingues pour la récupération de texte sémantiquement similaire, l'un optimisé pour les performances de récupération et l'autre pour la vitesse et une moindre utilisation de la mémoire. Le troisième modèle est spécialisé pour recherche de questions-réponses en seize langues (USE-QA) et représente une application entièrement nouvelle de USE. Les trois modules multilingues sont formés à l'aide d'un framework multi-tâches à double encodeur , similaire au modèle USE original pour l'anglais, tout en utilisant des techniques que nous avons développées pour améliorer le codeur double avec approche softmax de marge additive . Ils sont conçus non seulement pour maintenir de bonnes performances d'apprentissage par transfert, mais aussi pour effectuer de bonnes tâches de recherche sémantique.
Le traitement du langage dans les systèmes a parcouru un long chemin, de l'analyse syntaxique de base de l'arbre aux grands modèles d'association vectorielle. La compréhension du contexte dans le texte est l'un des plus gros problèmes dans le domaine de la PNL et Universal Sentence Encoder résout ce problème en convertissant le texte en vecteurs de grande dimension, ce qui facilite le classement et la dénotation du texte.
Source de la structure de marquage UTE - Blog Google
Selon Google, ' Les trois nouveaux modules sont tous construits sur une architecture de récupération sémantique, qui divise généralement le codage des questions et des réponses en réseaux de neurones distincts, ce qui permet de rechercher parmi des milliards de réponses potentielles en quelques millisecondes. »En d'autres termes, cela contribue à une meilleure indexation des données.
' Les trois modules multilingues sont formés à l'aide d'un framework multi-tâches à double encodeur , similaire au modèle USE original pour l'anglais, tout en utilisant des techniques que nous avons développées pour améliorer le codeur double avec approche softmax de marge additive . Ils sont conçus non seulement pour maintenir de bonnes performances d'apprentissage par transfert, mais aussi pour effectuer de bonnes tâches de récupération sémantique . » La fonction Softmax est souvent utilisée pour économiser de la puissance de calcul en exponentiant les vecteurs, puis en divisant chaque élément par la somme de l'exponentielle.
Architecture de récupération sémantique
«Les trois nouveaux modules sont tous construits sur des architectures de récupération sémantique, qui divisent généralement le codage des questions et des réponses en réseaux de neurones distincts, ce qui permet de rechercher parmi des milliards de réponses potentielles en quelques millisecondes. La clé de l'utilisation de deux encodeurs pour une récupération sémantique efficace est de pré-encoder toutes les réponses candidates aux requêtes d'entrée attendues et de les stocker dans une base de données vectorielle optimisée pour résoudre les problème de voisin le plus proche , ce qui permet de rechercher rapidement un grand nombre de candidats avec précision et rappel . '
Vous pouvez télécharger ces modules à partir de TensorFlow Hub. Pour en savoir plus, consultez la version complète de GoogleAI blogpost .
Mots clés Google
