Google DeepMind apporte la traduction de la langue des signes aux téléphones avec SL2T – | Metaglossia: The Translation World | Scoop.it

"Google DeepMind a lancé un modèle de traduction de la langue des signes en texte, SL2T, dans deux produits Android grand public, la première fois que la technologie de reconnaissance de la langue des signes atteint une fonctionnalité de téléphone expédiée. Le modèle alimente la dictée de la langue des signes à texte dans Gboard et Live Transcribe sur les téléphones Pixel 11, avec une mise en ligne le 12 août 2026, pour la traduction de la langue des signes américaine en anglais.


 


La fonctionnalité fonctionne partout où un utilisateur taperait normalement. Un signeur sourd peut dicter une recherche Web, rédiger un message ou un document, ou interroger Gemini en signant à la caméra du téléphone au lieu de taper. Dans Live Transcribe, les signeurs peuvent répondre à une conversation signée plutôt que de taper des réponses. Google indique que les testeurs ont constaté que signer en langue des signes américaine était plus rapide et plus naturel que de taper en anglais.


 


SL2T est le premier modèle que Google décrit comme une avancée en termes de qualité et de généralité pour la traduction de la langue des signes. Il a été formé sur plus de 100 000 heures de données de signes, couvrant plus de 50 langues des signes, dont environ un quart des données en langue des signes américaine. La formation conjointe sur plusieurs langues, dialectes et niveaux de compétence a produit un modèle qui surpasse les systèmes à une langue dans les expériences de l’entreprise, selon l’annonce.


 


Ce que le modèle voit et comment il traduit


Le système ne traite pas les vidéos brutes du signeur. Un modèle sur appareil, MediaPipe Holistic, suit 130 points clés sur le visage, le corps et les mains, image par image, et seuls ces coordonnées géométriques quittent l’appareil pour la traduction. Le flux de caméra d’origine est immédiatement supprimé, une conception que Google présente comme une garantie de confidentialité.


 


À partir de ce flux de coordonnées, SL2T génère directement du texte en anglais, en sautant la couche d’annotation intermédiaire appelée gloses sur laquelle la plupart des systèmes de traduction de la langue des signes précédents reposaient. Les gloses attribuent des étiquettes fixes à des signes individuels, ce qui limite le vocabulaire et perd les marqueurs non manuels et les constructions spatiales qui portent un sens grammatical dans les langues des signes. La suppression de ce goulet d’étranglement permet à la qualité de la traduction d’évoluer avec les données de formation plutôt qu’avec un ensemble d’étiquettes construites à la main.


 


Les langues des signes sont des langues naturelles indépendantes avec leurs propres grammaires, et non des versions signées de l’anglais parlé. Cela rend la tâche une traduction automatique entre deux langues, plus un problème de vision par ordinateur difficile : le modèle doit suivre le mouvement simultané des mains, des bras, du torse, de la tête et du visage à des taux de trames élevés. Les tentatives antérieures de technologie de langue des signes, telles que les gants de capteur, ne pouvaient répondre à aucune de ces exigences.


 


Résultats des benchmarks et modèles d’erreur restants


Sur le benchmark FLEURS-ASL, qui mesure la traduction de la langue des signes américaine en anglais de langage complexe et abstrait enregistré dans des conditions de studio par des interprètes sourds certifiés, SL2T obtient un score de 70 BLEURT zero-shot, nettement supérieur aux résultats précédemment signalés, selon Google. L’entreprise signale également un score de 74 BLEURT sur une variante de signes à une main du benchmark et de 85 BLEURT sur PRESTO-ASL, un ensemble de données de phrases d’assistant signées à une tablette amarrée. Sur FSboard, un ensemble de données de signes manuels collecté à partir de signeurs sourds sur des appareils mobiles, le modèle atteint une précision d’appariement exact de 64 pour cent. Ce sont des chiffres rapportés par le fournisseur ; aucune évaluation indépendante n’a été publiée.


 


Google a publié des exemples côte à côte à partir de FLEURS-ASL montrant une sortie fluente aux côtés de modes d’échec identifiables. Le modèle remplace occasionnellement des signes rares et des signes manuels rapides, supprime les constructions passives et les dépeints de classeur, et perd la tension lorsque le contexte est manquant. Un exemple traduit « Ce volatile entièrement emplumé, à sang chaud » par « Cette créature est à sang chaud, mange du gris », une erreur de signe manuel substituant « gris » à « proie ».


 


Le modèle présente également un comportement résiduel d’hallucination, générant du texte lorsque personne ne signe, comme lorsque une deuxième personne entre dans le cadre ou que le signeur s’arrête. Google indique que la version de sortie a considérablement réduit ces erreurs par rapport aux versions préalables testées par les évaluateurs sourds en juillet 2026, mais ne les a pas éliminées.


 


Où Google dit que l’outil ne doit pas être utilisé


La sortie comporte une couche inhabituelle de gouvernance. Google DeepMind a réuni un comité consultatif, le Comité consultatif AI de la langue des signes, qui rassemble des organisations sourdes, notamment l’Association nationale des sourds, la Fédération mondiale des sourds, le Réseau professionnel des arts sourds et l’Institut national technique pour les sourds de l’Institut de technologie de Rochester. Le comité a co-rédigé un rapport d’impact conjoint qui définit ce que la technologie est et où elle s’arrête.


 


Le rapport définit SL2T 1.0 comme un outil d’aide à la génération de brouillons pour des paramètres informels à faible enjeu : messagerie, recherche, navigation, prise de notes et conversations de personne à personne occasionnelles. Il exclut explicitement les consultations médicales, les procédures judiciaires, les interactions avec la police, l’enseignement en classe, les entretiens d’embauche et les déterminations de prestations gouvernementales. Il indique également que l’outil ne satisfait pas aux obligations légales en matière d’adaptations raisonnables en vertu de la loi sur les Américains handicapés ou de cadres équivalents, et qu’il ne doit pas être utilisé par les institutions pour se substituer à des interprètes humains certifiés.


 


Le signeur reste dans la boucle tout au long du processus. Les deux applications affichent une prévisualisation du texte que l’utilisateur peut examiner et modifier avant de l’envoyer, et dans Live Transcribe, l’utilisateur sourd contrôle quand le texte traduit est affiché à un partenaire de conversation. Le rapport note que cette garantie suppose une littératie fonctionnelle en anglais pour détecter les erreurs.


 


Comment SL2T se comporte dans les limites du modèle


Le rapport d’impact recense les limites techniques du modèle en détail. La précision se dégrade dans les conditions de faible luminosité, de contre-jour intense ou lorsque les vêtements réduisent le contraste avec les mains et le visage. Le suiveur de pose ne suit que le sujet le plus grand dans le cadre et ne peut pas gérer plusieurs signeurs. Les performances chutent à des angles de caméra extrêmes ou lorsque le signeur est allongé. Les clips d’entrée sont limités à 60 secondes, et chaque clip est traduit de manière indépendante, sans mémoire des tours de conversation précédents. Le modèle n’a pas été formé ou évalué sur des signeurs de moins de 18 ans. Il ne prend en charge aucune liste de mots personnalisés, aucun nom de signe ni aucune préférence de dialecte.


 


Les mises à jour à court terme déjà sur la feuille de route incluent la dictée de signes de ponctuation, de nouvelles lignes, d’émoticônes et de commandes de base d’édition, ainsi que la mémoire de conversation sur des clips séquentiels dans Live Transcribe. Les objectifs de recherche à long terme incluent une meilleure sensibilité aux marqueurs non manuels tels que les expressions faciales et la position des sourcils, une prise en charge de plusieurs signeurs et une expansion de la collecte de données sur les dialectes régionaux de la langue des signes américaine et la langue des signes noire américaine.


 


Le projet a été lancé par Sam Sepah, un Googler sourd, et les perspectives sourdes ont été intégrées dans la collecte de données, les études d’utilisateurs et l’évaluation. Google décrit le lancement de SL2T comme le début d’un effort plus long : des langues des signes supplémentaires, la génération de la langue des signes et des capacités de frontière plus larges sont toutes répertoriées comme travaux actifs. La fonctionnalité est livrée sur Pixel 11 sans frais supplémentaires, avec davantage d’appareils à suivre, dans la collecte de données, les études d’utilisateurs et l’évaluation. Google décrit le lancement de SL2T comme le début d’un effort plus long : des langues des signes supplémentaires, la génération de la langue des signes et des capacités de frontière plus larges sont toutes répertoriées comme travaux actifs. La fonctionnalité est livrée sur Pixel 11 sans frais supplémentaires, avec davantage d’appareils à suivre."


 


https://www.unite.ai/fr/google-deepmind-brings-sign-language-translation-to-phones-with-sl2t/


#metaglossia 


#metaglossia_mundus