Intelligence artificielle et surdité

Emmanuelle ABOAF

AFDEO – 8 février 2023

Mon expérience

Démos

Démo 1 : Samuel

Texte à vocaliser

Les services publics numériques et certains services privés ont l'obligation d'être accessibles de façon équivalente à tout citoyen, qu'il soit ou non en situation de handicap (visuel, auditif, moteur, trouble dys...). Un service numérique accessible est plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous. Pour faciliter la mise en œuvre de l'accessibilité numérique, la DINUM édite depuis 2009 le référentiel général d'amélioration de l'accessibilité – RGAA, créé pour mettre en œuvre l'article 47 de la loi handicap de 2005 et son décret d'application actualisé en 2019. Il fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du Web mais aussi aux changements de normes et réglementations.

Deepgram

Les services publics numérique et certains services privées ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'elle soit ou non en situation de handicap visuel auditif moteur troubles 10 etc un service numérique accessible plus facile à utiliser pour les personnes handicapées et de qualité pour tous faciliter la mise en oeuvre de l'accessibilité numérique la et dite depuis 2009 le référentiel général d'amélioration de l'accessibilité rg créée pour mettre en oeuvre l'article 47 dans la loi handicap 2005 et son décret d'application actu en 2019 fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du web et aussi au changements de normes et réglementations

77,78 % de réussite

Google

Les services publics numérique et certains services privés ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'ils soient ou non en situation de handicap visuel auditif moteur trouble et cetera un service numérique accessible et plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en œuvre de l'accessibilité numérique l'a dit num et depuis 2009 le référentiel général d'amélioration de l'accessibilité RG2 a créé pour mettre en œuvre l'article 47 de la loi Handicap 2005 et son décret d'applicationactualisant demain il fait régulièrement l'objet de nouvelle version est mise à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglementations

85,47 % de réussite

Microsoft

les services publics numériques et certains services privés ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'il soit ou non en situation de handicap visuel auditif moteur trouble 10 et cetera un service numérique accessible et plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en œuvre de l'accessibilité numérique la dinum édite depuis 2009 le référentiel général d'amélioration de l'accessibilité RG 2A crée pour mettre en œuvre l'article 47 de la loi handicap de 2005 et son décret d'application actualité en 2019 il fait réulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglementations

94,87% de réussite

Mozilla

les services publics numérique certains services privés ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'ils soient ou non en situation de handicap visuel auditif moteur trouble.dys cetera un service numérique accessible est plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en œuvre de l'accessibilité numérique l'a dit num et dit depuis 2009 le référentiel général d'amélioration de l'accessibilité RG2 a créé pour mettre en œuvre l'article 47 de la loi Handicap 2005 et son décret d'application actualiser en 2019 il fait régulièrement l'objet de nouvelle version est mise à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglementations.

86,32% de réussite

Démo 2 : Anne-Laure

Texte à vocaliser

Les services publics numériques et certains services privés ont l'obligation d'être accessibles de façon équivalente à tout citoyen, qu'il soit ou non en situation de handicap (visuel, auditif, moteur, trouble dys...). Un service numérique accessible est plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous. Pour faciliter la mise en œuvre de l'accessibilité numérique, la DINUM édite depuis 2009 le référentiel général d'amélioration de l'accessibilité – RGAA, créé pour mettre en œuvre l'article 47 de la loi handicap de 2005 et son décret d'application actualisé en 2019. Il fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du Web mais aussi aux changements de normes et réglementations.

Deepgram

les services publics numériques et certains services privés ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'il soit ou non en situation du handicap et visuel auditif moteur troubles 10 etc et un service numérique accessible est plus facile à utiliser pour les personnes handicapée et de meilleure qualité pour tous faciliter la mise en oeuvre de l'accessiblité numérique la est dite depuis 2009 le référentiel général d'amélioration de l'accessibilité rg créé pour mettre en oeuvre l'article de la loi handicap de 2005 et son décret d'application actu en 2019 il fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du web aussi au changement de normes et réglementations

85,47 % de réussite

Google

les services publics numérique et certains services privés ont l'obligation d'etre accessible de façon équivalente à tout citoyen qu'ils soient ou non en situation de handicap visuel auditif moteur trouble et cetera un service numérique accessible et plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en oeuvre de l'accessibilité numérique l'a dit num et depuis 2009 le référentiel général d'amélioration de l'accessibilité RG2 a créé pour mettre en euvre l'article 47 d la loi Handicap de 2005 et son décret d'application actualiser en 2019 il fait régulièrement l'objet de nouvelle version est mise à jour pour s'adapter aux évolutions du web et aussi au changement de normes et réglementations

85,47 % de réussite

Microsoft

les services publics numériques et certains services privés ont l'obligation d'être accesible de façon équivalente à tout citoyen qu'il soit ou non en situation de handicap visuel auditif moteur trouble 10 et cetera un service numérique accessible et plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en euvre de l'accessibilité numérique la dénommée dite depuis 2009 le référentiel général d'amélioration de l'accessibilité RG 2A créée pour mettre en oeuvre l'article 47 de la loi Handicap de 2005 et son décret d'application actualisé en 2019 il fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du web mais aussi au changement de normes et réglémentations

91,45% de réussite

Mozilla

les services publics numérique et certains services privés ont l'obligation d'être accessible de façon équivalente à tout citoyen qu'ils soient ou non en situation handicap visuel auditif moteur trouble.dys et cetera un service numérique accessible est plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous pour faciliter la mise en oeuvre de l'accessibilité numérique l'a dit num et dit depuis 2009 le référentiel général d'amélioration de l'accessibilité RG 2 a créé pour mettre en oeuvre l'article 47 de la loi Handicap de 2005 et son décret d'application actualiser en 2019 il fait régulièrement l'objet de nouvelle version est mise à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglémentations

87,17 % de réussite

Démo 3 : Emmanuelle

Texte à vocaliser

Les services publics numériques et certains services privés ont l'obligation d'être accessibles de façon équivalente à tout citoyen, qu'il soit ou non en situation de handicap (visuel, auditif, moteur, trouble dys...). Un service numérique accessible est plus facile à utiliser pour les personnes handicapées et de meilleure qualité pour tous. Pour faciliter la mise en œuvre de l'accessibilité numérique, la DINUM édite depuis 2009 le référentiel général d'amélioration de l'accessibilité – RGAA, créé pour mettre en œuvre l'article 47 de la loi handicap de 2005 et son décret d'application actualisé en 2019. Il fait régulièrement l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du Web mais aussi aux changements de normes et réglementations.

Deepgram

les services plus certain service privé une l'obligation d'être accessible de façon équivalente à tout citoyen ils soient où non en situation de handicap visuel auditif moteur un service numérique accessible et pu facile à utiliser pour les personnes en handicapées de meilleure qualité pour tous pour faciliter la mise en euvre de l'accessibilité inédite depuis 2009 ne référentiel général d'amélioration de l'accessibilité perché 2 pour mettre en oeuvre en de la loi on et de 2005 sont des prêts en 2019 il régulièrement l'objet de nouvelles version et mise à jour pousse la aux évolutions du web mais aussi au changements de normes et expérimentation

67,52 % de résultat

Google

mes services numériques et certains services privés une obligation d'être incessible de façon et ils sont à tous les citoyens soient ou non en situation de handicap visuel auditif hauteur trompé dit un service numérique incessible et plus facile à utiliser pour les personnes en est de meilleure qualité pour tous pour faciliter la mise en oeuvre de la nuit depuis 2009 le référentiel général ration de la sociabilité chercher 2 ans pour mettre en oeuvre l'article 41 de la loi 2005 et son décret d'application actualiser en 2019 il fait hier m'enlève j'ai des nouvelles versions et mise à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglementations

74,35 % de résultat

Microsoft

les services publics numériques et certains services privés ont l'obligation d'être accessible de façon unie valente à tout citoyen il soit ou non en situation de handicap visuel audtif moteur trompé 10 un service numérique incessible et plus facile à utiliser pour les personnes handicapées et limière pour tous pour faciliter la mise en oeuvre de la cessibilité numérique qui 2009 le référentiel général d'amélioration de l'accessibilité RG 2A créée pour mettre en oeuvre l'article enceinte de la loi handicap 2005 ils sont des applications actualisées en 2009 il fait l'objet de nouvelles versions et mises à jour pour s'adapter aux évolutions du web mais aussi au changement de norme et réglementation

77,78 % de résultat

Mozilla

mes services numériques et certains services privés une obligation d'être incessible de façon et ils sont à tous citoyens ils sont ou non en situation de handicap visuel auditif hauteur trompé 10 un service numérique accessible est plus facile à utiliser pour les personnes handicapées et demi-heure a été pour tous pour faciliter la mise en oeuvre de l'accessibilité et depuis 2009 le référentiel général Damien ration de l'accessibilité chercher 2 ans pour mettre en oeuvre l'article 47 de la loi de 2005 et son décret d'application actualiser en 2019 il fait hier j'ai des nouvelles versions et mise à jour pour s'adapter aux évolutions du web mais aussi aux changements de normes et réglementations

75,36 % de résultat

Biais

Problème de biais

YouTube’s auto captions consistently performed better on male voices than female voice.

More recent research has found the same effect: ASR systems make more errors for Black speakers than white speakers

For every hundred words, the systems made 19 errors for white speakers compared to 35 errors for Black speakers — nearly twice as many. That is 35% Black speakers versus 19% White speakers.

Why does this bias exist ? (...) The underlying reason may be that databases have lots of white male data, and less data on female and minority voices. For example, TED Talks are frequently analyzed by speech scientists, and 70% of TED speakers are male.

Common Voice

Datasets des voix pour la langue française
Version	Date	Nombre de voix	Répartition de voix masculines *	Répartition de voix féminines *
1.0	25/02/2019	1 697	72%	7%
2.0	11/06/2019	2 985	70%	9%
3.0	24/06/2019	3 005	70%	9%
4.0	10/12/2019	8 164	65%	12%
5.1	22/06/2020	11 960	65%	11%
6.1	11/12/2020	12 953	65%	10%
7.0	21/07/2021	15 391	63%	11%
8.0	19/01/2022	16 082	62%	11%
9.0	27/04/2022	16 291	62%	10%
10.0	04/07/2022	16 510	62%	10%
11.0	21/09/2022	16 785	61%	10%

* Le reste des voix proviennent des voix anonymes

Chaque voix compte.

Y compris :

celles des femmes
celles des personnes issues de la minorité
celles des personnes ayant des accents
celles des personnes ayant des voix atypiques ou déformées
celles des personnes ayant des troubles du langage

La langue française

Nouvelle démo de Samuel

Texte à vocaliser

Samuel, développeur au sein de l'entreprise Dcube, rencontre souvent des problèmes de timeout sur les gros traitements des demandes entrantes et il n'est pas le seul. 3, 4, 5 personnes de l'équipe également dont sa collègue Emmanuelle. Leur PO tèj souvent ses US et réalise des tool-in-actions. Samuel a une chatte qui s'appelle Qwerty. Emmanuelle déteste les homonymes surtout quand elle essaie de comprendre en lisant sur les lèvres : "le ver vert va vers le verre vert".

Deepgram

samuel développeur au sein de l'entreprise des cubes rencontre souvent des problèmes de time sur les gros traitements des demandes et il n'est pas le seul 3 4 5 personnes de l'équipe également dans sa collègue emmanuel leur po souvent ses us réalise des to action mène à une chatte qui s'appelle q emmanuel déteste les homo surtout quand elle essaie de en lisant sur les lèvres le vert vers vers le vert vert

73,68 % de réussite

Google

Samuel développeur au sein de l'entreprise de l'écume rencontre souvent des problèmes de timeout sur les gros traitements des demandes d'entente et il n'est pas le seul trois quatre cinq personnes de l'équipe également donc ca y est manuel leur POP j' souvent CUS réalisent et tu line action à une chatte s'appelle quarti Emmanuel déteste les homonymes surtout quand elle essaie de comprendre en lisant sur les lèvres le vert vert va vers le verre vert

68,42 % de réussite

Microsoft

samuel développeur au sein de l'entreprise des cubes rencontre souvent des problèmes de timeout sur les gros traitements des demandes entrantes et il n'est pas le seul 345 personnes de l'équipe également dont sa collègue emmanuel leur po tags souvent ces US réalise des tounes actions samuel a une ***** qui s'appelle qwerty emmanuel déteste les homonymes surtout quand elle essaie de comprendre en lisant sur les lèvres le verre vert va vers le verre vert

84,21 % de réussite

Mozilla

Samuel développeur au sein de l'entreprise des cubes rencontre souvent des problèmes de timeout sur les gros traitement des demandes d'entente et il n'est pas le seul trois quatre cinq personnes de l'équipe également donc sa collègue Emmanuel leur POP ais-je souvent CUS réalisent et tu line actions à mener à une chatte s'appelle quarti Emmanuel déteste les homonymes surtout quand elle essaie de comprendre en lisant sur les lèvres le verre vert va vers le verre vert

72,37 % de réussite

La langue française

Une langue riche et complexe ;
avec ses règles de grammaire, de conjugaison et d'orthographe ;
ses homonymes

des noms communs ;
des noms propres ;
des acronymes ;
le langage métier, fonctionnel et technique ;
les termes franco-anglais ;
et même le verlan.

La conjugaison

Nouvelle démo d'Anne-Laure

Texte à vocaliser

Annie est arrivée à la maison. Elle est arrivée à la maison. Nous, les filles, sommes arrivées à la maison.

Deepgram

Annie est arrivé à la maison. Elle est arrivée à la maison. Nous les filles sommes arrivés à la maison.

Google

Annie est arrivé à la maison. Elle est arrivée à la maison. Nous les filles sommes arrivés à la maison.

Microsoft

Annie est arrivé à la maison. Elle est arrivée à la maison. Nous les filles sommes arrivés à la maison.

Mozilla

Annie est arrivé à la maison. Elle est arrivée à la maison. Nous les filles sommes arrivés à la maison.

Peut-on accorder les verbes en se basant sur la voix de la personne ?
- Dominique ou Camille est-elle une femme ou est-il un homme ?
- Est-ce Emmanuelle ou Emmanuel ?
- Annie ou Hany ?

Le français n'est pas une langue neutre contrairement à l'anglais.

Les mots grossiers ou familiers

*****, ça a **** ! C’est quoi ce ****** ?! Alors là, je suis sur le *** ! ******, c’est ***** ! Voilà ce que les sous-titres automatiques peuvent afficher. Ça peut être anodin pour vous mais moi, ça m’agace.
— Emmanuelle ABOAF (@eaboaf_) 23 novembre 2021

Ce matin, en testant la retranscription automatique via word/O365 comme base de mon article du dernier épisode avec @Cindyagility 🦮 (et en vue de transcription intégrale bientôt @podcaccessible !), j'ai pris un fou rire en voyant le mot "*******" 🤣 Alors vous avez trouvé ? 🐕

Avec ma première ****** qui n'était pas la plus facile, elle était assez têtu quand même. Ouais, heu ouais, c'était, c'était une, une gentille ****** adorable. Vraiment niveau.
Au niveau, on a dire chien de compagnie.
Elle était parfaite.
Une ****** gentille, jamais un geste plus haut que l'autre, vraiment une gentille petite ******
Arpès, au niveau du guidage, il est très têtu. Et puis au final, elle s'est avérée être un peu lente pour moi parce que moi le le chien guide enfin, ça m'a redonner une liberté comme comme à tout le monde d'ailleurs, j'ai envie de dire mais.

— Futur Chien Guide (@FuturChienGuide) 21 novembre 2021

Sans paramétrage, les mots grossiers et familiers sont automatiquement censurés.
Certains mots non grossiers sont censurés car à cause de la traduction automatique français vers anglais, ils peuvent devenir grossiers.
Censurer les mots grossiers ne rend pas l'information accessible à tous.

La ponctuation

Il y a aussi des phrases sans fin sans point et que des virgules. Avec une phrase sans fin, le sens est difficile à comprendre. Par ex avec cet épisode du podcast « La Table Ovale ». Il me faut lire mot à mot pour réaliser que là c’est la fin de la phrase et là le début.

"Mais il y a un moment, enfin, souvent avec la, dans la relation avec les marques, tu vois, il y a un moment ou genre juste, ils veulent commencer à négocier alors que moi je, je veux vraiment garder la la casquette concept et artistique entre guillemets, donc cette discussion là elle est OK en direct avec les marques, ça arrive de temps en temps, pas tout le temps parce que sinon c'est chiant mais mais dès que ca parle de 2€ quoi, globalement je dis Ah non, alors je vous présente Sophie, elle est très sympa, elle est ici."

— Emmanuelle ABOAF (@eaboaf_) 3 octobre 2021

Qui parle ?

Le problème principal qu’en lisant plusieurs transcriptions automatiques sans écouter est que je ne sais pas du tout qui parle et quand on change d’interlocuteur. De plus, je ne sais pas à qui attribuer les paroles quand je lis la transcription. Il y a aucun nom.
— Emmanuelle ABOAF (eaboaf_) 3 octobre 2021

c'est pas mal pour de l'automatique, mais on a quand même du mal à savoir qui parle ou du moins quand ca change de personne.
— @cyberbaloo_ 2 juin 2022

Aujourd’hui c’est son point faible, soit l’IA en détecte trop (au moindre changement de ton ou de puissance de la voix par ex.) soit pas assez comme c’est le cas ici. Nous travaillons à l’analyse de l’image et de la ponctuation pour espérer placer des tirets où il faut.
— @matt_parmentier 29 avril 2022