Exemple des traductions évaluées – Techniques de décodage
6.5 Exemple des traductions évaluées
1)
- REFERENCE : nous avons vu des résultats .
- DP : we have seen the results .
- Greedy+: we have seen some results .
- Greedy : we have seen the results .
Tous les évaluateurs choisissent la traduction de greedy+.
2)
- REFERENCE : il faut faire en sorte de modifier cette perception .
- Greedy : we must make the kind of change that perception .
- DP : there must be the kind of change that perception .
- Greedy+: we must be the kind of change that perception .
Dans cet exemple, les évaluateurs ont plusieurs choix. (un ne trouve aucune traduction acceptable, un autre préfère celle de greedy+ , un choisi DP et d’autre greedy.)
3)
- REFERENCE : les températures moyennes sont bien sûr plus tempérées .
- Greedy+: canadians are obviously more temperate average temperatures .
- DP: canadians are much more temperate course average temperatures .
- Greedy: the temperatures averages are certainly well longer boreal .
(un pour aucune traduction, 2 greedy, un DP et un greedy+).
L’objectif premier de la traduction automatique est de comprendre et/ou de se faire comprendre. En conséquence, un critère efficace est l’opinion du lecteur : le document traduit est-il exploitable pour le besoin que l’utilisateur en a et retranscrit-il le contenu du texte de départ ? Est-ce que le document a été traduit rapidement ?
Pour un utilisateur qui s’intéresse à l’efficacité du traducteur automatique et il ignore le temps de traduction, nous lui suggérons le décodeur DP qui est le meilleur selon les évaluations humaines et automatiques parmi les deux décodeurs DP et greedy.
Toutefois, l’utilisateur qui aimerait comprendre le sujet d’un document dans une autre langue rapidement, nous croyons que le décodeur greedy répond à ses besoins.
Chapitre 7 :
Conclusion
C’est aux abords des années 90, qu’une équipe de chercheurs d’IBM a proposé une approche statistique opérationnelle à la traduction automatique.
Cette approche dénotait de celles qui étaient alors utilisées en traduction et qui consistaient essentiellement en l’écriture de règles et de lexiques structurés. L’approche statistique a depuis séduit de nombreux chercheurs du domaine.
Le problème de la traduction probabiliste est dual. Il convient en effet d’acquérir automatiquement les paramètres d’un modèle de traduction et de la langue dans laquelle ont traduit. C’est le problème de la modélisation que nous avons abordé dans la première partie de ce mémoire.
Nous avons en particulier montré que le package GIZA mis au point par un groupe de travail de l’université de John Hopkins et disponible pour les universitaires répondait aux besoins de la modélisation. Le second problème consiste à trouver la meilleure traduction possible, étant donnés les modèles.
Le problème du décodage en traduction n’est pas simple et est en fait un problème NP-complet. Nous nous sommes donc intéressés dans une deuxième partie de ce mémoire à comparer deux techniques de décodages s’appuyant sur un modèle IBM2 que nous avons entraîné à l’aide du package GIZA.
Ces deux techniques possèdent des caractéristiques à priori contraires. La première technique utilise la programmation dynamique (DP) pour factoriser des calculs répétitifs, et permet ainsi d’explorer une partie raisonnable (assez grande) de l’espace des traductions potentielles au prix cependant de temps de traitements non négligeables.
La seconde technique (dite vorace), fait au contraire le pari qu’en perturbant de manière mineure un alignement de départ (que l’on peut obtenir de manière simple), on peut trouver une traduction pertinente (au sens du modèle) en ne parcourant qu’une petite partie de l’espace de recherche.
Nous avons évalué les forces et les faiblesses des deux décodeurs que nous avons implantés. Nous avons pour cela considéré deux approches. L’une consiste à comparer automatiquement les traductions produites à celle faite par un humain.
Nous utilisons ici des mesures telles que la distance d’édition et d’autres plus spécifiques à la tâche de traduction. L’autre approche est plus lourde mais également plus fiable.
Elle consiste en effet à demander à des humains de classer des traductions automatiques en ordre de préférence. Nous montrons entre autre que ces deux protocoles d’évaluation sont en faveur de l’approche DP.
Cependant, les approches voraces proposent des traductions qui ne sont pas déméritantes et ce type de décodeur est en fait à favoriser dans toute situation où les temps de traductions sont un facteur à considérer (traduire une phrase d’une vingtaine de mots avec une approche DP peut prendre une quarantaine de secondes).
Ce travail a porté sur l’étude de la paire de langues français/anglais. Ces deux langues ont des structures proches, aussi aimerions-nous étudier la viabilité de nos décodeurs (et des modèles sous-jacents) à traduire des langues plus éloignées, comme par exemple l’anglais et l’arabe.
De plus, il existe de nombreuses façons d’améliorer la qualité produite par une approche probabiliste. L’ajout de dictionnaires pour contraindre l’entraînement des modèles est un problème sur lequel nous aimerions travailler.
