Exemple des traductions évaluées – Techniques de décodage

By 25 June 2012

6.5 Exemple des traductions évaluées

1)
REFERENCE : nous avons vu des résultats .
DP : we have seen the results .
Greedy+: we have seen some results .
Greedy : we have seen the results .

Tous les évaluateurs choisissent la traduction de greedy+.

2)
REFERENCE : il faut faire en sorte de modifier cette perception .
Greedy : we must make the kind of change that perception .
DP : there must be the kind of change that perception .
Greedy+: we must be the kind of change that perception .
Dans cet exemple, les évaluateurs ont plusieurs choix. (un ne trouve aucune traduction acceptable, un autre préfère celle de greedy+ , un choisi DP et d’autre greedy.)

3)
REFERENCE : les températures moyennes sont bien sûr plus tempérées .
Greedy+: canadians are obviously more temperate average temperatures .
DP: canadians are much more temperate course average temperatures .
Greedy: the temperatures averages are certainly well longer boreal .
(un pour aucune traduction, 2 greedy, un DP et un greedy+).

L’objectif premier de la traduction automatique est de comprendre et/ou de se faire comprendre. En conséquence, un critère efficace est l’opinion du lecteur : le document traduit est-il exploitable pour le besoin que l’utilisateur en a et retranscrit-il le contenu du texte de départ ? Est-ce que le document a été traduit rapidement ?

Pour un utilisateur qui s’intéresse à l’efficacité du traducteur automatique et il ignore le temps de traduction, nous lui suggérons le décodeur DP qui est le meilleur selon les évaluations humaines et automatiques parmi les deux décodeurs DP et greedy. Toutefois, l’utilisateur qui aimerait comprendre le sujet d’un document dans une autre langue rapidement, nous croyons que le décodeur greedy répond à ses besoins.

Chapitre 7 – Conclusion :

C’est aux abords des années 90, qu’une équipe de chercheurs d’IBM a proposé une approche statistique opérationnelle à la traduction automatique. Cette approche dénotait de celles qui étaient alors utilisées en traduction et qui consistaient essentiellement en l’écriture de règles et de lexiques structurés. L’approche statistique a depuis séduit de nombreux chercheurs du domaine.

Le problème de la traduction probabiliste est dual. Il convient en effet d’acquérir automatiquement les paramètres d’un modèle de traduction et de la langue dans laquelle ont traduit. C’est le problème de la modélisation que nous avons abordé dans la première partie de ce mémoire. Nous avons en particulier montré que le package GIZA mis au point par un groupe de travail de l’université de John Hopkins et disponible pour les universitaires répondait aux besoins de la modélisation. Le second problème consiste à trouver la meilleure traduction possible, étant donnés les modèles.

Le problème du décodage en traduction n’est pas simple et est en fait un problème NP-complet. Nous nous sommes donc intéressés dans une deuxième partie de ce mémoire à comparer deux techniques de décodages s’appuyant sur un modèle IBM2 que nous avons entraîné à l’aide du package GIZA. Ces deux techniques possèdent des caractéristiques à priori contraires. La première technique utilise la programmation dynamique (DP) pour factoriser des calculs répétitifs, et permet ainsi d’explorer une partie raisonnable (assez grande) de l’espace des traductions potentielles au prix cependant de temps de traitements non négligeables. La seconde technique (dite vorace), fait au contraire le pari qu’en perturbant de manière mineure un alignement de départ (que l’on peut obtenir de manière simple), on peut trouver une traduction pertinente (au sens du modèle) en ne parcourant qu’une petite partie de l’espace de recherche.

Nous avons évalué les forces et les faiblesses des deux décodeurs que nous avons implantés. Nous avons pour cela considéré deux approches. L’une consiste à comparer automatiquement les traductions produites à celle faite par un humain. Nous utilisons ici des mesures telles que la distance d’édition et d’autres plus spécifiques à la tâche de traduction. L’autre approche est plus lourde mais également plus fiable. Elle consiste en effet à demander à des humains de classer des traductions automatiques en ordre de préférence. Nous montrons entre autre que ces deux protocoles d’évaluation sont en faveur de l’approche DP. Cependant, les approches voraces proposent des traductions qui ne sont pas déméritantes et ce type de décodeur est en fait à favoriser dans toute situation où les temps de traductions sont un facteur à considérer (traduire une phrase d’une vingtaine de mots avec une approche DP peut prendre une quarantaine de secondes).

Ce travail a porté sur l’étude de la paire de langues français/anglais. Ces deux langues ont des structures proches, aussi aimerions-nous étudier la viabilité de nos décodeurs (et des modèles sous-jacents) à traduire des langues plus éloignées, comme par exemple l’anglais et l’arabe. De plus, il existe de nombreuses façons d’améliorer la qualité produite par une approche probabiliste. L’ajout de dictionnaires pour contraindre l’entraînement des modèles est un problème sur lequel nous aimerions travailler.

Bibliographie :
BROWN P. F., PIETRA S. A. D., PIETRA V. J. D. & MERCER R. L. (1993). The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, 19(2), 263–311.

Al-Onaizan Y, Curin J., Jahr M., Knight K., Lafferty J., Melamed D., Och F-J, Purdy D., Smith N. A., Yarowsky D. (1999), Statistical Machine Translation: Final Report, Johns Hopkins University 1999 Summer Workshop on Language Engineering, Center for Speech and Language Processing, Baltimore, MD.

Knight, K. 1999. A Statistical Machine Translation Tutorial Workbook. Tech. Rep.?, USC/ISI. (available at http://www.clsp.jhu.edu/ws/projects/mt/wkbk.rtf).

BROWN P. F., Coke J., PIETRA S. A. D., PIETRA V. J. D. Jelinek F., Lafferty J. Roosin P. S., MERCER R. L. (1993). A Statistical Approach to Machine Translation.

Nießen, S., Vogel, S., Ney, H., and Tillmann, C. (1998). A DP Based Search Algorithm for Statistical Machine Translation. In Proceedings of COLING-ACL ’98: 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, 960–967, Montreal, Quebec, Canada, August.

Y. Wang and A. Waibel. 1997. Decoding algorithm in statistical machine translation. In Proc ACL.

Germann U., Jahr M., Knight K., Marcu D., and Yamada K., 2001. Fast Decoding and Optimal Decoding for Machine Translation.

Ismael Garcia and Fransisco Casacuberta. 2001. Search algorithms for statistical machine translation based on dynamic programming and pruning techniques. In Proceedings of the 8th Machine Translation Summit, pages 115–120, Santiago de Compostela, Galicia, Spain, September. IAMT.

Vogel, S., Franz, J. O., Tillman, C., Nießen S., Sawaf, H., and Ney H.,(2000) Statistical Methods fo Machine Translation.

Nießen, S., Och, F. J., Leusch, G., and Ney, H. (2000). An Evaluation Tool for Machine translation: Fast Evaluation for MT Research. In Proceedings of the Second International Conference on Language Resources and Evaluation, 39–45, Athens, Greece, May.

Papineni K., Roukos S., Ward T., Zhu W., IBM T.J. Watson Research Center.(September 17, 2001) BLEU: a Method for Automatic Evaluation of Machine Translation.

C. Tillmann, S. Vogel, H. Ney, and A. Zubiaga. 1997. A dp-based search using monotone alignments in statistical translation. In ACL-35 (ACL, 1997), pages 289–296.

Och, F. J. and Ney, H. (2000a). A comparison of alignment models for statistical machine translation. In COLLING ’00: The 18th Int. Conf. on Computational Linguistics, pages 1086-1090, Saarbrücken, Germany.

Och, F. J. and Ney, H. (2000). Statistical Machine Translation.

White, J.S. et al. (1994). The ARPA MT evaluation methodologies: evolution, lessons, and future approaches. In: Technology partnerships for crossing the language barrier: proceedings of the first conference of the Association for Machine Translation in the Americas, 5-8 October 1994, Columbia, Maryland. [Washington, DC: AMTA, 1994], pp.193-205.

Philippe Langlais, Michel Simard, and Jean Véronis. 1998. Methods and practical issues in evaluating alignment techniques. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics (ACL), Montréal, Canada, September.

Ph. Langlais. 1997. Alignement de corpus bilingues: intérêts, algorithmes et évaluations. In Bulletin de Linguistique Appliquée et Générale, numéro Hors Série, pages 245–254, Université de Franche-Comté, France, dec.

M. Simard and P. Plamondon. 1996. Bilingual sentence alignment: Balancing robustness and accuracy. In Proceedings of the Second Conference of the Association for Machine Translation in the Americas (AMTA), Montréal, Québec.

Van Slype, G. 1982. Conception d’une méthodologie générale d’évaluation de la traduction automatique. Multilingua 1(4): 221-237

Lire le mémoire complet ==> (Les techniques de décodage pour la traduction probabiliste)
Mémoire présenté à la Faculté des études supérieures en vue de l’obtention du grade de Maître ès sciences (M.Sc) en informatique
Université de Montréal – Département d’Informatique et de Recherche Opérationnelle

Figure 1: Illustration du canal bruité.17

Figure 2: Chercher la phrase anglaise ê qui maximise la probabilité P(e|f).17

Figure 3: Un alignement dont chaque mot français est aligné à un seul mot anglais.20

Figure 4: Un autre alignement possible de ces phrases mais moins probable.20

Figure 5: Un alignement dont chaque mot anglais est associé à un seul mot français.21

Figure 6: Un alignement dont un ensemble de mots français est connecté à un ensemble de mots anglais.21

Figure 7: Un exemple simple d’alignement, chaque mot est aligné avec sa traduction 22

Figure 8: Exemple d’un corpus bitexte d’entraînement.29

Figure 9: Illustration du format de corpus généré par Whittle.29

Figure 10: Un exemple de cairo.32

Figure 11: L’espace mémoire occupé par l’entraînement de GIZA.36

Figure 12: Le temps d’exécution de GIZA sur une machine peu puissante.37

Figure 13: Le temps d’exécution par rapport à la taille du corpus.38

Figure 14: La perplexité par rapport aux itérations des modèles 1, 2 et 3 entraînés sur un corpus de 352 983 paires de phrases françaises / anglaises 40

Figure 15: Le meilleur alignement obtenu pour cette paire de phrases par IBM1.41

Figure 16: Le meilleur alignement obtenu pour cette phrase par IBM2.41

Figure 17: Le meilleur alignement obtenu pour cette phrase par IBM3.42

Figure 18: L’architecture de la traduction probabiliste [Nießen et al. 1998].48

Figure 19: L’accroissement du temps de la traduction avec la longueur de la phrase.53

Figure 20: L’accroissement de temps avec la taille de l’ensemble de vocabulaire actif .55

Figure 21: L’algorithme de recherche DP.56

Figure 22: La distribution de longueur des traductions anglaises des phrases françaises de 10 mots.58

Figure 23: Le format de la matrice (mot, couverture, fertilité, score, position précédent, mot précédent), l’accès à une hypothèse se fait par (mot, couverture, ligne, colonne).61

Figure 24: La traduction initiale par alignement un à un des mots à leur traduction la plus probable selon le modèle de transfert.70

Figure 25: L’initialisation.70

Figure 26: Itération 1, une permutation à la position 5 et 6.70

Figure 27: Itération 2, une substitution à la positin 4.71

Figure 28: À l’initialisation, le score d’alignement est -133.518.71

Figure 29: Itération 1: Le mot (other) à la position 8 est aligné avec 2 mots (d’ autres);71

Figure 30: Itération 2: Substitution du mot (the) à la position 4 par (some).71

Figure 31: Itération 3: Permutation des mots à la position 5 et 6.72

Figure 32: Itération 4: Substitution du mot (things) à la position 6 par (solutions).72

Figure 33: La moyenne d’itérations, le nombre de substitutions et permutations augmentent linéairement avec la longueur de la phrase à traduire.72

Figure 34: La distribution du nombre d’itérations et de substitutions.73

Figure 35: Les nombres de phrases itérées par greedy+.76

Figure 36: Les proportions d’acceptabilité de traduction des évaluateurs pour chaque décodeur.84

 

Liste de tableaux

Tableau 1: Les probabilités des alignements sur un corpus de phrases de 8 mots (anglais /français).24

Tableau 2: Les nombres de paires de phrases et les paramètres de transfert de chaque modèle de traduction.34

Tableau 3: Les dix premières probabilités de transfert du mot “canadian” (modèle 2 et 3) prises des résultats d’entraînement sur un corpus de 1.6 millions de phrases.42

Tableau 4: Les dix premières probabilités de transfert du mot “rights” (modèle 2 et 3) entraîné sur un corpus de 1.6 millions paires de phrases. Soit n(Φ|e) la probabilité que le mot e a une fertilité Φ.43

Tableau 5: Les probabilités de transfert et de fertilité du mot “update”.44

Tableau 6: Un exemple des mots anglais ayant une large fertilité “nodding”.44

Tableau 7: Les temps d’exécution d’un entraînement avec GIZA et RMTTK.45

Tableau 8: Deux mots exemples de RMTTK et GIZA, on a seulement pris les dix premières probabilités pour chaque mot.46

Tableau 11: Les résultats de décodeur sans filtrage strict (N=50; BETA=106)63

Tableau 12: Les résultats de décodeur avec un filtrage sur les nombres de mots anglais associés à chaque mot français (N=15) et un seuil (BETA=1.9) sur les hypothèses.63

Tableau 13: Les résultats de décodeur avec un filtrage sur les nombres de mots anglais associés à chaque mot français (N=7) et un seuil (BETA=1.25) sur les hypothèses.64

Tableau 14: des exemples de corpus test de Hansard et une comparaison avec la traduction humaine. Un filtrage a été appliqué N=10, BETA=1.5.65

Tableau 15: Exemples de traduction, extraits d’un corpus test (N=10). Humain est la traduction produite par un traducteur.75

Tableau 16: Les résultats de l’évaluation des décodeurs.82

Tableau 17: Les choix des évaluateurs et ses différents avis avec les pourcentages.85

Annexe1

On présente dans cette annexe les phrases avec les évaluations humaines comme l’exemple suivant.

1

REFERENCE: les comités de la chambre

GREEDY : the committees of the house

DP : the house committees

GREEDY+ : the reports house

REPONSES : 2 1 2 1 1 2

Dans cette phrase le premier évaluateur préfère le deuxième décodeur (DP), le deuxième évaluateur préfère le premier algorithme (GREEDY), ainsi de suite…

2

REFERENCE: nous avons vu des résultats .

GREEDY : we have seen the results .

DP : we have seen the results .

GREEDY+ : we have seen some results .

REPONSES : 3 3 3 3 3 1/2

3

REFERENCE: monsieur le président , je suis heureux de pouvoir présenter un projet de loi d’ initiative parlementaire .

GREEDY : mr. speaker , i am pleased to introduce a piece of legislation a parliamentary initiative forward .

DP : mr. speaker , i am pleased to present a bill of private .

GREEDY+ : mr. speaker , i am pleased to introduce bill in private .

REPONSES : 0 2 1 3 1 1

4

REFERENCE: je dépose aujourd’hui une autre pétition qui porte des centaines de signatures .

GREEDY : i table today another petition which deals of hundreds of signatures .

DP : i now table another petition which concerns of hundred signatures .

GREEDY+ : i present another petition which concerns of hundred signatures .

REPONSES : 0 1 1 2 3 3

5

REFERENCE: le président : les autres questions restent elles au feuilleton ?

GREEDY : the chairman : the remaining questions stand they order paper ?

DP : the chairman : the remaining questions be allowed to stand ?

GREEDY+ : the chairman : the remaining questions be allowed to stand ?

REPONSES : 2/3 2/3 1 2/3 2/3 2/3

6

REFERENCE: cependant , en tant que membre de ce comité , je ne m’ opposerais pas à réexaminer cet usage .

GREEDY : however , in both the member of this committee , i cannot convince me not to review this practice .

DP : however , in both the member of this committee , i am not opposed to review this practice .

GREEDY+ : however , in both the member of this committee i am not opposed to this custom review .

REPONSES : 3 3 3 3 3 3

7

REFERENCE: en toute honnêteté , je dois dire que certains progrès mineurs ont déjà été faits à cet égard .

GREEDY : in all honesty , i must say that some progress miners have already been made in this regard .

DP : in all honesty , i must say that some progress miners have been agreement .

GREEDY+ : in all honesty , i must say that some progress have been agreement .

REPONSES : 0 1 1 1 1 1

8

REFERENCE: des programmes comme ceux-là doivent habituellement compter sur du personnel bénévole .

GREEDY : some programs as people are usually rely on the personal bénévole .

DP : some programs as they usually rely on volunteers staff .

GREEDY+ : some programs as normal rely on bénévole staff .

REPONSES : 2 3 2 2 2 3

9

REFERENCE: il faut d’ abord faire payer les criminels .

GREEDY : it must be first to pay the block-busting .

DP : first we need to pay block-busting .

GREEDY+ : first we have to pay block-busting .

REPONSES : 0 2/3 2/3 2/3 2/3 0

10

REFERENCE: les coûts de tout notre régime de justice pénale sont énormes .

GREEDY : the cost of everything our system of criminal justice is enormous .

DP : the cost of everything in our system of criminal justice is enormous .

GREEDY+ : the cost of everything in our system of justice is enormous .

REPONSES : 2 2 2 2 2 3

11

REFERENCE: les problèmes de criminalité qu’ affronte notre société aujourd’hui ne sont pas dus à l’ absence de lois .

GREEDY : the problems of crime than facing our society today is are not owed to the absence of legislation .

DP : the problems of crime that this is due non-funding laws .

GREEDY+ : the problems of crime that this problem is due non-funding laws .

REPONSES : 1 1 1 1 1 0

12

REFERENCE: comment cela protège il le canadien ordinaire ?

GREEDY : how that protects the ordinary canadian ?

DP : how that protects the ordinary canadian ?

GREEDY+ : how he would protect the ordinary canadian ?

REPONSES : 1 1 1 1 1 1

13

REFERENCE: il faut faire en sorte de modifier cette perception .

GREEDY : we must make the kind of change that perception .

DP : there must be the kind of change that perception .

GREEDY+ : we must be the kind of change that perception .

REPONSES : 0 1/3 2 1 1 0

14

REFERENCE: comme toujours , mon parti est prêt à proposer une solution de rechange constructive .

GREEDY : as always , my party is willing to propose an alternative to constructive alternatives .

DP : as always , my party is prepared to move an alternative manner .

GREEDY+ : as always , my party is prepared to offer constructive alternative .

REPONSES : 3 3 3 3 3 3

15

REFERENCE: qu’ importe que le montant soit minime , il rappellera au contrevenant sa responsabilité .

GREEDY : that matter that the amount is minimal , he recalled the offender ‘s responsibility .

DP : that is important to small amount , it brings in its responsibility .

GREEDY+ : that is any minimal amount , it brings in its responsibility .

REPONSES : 0 2 1 1 1 0

16

REFERENCE: à long terme , le dédommagement obligatoire sous forme d’ indemnité vise deux objectifs importants .

GREEDY : the long term , the required compensation under form of compensation is two major objectives .

DP : in the long term the required compensation form compensation purpose two important functions .

GREEDY+ : the long term , the voluntary form compensation two major objectives aimed .

REPONSES : 0 3 2 2 2 2

17

REFERENCE: premièrement , la victime reçoit une indemnité financière .

GREEDY : first , the victim receives a financial compensation .

DP : first , the victim to receive financial compensation .

GREEDY+ : first , the victim to receive financial compensation .

REPONSES : 2/3 1 1 1 1 1

18

REFERENCE: il serait difficile pour un député de faire abstraction d’ une pétition portant deux millions et demi de signatures .

GREEDY : it is difficult for a member to make apart from a petition dealing two million and one-half of signatures .

DP : there is a difficult for him to ignore a petition carries two and one-half millions signatures .

GREEDY+ : it is a difficult for him to ignore a petition of two and one-half millions signatures .

REPONSES : 3 1 3 3 3 3

19

REFERENCE: j’ ai maintenant parlé aux parents de trois victimes .

GREEDY : i have been spoken to parents of three victims .

DP : i have now spoken to the parents of three victims .

GREEDY+ : i have talked to the parents of three victims .

REPONSES : 3 2 2 2 3 2

20

REFERENCE: ce n’ est pas plus facile d’ une fois à l’ autre .

GREEDY : what did is no longer easy for a 19.90 with one another .

DP : this is no longer not easy for some time in the other .

GREEDY+ : it is no longer not easy for some time in another .

REPONSES : 0 3 3 3 2 3

21

REFERENCE: deuxièmement , elle dit que les droits des criminels passent avant ceux des victimes dans notre société .

GREEDY : second , she said that the rights of criminals going ahead who are victims in our society .

DP : second , she said that the rights of the criminal to supersede the rights of the victim .

GREEDY+ : second , she said that the rights of block-busting donut are the victims before .

REPONSES : 0 2 2 2 2 1

22

REFERENCE: en 1975 , on a utilisé des armes à feu dans 42 p. 100 des vols .

GREEDY : in 1975 , it has taken some weapons to firearms in 42 per cent of flights .

DP : in 1975 , it are firearms in 42 per cent of flights .

GREEDY+ : in 1975 , has been using firearms in 42 per cent of flights .

REPONSES : 0 3 2 3 3 3

23

REFERENCE: nous examinerons aussi le problème de la violence faite aux femmes .

GREEDY : we will also the problem of the and violence to women .

DP : we also look to the problem of violence to women .

GREEDY+ : we look to the problem of violence to women .

REPONSES : 2 2 2 2 2 2

24

REFERENCE: je vais maintenant les aborder .

GREEDY : i am now in touch .

DP : i want to talk now .

GREEDY+ : i want to address now .

REPONSES : 3 3 3 3 3 0

25

REFERENCE: en fait , il n’ a même pas besoin d’ ouvrir la bouche .

GREEDY : in fact , he did was not even need an open mouth the .

DP : in fact , he did not even need the from opening .

GREEDY+ : in fact , it did not even need to open the mouth .

REPONSES : 0 3 1 1 3 3

26

REFERENCE: je ne pense pas que mon collègue veuille refuser ce droit aux prévenus .

GREEDY : i cannot think not think my colleague wants refuse are entitled to advance .

DP : i do not think that my colleague wants to deny this right to notice .

GREEDY+ : i do not think that my colleague wants to deny right to notice .

REPONSES : 2 2 2 2 2 3

27

REFERENCE: j’ espère que non .

GREEDY : i hope that either .

DP : i hope not .

GREEDY+ : i only hope than .

REPONSES : 2 2 1 2 2 2

28

REFERENCE: deuxièmement , mon collègue a mentionné les conseils et la réhabilitation .

GREEDY : second , my colleague has mentioned them and councils the pardon .

DP : second , my colleague has referred to the advice and rehabilitation .

GREEDY+ : second , my colleague has mentioned the advice , and rehabilitation .

REPONSES : 2 2 3 3 3 2

29

REFERENCE: il est exact que nous essayons de punir , lorsque nous le pouvons .

GREEDY : it is true that we try to punish , when we the can .

DP : there is true that we try to punish the government when we can .

GREEDY+ : it is true that we try to punish , when we can .

REPONSES : 3 3 3 3 3 3

30

REFERENCE: en ce qui concerne les prisons , elles doivent être humaines .

GREEDY : in this regard who the prisons , they must be human .

DP : it in that regard , the prisons will be human .

GREEDY+ : in it that regard , the prisons will be human .

REPONSES : 0 1 2/3 1 2/3 2/3

31

REFERENCE: naturellement , nous privons les condamnés de leur liberté .

GREEDY : naturally , we deprive people convicted of their freedom .

DP : naturally , we are to deprive convicted their freedom .

GREEDY+ : naturally , we are to deprive convicted freedom .

REPONSES : 1 2 3 1 1 0

32

REFERENCE: les prisons sont le reflet des valeurs de la société .

GREEDY : the prisons are pale and values of the corporation .

DP : that the prisons reflect the society values .

GREEDY+ : the government prisons reflect the values society .

REPONSES : 2 2 2 2 2 2

33

REFERENCE: souvent , elles sont même très inconfortables .

GREEDY : often , they are even very uncomfortable .

DP : often , although they are very uncomfortable .

GREEDY+ : often , they are very uncomfortable .

REPONSES : 1 3 3 1 1 1

34

REFERENCE: faisons nous assez pour les victimes de crimes ?

GREEDY : do we enough for the victims of crime ?

DP : we doing enough for the victims of crime ?

GREEDY+ : we doing enough for the victims of crime ?

REPONSES : 1 2/3 1 2/3 1 1

35

REFERENCE: cependant , comme partout , il y a un équilibre à trouver .

GREEDY : however , like everywhere , it has ago a equilibrium at work .

DP : however , like everywhere there has to find a balance .

GREEDY+ : however , like everywhere there has to find a balance .

REPONSES : 2/3 2/3 2/3 2/3 2/3 2/3

36

REFERENCE: à l’ heure actuelle , les choses sont sensiblement équilibrées .

GREEDY : at the present time , all things are significantly balanced .

DP : in the present time , the same thing is balanced .

GREEDY+ : at the moment , the same thing is balanced .

REPONSES : 0 3 1 1 1 1

37

REFERENCE: écoutez attentivement les directives .

GREEDY : listen carefully the guidelines .

DP : listen carefully the directives .

GREEDY+ : listen carefully the directives .

REPONSES : 1 1 1 1 1 1

38

REFERENCE: dès l’ ouverture des portes , asseyez vous sur le plancher .

GREEDY : today the opening the door , you sit on the floor .

DP : the beginning of open door , you sit on the floor .

GREEDY+ : the beginning of open door , sit on the floor .

REPONSES : 0 2 3 3 0 0

39

REFERENCE: laissez vous glisser sur le sol ou utilisez l’ échelle .

GREEDY : let me bootleg on the ground or use of scale .

DP : you let slip on soil or use the scale .

GREEDY+ : let slip on soil or use the scale .

REPONSES : 0 2 2 3 3 3

40

REFERENCE: ouverture manuelle des portes en cas d’ urgence .

GREEDY : opening UNK on doors in cases of emergencies .

DP : coal-mining and opens doors in an emergency .

GREEDY+ : and opens doors in an emergency .

REPONSES : 0 1 2 3 3 3

41

REFERENCE: utilisez ce téléphone pour communiquer avec le responsable .

GREEDY : use the telephone to communicate with the responsibility .

DP : to use the telephone communication with the responsibility .

GREEDY+ : use the telephone communication with the responsible

REPONSES : 1 1 3 3 3 1

42

REFERENCE: appuyez et attendez qu’ on vous répondre .

GREEDY : stand and watch what you please answer .

DP : answer you wait and support .

GREEDY+ : answer you wait and support .

REPONSES : 0 2/3 2/3 2/3 1 0

43

REFERENCE: si le train est en marche , il s’ immobilisera à la prochaine station .

GREEDY : if the train is in march , it is UNK at the next station .

DP : if the train is the way , it is in the next station .

GREEDY+ : if the train is the way , it is in the next station .

REPONSES : 0 2/3 2/3 1 1 0

44

REFERENCE: notre planète est suffisamment chaude pour soutenir la vie .

GREEDY : our planet has enough hot in support of life .

DP : our planet is enough to support the warm .

GREEDY+ : our planet is enough to support the warm .

REPONSES : 0 1 1 1 0 1

45

REFERENCE: d’ autres ne sont pas certains .

GREEDY : the others do are not there .

DP : not in others are not there .

GREEDY+ : not to others are not there .

REPONSES : 0 1 1 1 0 0

46

REFERENCE: une partie de l’ information figurant sur ce site web vient de sources externes .

GREEDY : a part of the information on hereto what m-6 from tangled of sources factors .

DP : a part of the information contained in that site just tangled of external roots .

GREEDY+ : a part of the information contained on site just tangled of external roots .

REPONSES : 0 1 1 1 1 1

47

REFERENCE: vous quittez le gouvernement du canada .

GREEDY : you leave the government of canada .

DP : government please leave canada .

GREEDY+ : government please leave canada .

REPONSES : 1 1 1 1 1 1

48

REFERENCE: le québec constitue un lieu unique en cette terre d’ amérique .

GREEDY : that quebec constitutes a rather unique in this land in america .

DP : the quebec government is a rather unique in this land in america .

GREEDY+ : the quebec is a rather unique in this land in america .

REPONSES : 3 3 3 3 3 0

49

REFERENCE: le québec présente un climat polaire dans l’ extrême nord .

GREEDY : the quebec presents a climate in beads the extreme north .

DP : the quebec presents a polar climate in the extreme north .

GREEDY+ : the quebec presents a polar climate in the extreme north .

REPONSES : 2/3 2/3 2/3 2/3 2/3 2/3

50

REFERENCE: les températures moyennes sont bien sûr plus tempérées .

GREEDY : the temperatures averages are certainly well longer boreal .

DP : canadians are much more temperate course average temperatures .

GREEDY+ : canadians are obviously more temperate average temperatures .

REPONSES : 0 1 2 1 3 0