Testing the correlation of word error rate and perplexity*1
مقال من تأليف: Klakow, Dietrich ; Peters, Jochen ;
ملخص: Plusieurs groupes ont étudié la relation entre le taux d'erreur au niveau du mot et la perplexité du modèle de langage. Cette question est d'un intérêt central dans la mesure où la perplexité peut être optimisée indépendamment du système de reconnaissance et que, dans la plupart des cas, il est possible d'aboutir à des procédures simples d'optimisation. De plus, de nombreuses tâches intervenant lors de l'entraînement d'un modèle de langage, par exemple, l'optimisation des classes de mots, sont suceptibles d'utiliser la mesure de perplexité comme objectif ce qui conduit à des formules explicites d'optimisation qui ne seraient pas accessibles si le taux d'erreur avait été choisi comme objectif. Cet article présente d'abord des arguments théoriques en faveur d'une relation étroite entre perplexité et taux d'erreur. Ensuite, la notion d'incertitude d'une mesure est introduite et appliquée aux fins de tester l'hypothèse que la corrélation entre perplexité et taux d'erreur est régie par une loi de puissance. Il n'y a pas d'évidence pour rejeter une telle hypothèse.
لغة:
إنجليزية