A simple and robust method for extracting terminology

Abstract

In this paper we will present a simple, yet effective, method for extracting terminology from technical text. The method is based on the observation that for technical domains it is much simpler to describe what a valid terminological unit cannot be than what it can possibly be. Our method relies on a set of filters that exclude multi-word units according to simple rules regarding their context and internal lexical structure, and it does not require any special pre-processing such as POS tagging. Rules were hand-coded in a simple incremental process and may be ported to several languages with little effort. Additionally, the method is able to process more than two million words per minute on a standard computer. Although the method was originally intended for semiautomatic terminological extraction, we believe that it can also be applied in fully automated procedures, making it appropriate for large-scale information extraction. We will start by explaining our main motivation for building this method and we will describe its role in a larger framework, the Corpógrafo. We will then present the process of building the current method, from the first very simple approaches to the current version, pointing out the problems encountered at each step. We will then present results of applying the current version of the extraction method to specific domain corpora in English. Finally, we will present future plans and explain how we are currently in the process of building a small semantic lexicon for helping future large-scale information extraction procedures.

Keywords/Mots-Clé:

• terminology extraction,
• method,
• technical writing,
• translation,
• information

Résumé

Nous présentons une méthode simple, mais efficace, pour l’extraction de terminologie à partir de textes techniques. La méthode est basée sur l’observation que dans les domaines techniques il est beaucoup plus simple de déterminer ce que n’est pas une unité terminologique valide que d’identifier ce qui est probablement une unité terminologique. Notre méthode se fonde sur un ensemble de filtres qui excluent les pluritermes selon des règles simples concernant leur contexte et leur structure lexicologique interne, et elle n’exige aucun prétraitement spécial comme le POS tagging. Des règles sont été codées manuellement par un simple procès incrémental et elles peuvent être écrites en plusieurs langues sans effort. En plus, la méthode peut traiter plus de deux millions de mots par minute avec un ordinateur standard. Bien que la méthode ait été originalement prévue pour l’extraction terminologique semi-automatique, nous croyons qu’elle peut également être appliquée à une procédure complètement automatisée, la rendant appropriée à l’extraction d’information à grande échelle. Nous commencerons par expliquer notre motivation principale pour établir cette méthode et nous décrirons son rôle dans sa plus grande portée, le Corpógrafo. Nous présenterons la façon d’établir la méthode courante, dès les premières approches de la version en cours, précisant les problèmes rencontrés à chaque étape. Nous donnerons alors les résultats de la version actuelle de la méthode d’extraction en corpus de domaine spécifiques en anglais. Enfin, nous présenterons des propositions pour l’avenir et expliquerons un petit lexique sémantique facilitant les procédures d’extraction d’information à grande échelle.