Pilon, Suléne, Martin J. Puttkammer, and Gerhard B. Van Huyssteen. 2008. “Die ontwikkeling van ‘n woordafbreker en kompositumanaliseerder vir Afrikaans [The development of a hyphenator and compound analyser for Afrikaans].” Literator 29 (1):21-41.
Pilon, Puttkammer & Van Huyssteen 2008
English: Afrikaans, compound analysis, hyphenation, machine learning
Afrikaans: Afrikaans, masjienleer, samestellinganalise, woordafbreker
English: The development of two core-technologies for Afrikaans; viz. a hyphenator and a compound analyser is described in this article. As no annotated Afrikaans data existed prior to this project to serve as training data for a machine learning classifier; the core-technologies in question are first developed using a rule-based approach. The rule-based hyphenator and compound analyser are evaluated and the hyphenator obtains an f-score of 90,84%, while the compound analyser only reaches an f-score of 78,20%. Since these results are somewhat disappointing and/or insufficient for practical implementation, it was decided that a machine learning technique (memory-based learning) will be used instead. Training data for each of the two core-technologies is then developed using “TurboAnnotate”, an interface designed to improve the accuracy and speed of manual annotation. The hyphenator developed using machine learning has been trained with 39 943 words and reaches an f-score of 98,11% while the f-score of the compound analyser is 90,57% after being trained with 77 589 annotated words. It is concluded that machine learning (specifically memory-based learning) seems an appropriate approach for developing core-technologies for Afrikaans.
Afrikaans: In hierdie artikel word die ontwikkeling van twee kerntegnologieë vir Afrikaans; ’n woordafbreker en ’n kompositumanaliseerder; beskryf. Aangesien geen geannoteerde data waarmee masjienleermodules afgerig kan word voor hierdie projek beskikbaar was nie; word eers van ’n reëlgebaseerde benadering gebruik gemaak om hierdie kerntegnologieë te ontwikkel. Die reëlgebaseerde modules word geëvalueer en die woordafbreker behaal ’n f-telling van 90,84% en die kompositumanaliseerder ’n f-telling van 78,20%. Aangesien hierdie resultate nie heeltemal bevredigend vir praktiese implementering is nie, word ’n masjienleertegniek (geheuegebaseerde leer) vervolgens gebruik om hierdie modules te ontwikkel. Afrigtingsdata vir albei die kerntegnologieë word ontwikkel met behulp van “TurboAnnotate”, ’n koppelvlak wat ontwikkel is om die akkuraatheid en spoed van handmatige annotasie te verhoog. Die masjienleerwoordafbreker word afgerig met 39 943 geannoteerde woorde en behaal ’n f-telling van 98,11%, terwyl die kompositumanaliseerder’n f-telling van 90,57% behaal nadat dit met 77 589 geannoteerde woorde afgerig is. Dit word ten slotte gestel dat masjienleer (spesifiek geheuegebaseerde leer) suksesvol blyk te wees in die ontwikkeling van kerntegnologieë vir Afrikaans.
In: Afrikaans
On: Afrikaans