Perusmuotoistamisella (lemmatization), synonyymejä lemmaus ja lemmatisointi, tarkoitetaan tiedonhaussa hakutermin muuttamista sen perusmuotoon. Tiedonhakuprosessissa haun kohteelle ja hakijan kyselylle tehdään kielellinen normalisointi.
Kielitieteellinen perusmuotoistaminen Kielitieteessä perusmuotoistaminen on osa leksikaalista morfologiaa. Sanan taivutusmuoto koostuu vartalosta ja taivutustunnuksesta. Vartalo on siis se osa sananmuotoa, joka jää jäljelle kun taivutustunnukset erotetaan. Vartalo voi olla kaikissa sanan taivutusmuodoissa sama, tai sitten se vaihtelee. Esimerkiksi: puhu-a : puhu-n : puhu-taan : puhu-nut ja keppi : kepi-n : keppe-jä. Hakulinen et al: Iso suomen kielioppi. Suomalaisen Kirjallisuuden Seura, 2004, Helsinki.
Perusmuotoistaminen ja stemmaus Perusmuotoistaminen on läheistä sukua stemmaukselle. Perusmuotoistamisessa indeksiin tallennetaan sanan perusmuoto, kun taas stemmauksessa indeksiin tallennetaan sanan vartalo.Airio, Eija 2009: Morphological problems in IR and CLIR. Applying linguistic methods and approximate string matching tools. Tampere University Press, Tampere. Toisin kuin perusmuoto-ohjelmat, stemmerit eivät ymmärrä sanojen kontekstia ja osa sanoista joilla on useita merkityksiä eri asiayhteyksissä jää löytämättä.
Perusmuotoistamisen ja erilaisten perusmuoto-ohjelmien toimintaperiaatteena on palauttaa sanat niiden perusmuotoon ja tunnistaa yhdyssanoista osasanat. Ne pohjautuvat morfologisiin sääntöihin sekä laajaan perusmuodot sisältävään sanakirjaan.Kettunen, Kimmo: Reductive and generative approaches to morphological variation of keywords in monolingual information retrieval. Tampere University Press, 2007, Tampere.
Perusmuotoistamista pidetään stemmausta tarkempana ja perusteellisempana tapana käsitellä tekstiä tiedonhakua varten. Vertailtaessa perusmuotoistamista ja stemmausta, eroja niiden välillä on kuitenkin lähes mahdotonta havaita.
Perusmuotoistamisen etuja ja ongelmia Perusmuotoistamisen etuna on se, että sen avulla indeksiin saadaan luotua sanakirjamuoto. Perusmuotoistamista pidetään parhaana vaihtoehtona luonnollisen kielen käsittelyyn laajan morfologian omaavissa kielissä, kuten suomen kielessä.
Perusmuotoistamisen huonona puolena on hakujen tarkkuutta heikentävä ylitulkinta. Ylitulkintaa tapahtuu, koska perusmuotoistamismenetelmät löytävät kaikki mahdolliset tulkintavaihtoehdot, esimerkiksi Kokkola-sanan taivutusmuoto kokkolasta on tulkittu kokko- ja lasta-sanojen perusmuodoista koostuvaksi yhdyssanaksi.Alkula, Riitta: Merkkijonoista suomen kielen sanoiksi, 2000. Ongelmia aiheuttavat myös sanakirjasta puuttuvat sanat, kuten ulkomaalaiset erisnimet.
Lähteet
Aiheesta muualla Suomen kielen perusmuoto-ohjelma FINTWOL: http://www2.lingsoft.fi/cgi-bin/fintwol Sanan kauppa kaikki eri taivutusmuodot: http://www.ling.helsinki.fi/~fkarlsso/genkau2.html
Luokka:Tiedonhaku