Ко́рпусна лінгві́стика — розділ мовознавства, що вивчає створення, обробку та використання корпусів.
Розв'язування задач, пов'язаних з пошуком прикладів, що ілюструють те або інше мовне явище, а також з уточненням вживання окремих лексем привело до появи нового напряму в прикладній лінгвістиці — корпусної лінгвістики, тобто науки, що вивчає створення корпусів текстів і їхнє використання.
За останнє десятиліття корпусна лінгвістика швидко прийняла той досвід, який був накопичений в інших достатньо розвинених галузях, що об'єднуються терміном АОТ (автоматична обробка тексту), або ж АРТ (автоматичне розуміння тексту), корпусна лінгвістика сьогодні має дві лінії розвитку — лінгвістичний аналіз тексту і інформаційний аналіз тексту.
Інформаційний аналіз реалізується в системах типу ІПС (інформаційно-пошукові системи), а лінгвістичний аналіз прагне інтерпретувати, виявити сенс тексту, при цьому лінгвістичний аналіз характеризується локальністю, тобто проходить в рамках однієї пропозиції. Інформаційний аналіз, навпаки, «бачить» текст як ціле. Ці два напрями розвивалися майже паралельно, практично ніяк не стикаючись, унаслідок чого не отримали достатнього розвитку. Лінгвістичний аналіз не дав коректного машинного перекладу, оскільки одна неправильно інтерпретована фраза може в контексті набувати абсолютно іншого значення.
Корпуси
Нині в науковому словнику лінгвістів з'являються дуже близькі поняття: «електронні бібліотеки», «масив текстів», «колекція текстів», «електронний архів», «повнотекстова база даних». Серед них можна виділити лінгвістичні корпуси, або мовні корпуси. Корпус текстів — це вид корпусу даних, одиницями якого є тексти або їх достатньо значні фрагменти, що включають, наприклад, якісь повні фрагменти макроструктури текстів даної проблемної області.
Корпус текстів характеризується чотирма основними параметрами: по-перше, він повинен бути достатньо великого обсягу; по-друге, корпус повинен бути структурованим або розміченим; по-третє, тексти, складові певного корпусу, повинні бути в електронному варіанті; по-четверте, в поняття «Електронний корпус» входить, як правило, спеціальне програмне забезпечення для роботи з цим корпусом.
Цінність корпусу вбачається в наступному: одного разу зроблений корпус може багато разів використовуватися; корпус показує мовні дані в їх реальному оточенні, що дозволяє досліджувати лексичну і граматичну структуру мови, а також безперервні процеси мовних змін, що відбуваються в мові впродовж певного відрізка часу; корпус характеризується показовістю, або збалансованим складом текстів, що дозволяє використовувати його для тестування пошукових машин, машинних морфологій, систем перекладу, а також використовувати його в різних лінгвістичних дослідженнях; корпус має важливе значення для викладання мови, оскільки за допомогою корпусу можна швидко і ефективно перевірити особливості вживання незнайомого слова або граматичної форми.
Робота з корпусами, тобто з масивами текстів, представленими в електронному вигляді, стала одним з основних методів лінгвістичних досліджень. Так, ще в 1960-і роки створювався Браунівський корпус (США), який включає 1 млн слів. Відтоді виникла ціла низка аналогічно побудованих корпусів: LOB корпус (британська англійська у 1960-х роках), Колхапур (), Веллінгтон (новозеландська англійська, Австралійський корпус англійської мови (австралійська англійська), корпус Фраун (на початку 1990-х років американська англійська), а також FLOB Корпус (1990-ті роки британська англійська). Міжнародний корпус англійської мови і Британський національний корпус British National Corpus включають колекцію зі 100 млн слів розмовного та письмового тексту. Наповнюються інші національні корпуси мов (угорський, італійський, хорватський, чеський, японський) обсягом 100 млн слів. На початку XXI ст. створили American National Corpus , 100 млн слів і Gigaword corpora (англійська, арабська, китайська), що включає 1 млрд слів.
Крім корпусу живих мов, з колекцій текстів зробили комп'ютерні корпуси стародавніх мов. Наприклад, з 1970-х років створюється база єврейської Біблії.Andersen, Francis I.; Forbes, A. Dean (2003), «Hebrew Grammar Visualized: I. Syntax», Ancient Near Eastern Studies 40, pp. 43–61Eyland, E. Ann (1987), «Revelations from Word Counts», in Newing, Edward G.; Conrad, Edgar W., Perspectives on Language and Text: Essays and Poems in Honor of Francis I. Andersen's Sixtieth Birthday, July 28, 1985, Winona Lake У зібрано понад 77 тисяч слів.Dukes, K., Atwell, E. and Habash, N. 'Supervised Collaboration for Syntactic Annotation of Quranic Arabic'. Language Resources and Evaluation Journal. 2011.
Перший комп'ютеризований лінгвістичний корпус був розроблений 1971 року Монреальським французьким проектом, що містить один мільйон слів.Sankoff, D. & Sankoff, G. Sample survey methods and computer-assisted analysis in the study of grammatical variation. In Darnell R. (ed.) Canadian Languages in their Social Context Edmonton: Linguistic Research Incorporated. 1973. 7–64.Poplack, S. The care and handling of a mega-corpus. In Fasold, R. & Schiffrin D. (eds.) Language Change and Variation, Amsterdam: Benjamins. 1989. 411—451.
Існування корпусів текстів дає можливість значно розширити й автоматизувати аналіз мовного матеріалу, який є найважливішою базою будь-якого лінгвістичного дослідження. Чим більше матеріалів аналізується, тим вища значущість висновків і рівень їх достовірності.
Сучасні комп'ютерні програми дозволяють знаходити потрібні приклади з корпусів текстів, які зберігаються в електронному вигляді на комп'ютері. Це економить значну кількість часу в порівнянні з традиційною технологією збору прикладів вручну.
Відзначимо, що саме анотація, або розмітка, — головна характеристика корпусу, яка і відрізняє його від електронних колекцій, бібліотек, енциклопедій, широко представлених в сучасному Інтернеті. Розмітка тексту — це приписування тексту певної інформації для зручнішого аналізу.
Існують різні типи розмітки: метатекстова розмітка (автор, назва, дата створення, обсяг, тематика тексту і т. д.), яка характеризує текст в цілому; структурна розмітка є інформацією про структуру тексту, яка дозволяє відокремити одне слово від іншого, виділити межі словосполучення, речення, тексту; лінгвістична розмітка полягає в приписуванні одиницям тексту певної лінгвістичної інформації (заперечне речення або питальне, спонукальне або примикання і т. д.). Як відомо, чим багатша і різноманітніша розмітка, тим вищою є наукова і навчальна цінність корпусу.
Історія становлення корпусної лінгвістики
В історії корпусної лінгвістики є два ключові моменти, які варто відзначити. По-перше, хоча загально вважається, що ця галузь виникла активно у 60-х роках ХХ століття разом із появою перших комп'ютерних корпусів, У. МакЕнері та А. Вільсон вказують на те, що корпусна лінгвістика має свої коріння в більш ранні періоди. По-друге, якщо розглядати корпусну лінгвістику як вивчення мови на основі реальних прикладів її вживання, то важливо відзначити, що емпіричні дослідження з використанням масштабних корпусів мовних даних відбувалися навіть до початку комп'ютерної ери. Це свідчить про те, що ідея корпусу та його використання поступово розвивалася від «кам'яного віку» до сучасних електронних баз даних. Наприклад, проект «The Survey of English Usage», започаткований у 1959 році Рендольфом Квірком в University College London, є одним із найважливіших у цьому контексті. Початково цей проект базувався на картонних картках, що містили зразки мовлення громадян. Тільки пізніше дані були перенесені у електронний формат. Сьогодні ж цю базу можна оглянути на веб-сайті проекту.
У західному світі становлення корпусної лінгвістики відзначається важливими етапами, серед яких варто виділити період створення перших корпусів. Цей час, припадаючи на 1960-ті роки, був визначним завдяки ряду масштабних досліджень, що стимулювали ідею формування корпусів, які ми зараз знаємо.
Один з найперших комп'ютерних корпусів — Браунівський корпус, був складений у Браунівському університеті в США. Створення цього корпусу було спрямоване на вивчення лінгвістичних особливостей американського варіанту англійської мови. Зразки текстів для корпусу відбиралися з різних жанрів англомовної друкованої прози, опублікованої в 1961 році. Перша версія корпусу містила 500 текстових уривків обсягом приблизно 1 мільйон слів. Цей корпус супроводжувався обширною статистичною обробкою, включаючи частотний і алфавітно-частотний словник, а також різноманітні статистичні розподіли. Започаткований успіх Британського національного корпусу, спрямованого на вивчення британського варіанту англійської мови, надихнув створення американського еквівалента. У 1999 році було створено консорціум Американського національного корпусу, а в наступних роках були випущені перша та друга частини цього корпусу. Особливістю Американського національного корпусу є те, що він включає жанри, що ще не були представлені у Британському національному корпусі, такі як особисті електронні тести, Інтернет-чати та веб-сторінки.
У 2000-і роки спостерігається швидкий розвиток корпусної лінгвістики, що виявляється у значній кількості нових досліджень у цій галузі. Наприклад, дослідження у лексичній граматиці, лексикографії, когнітивній лінгвістиці, прагматиці, дискурс-аналізі, стилістиці, перекладознавстві та інших напрямках. Крім того, корпуси створюються для багатьох мов світу, що свідчить про загальний інтерес до корпусної лінгвістики.
Нові досягнення у цій галузі публікуються у відомих міжнародних наукових журналах, таких як Corpus, Corpus Linguistics and Linguistic Theory, ICAME Journal. На сьогоднішній день майже для кожної європейської мови існують корпуси текстів різного типу, обсягу та структури. Створення національного корпусу вважається проявом поваги до рідної мови, і хоча українська корпусна лінгвістика ще розвивається, вже здійснено значні досягнення у цій галузі.
Корпуси української мови В Україні перший доступний для пошуку в інтернеті корпус текстів української мови розроблено співробітниками лабораторії комп'ютерної лінгвістики Інституту філології Київського національного університету імені Тараса Шевченка під керівництвом Н. П. Дарчук у 2004 році. Обсяг корпусу — понад 100 млн слововживань. Корпус доступний для пошуку онлайн з 2010 року.
У корпусі зберігаються публіцистичні, художні, наукові, законодавчі, поетичні, фольклорні тексти, опрацьовані автоматичним лінгвістичним аналізатором. Кожній одиниці тексту (морфемі, слову, словосполученню, реченню) приписана супровідна інформація: частиномовна належність, граматична форма, синтаксична функція, контекст тощо. Корпус надає інформацію двох типів:
Конкорданси, або ж контексти вживання шуканих одиниць (із вказівкою на джерела). За допомогою конкордансів можливо вивчати особливості використання слів у текстах різних стилів, індивідуально-авторські вживання тих чи інших лексем, розвиток нових значень тощо. Конкорданси використовують також для психолінгвістичних та соціолінгвістичних досліджень (вивчення асоціативних зв'язків між словами), у літературознавчому аналізі (для розкриття авторського бачення певних концептів чи образів, особливостей мовної картини світу певного автора) тощо. Кількісні характеристики вживання у текстах мовних одиниць. Частотна інформація розкриває закономірності лексичної та статистичної будови текстів, функціонування мови в мовленні, стилістичні особливості, формальні риси одиниць і граматичних категорій.
З 2012 року доступні онлайн паралельні українсько-російський та російсько-український корпуси у складі Національного корпусу російської мови.
З 2014 року активно розвивається Український вебкорпус Лейпцизького університету (Німеччина) Містить тексти з інтернету, без морфологічної розмітки.
З 2017 року діє Генеральний регіонально анотований корпус української мови (ГРАК ). Обсяг десятої версії корпусу понад 650 млн токенів.