Вікіпедія

Когерентність (лінгвістика)

Когере́нтність (від лат. cohaerens.  — «який перебуває у зв'язку») — у лінгвістиці цілісність тексту, яка полягає у логіко-семантичній, граматичній та стилістичній співвіднесеності та взаємозалежності складових елементів (слів, речень тощо); одна з характеристик тексту/дискурсу та одна з необхідних умов текстуальності.[1] Одне з основних понять теорії лінгвістики тексту. Крім терміну «когерентність» використовують також терміни «цілісність», «інтеграція» (тексту). Когерентність також називають змістовною зв'язністю тексту.

Когерентність робить текст значимим семантично. Вона досягається за допомогою синтаксичних засобів (дейксиси, анафори, катафори), наявності логічно значимої структури, пресупозиції та логічних наслідків, що посилаються на загальновідомі знання (фонові знання). Термін «когерентність» застосовується під час аналізу дискурсу, інтерпретації глибинних смислів тексту та задуму автора.[2]

Когерентність і когезія ред.

Виключно лінгвістичні елементи, які забезпечують когерентність тексту, позначаються терміном «когезія тексту» — його зв'язність. Однак застосування цих лінгвістичних засобів не забезпечує досягнення когерентності тексту. Вони не завжди сприяють осмисленості дискурсу. Текст є цілісним, тобто когерентним, тільки у тому випадку, коли фонові знання використані у ньому цілісно. Когезія забезпечує внутрішню лексико-граматичну зв'язність тексту: інтерпретація одних елементів тексту залежить від інших, що дозволяє автору передати свою ідею адресату якомога зрозуміліше та точніше. Когерентність організовує частини дискурсу у такий спосіб, що авторський задум стає зрозумілим адресату, реалізує доречність дискурсу. Когерентність означає смислову цілісність тексту на рівні понять, когезія — використання визначених мовних одиниць, форм і експліцитних конекторів. Згідно з Т. В. Мілевською, когезія — властивість елементів тексту, когерентність — властивість тексту в цілому. Когезія — внутрішня (структурна) зв'язність, когерентність — зовнішня (прагматична) зв'язність. Когезія є другорядним елементом у формуванні когерентності, оскільки остання може не мати зовнішніх проявів, але водночас визначати вибір мовних засобів, які реалізують задум автора. Згідно з М. Л. Макаровим, когерентність ширша когезії: когезія є формально-граматичною зв'язністю дискурсу, в той час як когерентність охоплює також семантико-прагматичні (в тому числі тематичні та функціональні) аспекти смислової та діяльної (інтерактивної) зв'язності дискурсу, як локальної, так і глобальної.

На ранніх етапах становлення лінгвістичної теорії тексту простежувалася тенденція розуміти когезію як засіб формального внутрішньотекстового зв'язку. У процесі розвитку лінгвістики тексту поняття "когезія" стало значно ширшим. Додатково приймаються до уваги її текстоутворюючі потенції в області формування не тільки структурної, але і смислової (змістовної) цілісності мови. Ряд дослідників вважає, що когезія, засоби якої визначаються когерентністю, тобто глобальною зв'язністю тексту, є ширшою за когерентність, так як вона охоплює як формально-граматичні аспекти зв'язку висловлювань, так і семантико-прагматичні, функціональні аспекти смислової і діяльної зв'язності дискурсу, які забезпечують лінійність інформації. Когезія, і когерентность забезпечують цілісність та єдність дискурсу. Разом засоби когезії і когерентності, які включають логічні, граматичні, лексичні, стилістичні та інші засоби, створюють зв'язний та зрозумілий текст, який реалізує визначений комунікативний задум. Когезія та когерентність представляють собою різні аспекти зв'язності тексту і можуть розглядатися як різні рівні функціонування одного і того ж текстового феномена. Визначення тексту як лінгвістичної одиниці з основними категоріями - зв'язність та цілісність - у сучасній лінгвістиці вважається недостатнім. Вчені приходять до розуміння тексту як продукту пізнавально-комунікативної діяльності.[2]

Цілісність свідомості ред.

Р. Де Боугранд[en] і В. Дреслер визначають когерентність як «цілісність свідомості» і «взаємний доступ (взаємозв'язок) і релевантність у конфігурації понять і зв'язків».[3] Реальність, що створюється у тексті, може не відповідати реальному світу, але і в текстовій реальності ідеї повинні бути пов'язані у логічний спосіб, щоб читач або слухач могли відтворити у своїй свідомості цілісність цієї реальності.

Визначення когерентності тексту як «цілісності свідомості» припускає зв'язок між нею і схемами у теорії схем, популяризованої у 1932 році Ф. Бартлеттом[4][5], яка розширює поняття «текст». Схеми, згідно з цією теорією, представляють собою структуровані абстрактні блоки інформації, шляхи побудови моделі реального світу у нашій свідомості, ментальні структури, в межах яких вибудовується інформація про зовнішній світ.[6] Текст не завжди є таким у повному розумінні слова, оскільки не кожний текст володіє когерентністю. Навпроти, когерентність тексту релевантна завдяки своїй залежності від схем кожного окремого індивідуму.

Автоматизовані методи оцінки когерентності текстів ред.

Незважаючи на існування терміну «когерентність тексту», немає загальноприйнятого способу визначення його значення. Різні науковці пропонують свої підходи для обрахування когерентності через визначення складних функцій чи представлення тексту у вигляді деревоподібних структур і графів; інші підходи передбачають використання методів машинного навчання: метод опорних векторів, нейронні мережі тощо.

Entity Grid ред.

У 2008 році була запропонована модель оцінки когерентності тексту, яка отримала назву Entity Grid [7]. Головна ідея моделі полягає в припущенні, що розподіл ключових сутностей тексту (іменні групи, які присутні в реченнях) підпорядковується певній закономірності. Параметром оцінки когерентності вважається частота зміни ролі ключових слів в тексті, тобто аналізується частота зміни наголосів в тексті, які привертають увагу читача. У випадку різких/рівномірних переходів від однієї ключової сутності до іншої оцінка когерентності відповідно зменшується/збільшується. Авторами моделі було запропоноване представлення набору речень у вигляді матриці, що називається Entity Grid. Колонки в матриці відповідають всім сутностям тексту, рядки представляють речення. Комірка матриці містить опис ролі певної сутності у відповідному реченні. Ролі сутності можуть бути наступними: S (subject – головна сутність), O (object – сутність, підрядна головній), X (neither – допоміжна сутність). У випадку відсутності сутності в реченні комірка містить знак «–». Якщо сутність має декілька ролей в реченні, тоді роль встановлюється за наступним пріоритетом (від більшого до меншого): S, O, X. Додатково автори вводять поняття основних сутностей (salient entities). Сутність вважається основною (і потрапляє до матриці) тільки за умови її появи щонайменше   разів в тексті (  – параметр для гнучкого налаштування параметрів роботи моделі).

Після побудови матриці здійснюється формування векторів ознак. Отримані вектори використовуються як вхідний набір для навчання моделі. Навчена модель здійснює оцінку когерентності у наступний спосіб: текст вважається некогерентним, якщо різниця вектору характеристик цього тексту та шаблонних векторів (результат навчання моделі) складає значення, більше за порогове. Для навчання моделі автори використовували метод опорних векторів (Support Vector Machine – SVM).

Entity Graph ред.

В 2013 році був запропонований новий підхід для оцінки когерентності тексту, який отримав назву Entity Graph[8]. Entity Graph використовує модель графу для оцінки зв’язності речень тексту, що дозволяє враховувати взаємозв’язок між сусідніми та віддаленими реченнями (на відміну від Entity Grid, де переважно розглядався локальний зв’язок речень). Текст представлений за допомогою орієнтованого двочасткового графу (біграфу). Перша підмножина вершин графу відповідає набору речень тексту. Друга підмножина графу – дискурсивна підмножина, в якій кожній вершині ставиться у відповідність сутність. Зважене ребро між вершинами речення і сутності встановлюється в тому випадку, коли сутність присутня в реченні. Вага ребра встановлюється залежно від ролі сутності в реченні: 3 для головної сутності, 2 для підрядної, 1 для всіх інших ролей. Отриманий орієнтований двочастковий граф далі перетворюється в орієнтований проєкційний граф, в якому всі вершини позначають речення тексту, а ребра між ними встановлюються за умови наявності щонайменше однієї спільної сутності. Напрямок ребер відповідає послідовності розміщення речень у тексті. Ваги ребер розраховуються відповідно до трьох різних проєкційних методів. Для оцінки когерентності тексту обраховується середнє арифметичне значення напівстепені виходу вершин графу.

Застосування рекурентних та згорткових нейронних мереж ред.

Для автоматизованої оцінки когерентності тексту використовуються методи з  різноманітною архітектурою нейронних мереж: згорткова мережа[9], рекурентна і рекурсивна мережі[10]. Використання таких типів мереж обумовлене можливістю здійснювати обробку вхідних даних нефіксованого розміру. Застосування згорткових мереж дозволяє аналізувати семантичні канали вхідних речень окремо з подальшим об’єднанням отриманих результатів. Процес оцінки когерентності тексту поділяється на 2 етапи: формування векторного представлення речень та власне розрахунок міри когерентності. Для здійснення векторного представлення речень використовується навчена модель Word2Vec (GloVe, Sentence2Vec, fastText), що здійснює перетворення речення до матричної форми. Подальше трансформування матричної форми нефіксованого розміру до векторного представлення здійснюється за допомогою шарів згортки і субдискретизації, що за допомогою карт ознак дозволяють виділити різні властивості вхідних даних. Далі виконується застосування повнозв’язних шарів і функції softmax для формування кінцевого результату – оцінки цілісності вхідних речень.

Під час роботи згорткової мережі виконується пряме проходження сигналу від входу до виходу. Таким чином, кожний окремий прохід не залежить від попереднього. Проводячи аналогію з процесом читання, можна вважати, що кожне наступне слово є незалежним від попереднього. Однак нейрони головного мозку сприймають і аналізують кожне наступне слово тексту на основі вже прочитаного. Прочитавши частину речення, можна зрозуміти значення слова в даному контексті, або, навіть, його передбачити. Для вирішення цієї проблеми використовують нейрони зі зворотнім зв’язком, які мають додаткові входи зі значеннями, отриманими на попередньому кроці роботи. Такі нейрони «пам’ятають» попередні значення та можуть бути використані довільну кількість разів за один прохід сигналу. Ця властивість має наступні переваги:

  • можливість подавати на вхід мережі дані з нефіксованим розміром, що дозволяє здійснювати обробку речень різної довжини;
  • зменшення кількості вільних параметрів нейронної мережі, адже можливе багаторазове використання одного нейрону.

Нейронні мережі, що використовують наведені вище нейрони, називаються рекурентними і широко застосовуються для вирішення задач, пов’язаних з обробкою текстів. Більшість сучасних (станом на 2020 рік) методів оцінки когерентності використовують саме зазначені типи нейронних мереж різної архітектури для отримання точних результатів.

Оцінка когерентності україномовних текстів ред.

Більшість методів автоматизованої оцінки когерентності пропонуються для розрахунку цілісності англомовних текстів. Незважаючи на активний розвиток досліджень в напрямку обробки природних мов, дослідження когерентності для україномовних текстів поки знаходиться на початковому етапі.

В роботі[11] було досліджено використання графів семантичної схожості для відстеження впливу семантичної узгодженості речень на загальну оцінку цілісності україномовних текстів. Отримані результати можуть вказувати на наявність багаторазового зв’язку між реченнями тексту, написаного природною українською мовою. Таким чином, варто аналізувати зв'язок між елементами тексту незалежно від їх позиції в тексті. Крім того, доцільно аналізувати спільні терми речення та елементи міжфразової єдності (синоніми, антоніми, гіпоніми, кореферентні зв’язки), що дозволить покращити точність методу.

В роботах[12] і [13] здійснюється перевірка ефективності роботи методів з використанням згорткової та рекурентної нейронних мереж на множині україномовних текстів. Варто зазначити, що результати точності цих методів не перевищують значення графів семантичної схожості. Це може свідчити про необхідність збільшення навчальної вибірки моделей машинного навчання для україномовних текстів порівняно з англомовним корпусом у зв'язку з неоднорідністю структури речення в українській мові.

Див. також ред.

  • Когезія (лінгвістика)

Примітки ред.

  1. ↑ Захаренко Е. Н., Комарова Л. Н., Нечаева И. В. Новый словарь иностранных слов: свыше 25 000 слов и словосочетаний. — М. : ООО ИФ «Азбуковник», 2008. — 1040 с. — 3-е изд., испр. и доп. — С. 386.
  2. ↑ а б Величко М. А. Когезия и когерентность: особенности разграничения и определения понятий [Архівовано 28 Березня 2020 у Wayback Machine.]. // Вестник Адыгейского государственного университета. Серия 2 : Филология и искусствоведение. 2016. Вып. 2 (177). С. 39—43.
  3. ↑ De Beaugrande, Robert; Dressler, Wolfgang. Introduction to Text Linguistics. New York, 1996. P. 84—112.
  4. ↑ Bartlett, F. C. (1932). Remembering: A study in experimental and social psychology. Cambridge: Cambridge University Press.
  5. ↑ Brady Wagoner. Culture and mind in reconstruction: Bartlett's analogy between individual and group processes [Архівовано 28 Березня 2020 у Wayback Machine.]. Aalborg University, Denmark.
  6. ↑ DiMaggio, P. (1997). Culture and cognition. Annual Review Of Sociology.
  7. ↑ Regina Barzilay, Mirella Lapata, Modeling local coherence: An entity-based approach, Computational Linguistics, v.34 n.1, p.1-34, March 2008.
  8. ↑ Camille Guinaudeau and Michael Strube. 2013. Graph-based local coherence modeling. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 93–103.
  9. ↑ Cui, Baiyun, et al. "Text Coherence Analysis Based on Deep Neural Network." Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. ACM, 2017.
  10. ↑ Jiwei Li and Eduard Hovy. 2014. A model of coherence based on distributed sentence representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2039–2048. Association for Computational Linguistics.
  11. ↑ Погорілий С.Д., Крамов А.А. Метод розрахунку когерентності українського тексту. Реєстрація, зберігання і обробка даних. 2018. № 4. C. 64–75.
  12. ↑ Погорілий С. Д., Крамов А. А., Яценко Ф. М. Метод аналізу когерентності україномовних текстів із використанням рекурентної нейронної мережі. Математичні машини і системи. 2019. № 4. С. 9–16.
  13. ↑ Погорілий С.Д., Крамов А.А., Білецький П.В. Метод оцінки когерентності україномовних текстів з використанням згорткової нейронної мережі. Збірник наукових праць Військового інституту Київського національного університету імені Тараса Шевченка. 2019. № 65. С. 63–71.

Література ред.


Посилання ред.

На цю статтю не посилаються інші статті Вікіпедії.
Будь ласка розставте посилання відповідно до прийнятих рекомендацій.
Отримано з https://uk.wikipedia.org/w/index.php?title=Когерентність_(лінгвістика)&oldid=38878637