search

Естественный язык и текст

Что такое язык, текст; правила построения текста

hashtag
Множество допустимых цепочек символов из некоторого алфавита - это ...

circle-info

Язык — это множество допустимых цепочек символов из некоторого алфавита.

circle-info

Алфавит — это множество символов, из которых состоят тексты языка.

hashtag
Задачи анализа языка

  1. Обучение: воспроизведение правил языка.

  2. Применение: для определённого текста понять, по каким именно правилам он построен

Глокая куздра штеко бодланула бокра и кудрячит бокрёнка (Л.В. Щерба, 1930-е)

  • три действующих лица — куздра, бокр и бокрёнок

  • бодланула — глагол

  • бокрёнок — маленький бокр

hashtag
Уровни правил языка

  • графематические (как разделять слова и предложения между собой)

  • морфологические (как строить и изменять слова)

  • синтаксические (как согласовывать словоформы друг с другом)

  • семантические (объединение предыдущих правил для сообщения информации)

Как правило, обработка происходит от низкоуровневых правил к высокоуровневым. Результатом каждого этапа обработки текста является новая структура данных.

  1. "Сырой" текст — строка

  2. Графематический анализ — список предложений. Предложение — список лексем (токенов)

  3. Морфологический анализ — набор меток для каждого токена и ссылка на начальную форму

  4. Синтаксический анализ — дерево синтаксического подчинения слов со ссылками на "родителя"

  5. Семантический анализ — граф, описывающий ситуацию на верхнем уровне (что происходит, участники, их роли). Предикат — главное слово, определяющее структуру ситуации. Рёбра связывают участников ситуации, а метки рёбер характеризуют их роли и отношения

  6. Результаты всех этапов агрегируются для решения конечной задачи

PreviousСодержание курсаNextОсобенности обработки естественных языков

Last updated