Прикладные задачи обработки текста

Описание и механизмы решения основных типов прикладных задач

Вопрос 1

Качество классификации может быть измерено с помощью нескольких метрик. Одни из самых популярных - точность, полнота и F1-мера (ф-мера). В основе этих метрик лежат частоты ошибок первого и второго рода (ложноотрицательных и ложноположительных срабатываний)

	Истинная метка - 0	Истинная метка - 1
Предсказание - 0	Истинно отрицательное предсказание True Negative, TN	Ложно-отрицательное предсказание False Negative, FN
Предсказание - 1	Ложно-положительное предсказание False Positive, FP	Истинно положительное предсказание True Positive, TP

Сокращения TN, FN, FP, TP можно использовать для обозначения количества истинно-отрицательных, ложно-отрицательных, ложно-положительных и истинно-положительных предсказаний оцениваемого классификатора на валидационной выборке.

Используя эти обозначения, можно определить точность, полноту и F1-меру следующим образом:

$$Precision = \frac {TP} {TP + FP + \epsilon},$$

$$Recall = \frac {TP} {TP + FN + \epsilon}​,$$

$$F_1 = \frac{2PrecisionRecall} {Precision + Recall + \epsilon}​,$$

где $ϵ$ - малое по модулю положительное число (чтобы не было деления на 0).

Кроме того, иногда используют долю верных угадываний:

$$Accuracy = \frac {TP + TN} {TN + FN + FP + TP}$$

Проанализируйте эти формулы и отметьте в списке ниже истинные утверждения (одно или несколько), касающиеся этих метрик.

При оценке истинности утверждений предполагайте, что количество положительных и отрицательных примеров в валидационной выборке одинаковое, если в варианте ответа не указано другое.

• Если классификатор всегда возвращает 0, точность на валидационной выборке приблизительно равна 1

• Если классификатор всегда возвращает 0, F1 на валидационной выборке приблизительно равна 1

• F1 достигает наибольшего значения, когда полнота больше точности

• Если классификатор всегда возвращает 1, полнота на валидационной выборке приблизительно равна 1

• Если классификатор всегда возвращает 1, F1 на валидационной выборке приблизительно равна 1

• Accuracy всегда показывает надёжную оценку качества классификатора, даже на выборке со скошенным распределением классов (например, когда количество отрицательных примеров сильно больше количества положительных)

• Если классификатор всегда возвращает 0, Accuracy на валидационной выборке равна 0.5 (при этом классы сбалансированы)

• Если классификатор всегда возвращает 1, Accuracy на валидационной выборке равна 0.5 (при этом классы сбалансированы)

• Если классификатор всегда возвращает 0, полнота на валидационной выборке равна 0

• Если классификатор всегда возвращает 0, точность на валидационной выборке приблизительно равна 1

• Если классификатор всегда возвращает 1, F1 на валидационной выборке равна 0.667

• Если классификатор всегда возвращает 1, точность на валидационной выборке равна 0

Вопрос 2

Процесс решения задачи поиска часто состоит из двух крупных шагов, каждый из которых разбивается на более мелкие:

1. Настройка поиска

   1. преобразование объектов (например, текстов) в вещественные вектора

   2. построение поискового индекса

   3. настройка функции ранжирования

2. Выполнение поиска

   1. преобразование запроса в вещественный вектор

   2. грубая выборка кандидатов

   3. сортировка кандидатов с помощью функции ранжирования

Поисковый индекс - набор специальных структур данных, ускоряющих процесс поиска. Так как процесс индексации тоже требует времени, поисковые индексы не всегда имеет смысл строить - например, когда данных мало или данные часто меняются и индекс устаревает быстрее, чем может быть перестроен.

Настройка функции ранжирования выполняется с помощью набора примеров вида "запрос - документ - оценка релевантности по мнению человека". Релевантность - численная величина, характеризующая соответствие найденного документа запросу (чем больше, тем лучше документ подходит под запрос).

Пусть у нас есть коллекция документов, которые на шаге 1.1 были преобразованы в следующие вектора

ID документа	Признаки
1	(0, 1)(0,1)
2	(1, 0)(1,0)
3	(1, 0.5)(1,0.5)

Также у нас есть функция ранжирования

$$Relevance(q, d) = - (q_1 - d_1)^2 - 2 (q_2 - d_2)^2 ,$$

где $(q_1, q_2)$ - признаки запроса, а $(d_1, d_2)$ - признаки документа.

Нам пришел запрос с признаками $(1, 1)$.

Отсортируйте документы в порядке убывания релевантности относительно данного запроса.

Вопрос 3

Выберите истинные утверждения (одно или несколько) касательно задачи поиска текстов.

• Линейные модели чаще обеспечивают большую точность по сравнению с тематическим моделированием.

• Линейные модели чаще обеспечивают большую полноту по сравнению с дистрибутивно-семантическими моделями.

• Поиск текстов - это задача определения тематики документа.

• В поиске похожих документов в качестве запроса выступает картинка.

Вопрос 4

Выберите верные утверждения (одно или несколько) касательно извлечения структурированной информации.

• Извлечение именованных сущностей сводится к задаче классификации токенов

• Для извлечения информации можно использовать нейросети

• Для извлечения информации можно использовать тематическое моделирование

Типы прикладных задач

Классификация

• Тематическая классификация длинных текстов

• Классификация коротких текстов (по тональности, интенции)

Поиск

• Поиск по запросу

• Поиск текста по изображению и изображений по текстам

• Поиск похожих текстов

• Вопросно-ответный поиск

Извлечение структурированной информации

Диалоговые системы

Машинный перевод

Эксплоративный анализ

Тематическая классификация

Механизмы для длинных текстов:

• Линейные модели классификации, векторное представление, TF-IDF

• Нейросетевые модели

Механизмы для коротких текстов:

• Нейросети

• Ядерные методы

• Системы правил (лексико-синтаксические шаблоны)

Поиск

Механизмы для коротких поисковых запросов:

• TF-IDF + формулы вычисления релевантноти BM-25 и др.

• Дистрибутивно-семантические модели

• Лингвистический анализ и алгоритмы сопоставления структуры текстов

• Обучаемое ранжирование на основе бустинга и нейросетей

Механизмы для HTML-страниц с изображениями:

• Поиск через окружающий текст

• Нейросети

Механизыми для поиска похожих документов:

• TF-IDF + векторная модель текста, N-граммы

• Плотные векторные представления, тематическое моделирование

• Сиамские нейросети

Механизмы для поиска ответов:

• Нейросети

• Лингвистический анализ и алгоритмы сопоставления графов, ядерные методы

Извлечение структурированной информации

Механизмы:

• Системы правил, сопоставление со словарями

• Лингвистеческий анлиз и ядерные методы

• Нейросети (редко)

Диалоговые системы

Механизмы:

• Алгоритмы классификации коротких текстов (например, для определения интенции)

• Алгоритмы поска похожих текстов для выбора ответа

• Нейросети — end-to-end диалогоые системы

Машинный перевод

Механизмы:

• Нейросети

• Алгоритмы статистического машинного перевода

Эксплоративный анализ

Механизмы:

• Тематический анализ (LDA, ARTM)