Классификация документов

Классификация документов — одна из задач информатики, заключающаяся в отнесении документа к одной из нескольких категорий основываясь на содержании документа.

Использует методы информационного поиска и машинного обучения.

Следует отличать классификацию текстов от кластеризации, в последнем случае тексты также группируются по некоторым критериям, но заранее заданные категории отсутствуют.

Содержание

Постановка задачи

Имеется множество категорий \mathfrak{C} = \{ c_1, ... , c_{ \left| \mathfrak{C} \right| } \}

Имеется множество документов \mathfrak{D} = \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}

Неизвестная целевая функция \Phi : \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}

Необходимо построить классификатор \Phi^\prime максимально близкий к Φ.

Имеется некоторая начальная коллекция документов для которой известны значения Φ. Обычно её делят на «учебную» и «проверочную» части, первая используется для обучения классификатора, а вторая для его проверки.

Классификатор может выдавать точный ответ \Phi^\prime : \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \} или степень подобия \Phi^\prime : \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]

Этапы обработки

Индексация документов 
Построение некоторой числовой модели текста, например в виде многомерного вектора слов и их веса в документе. Уменьшение размерности модели.
Построение и обучение классификатора 
Могут использоваться различные методы: разрешающие деревья, фильтр Байеса, нейронные сети, метод опорных векторов и др.
Оценка качества классификации 
Можно оценивать по метрикам полноты, точности, сравнивать классификаторы специальным тестовым наборам.

Применение

  • фильтрация спама
  • составление интернет-каталогов
  • подбор контекстной рекламы
  • в системах документооборота
  • автоматическое реферирование (составление аннотаций)
  • снятие неоднозначности при автоматическом переводе текстов

Ссылки

 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home