Выделение ключевых слов в текстовых документах

Федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования

Вятский государственный гуманитарный университет

Реферат

Выделение ключевых слов в текстовых документах

Киров 2008 г.

Введение

Для решения задач классификации текстов, документы в непосредственном виде не подходят для интерпретации классификатором. Поэтому необходимо применение процедуры индексации, которая переводит текст в удобное представление. В частности стандартные методы классификации, такие как нейронные сети и деревья решений, требуют представление документа в виде вектора из nвзвешенных признаков. Построение такого вектора называется выделением признаков, а само представление векторной моделью документа.

Различия в подходах заключаются:

1) в понимании, что такое термин;

2) в способах определения веса термина.

Обычно признакам соответствуют все или некоторые отдельно взятые слова документа. В ряде экспериментов было обнаружено, что чуть даже более сложное представление менее эффективно. В частности, некоторые авторы пробовали использовать группы слов (стилистические, синтаксические) в качестве признаков. Д.Д. Льюис [5] довольно убедительно утверждает, что, скорее всего, причиной неутешительных результатов является то, что методы индексирования на основе фраз обладают худшими статистическими характеристиками по отношению к методам на основе одиночных слов, хотя их семантические качества гораздо выше.

Одним из самых распространенных методов перехода к математической модели документа, является «метод ключевых слов». Ключевое слово – слово в тексте, способное в совокупности с другими ключевыми словами представлять текст. Суть метода в следующем. Для каждого класса текстов создается список характерных для него слов, тогда каждый текст можно представить в виде вектора частот появлении в нём слов из данного списка [9]. Возникает проблема поиска и выделения из текста слов, которые будут для него ключевыми. Огромный объем информации, который подлежит обработке, делают особенно актуальной задачу автоматического выделения ключевых слов. Причем от чистоты этого выделения напрямую зависит точность классификации.

Целью работы является рассмотреть методы отделения ключевых слов в текстовых документах.

В работе, в основном, затрагиваются статистические методы, основанные на законах Ципфа, а также модель TF*IDF.

В экспериментальном разделе описывается модуль, основанный на модели TF*IDF, приведена оценка его возможностей для выделения ключевых слов из коллекции документов.

1. Статистика в текстах: законы Ципфа

Во всех текстовых документах, созданных человеком, можно выделить статистические закономерности. В любом языке есть слова, которые встречаются чаще, чем остальные, но не имеют значения. Есть слова, которые встречаются реже, но имеют намного большее смысловое значение.

В 1949 году Джордж Ципф (GeorgeKingsleyZipf) гарвардский профессор-лингвист и филолог, работая над принципом наименьшего усилия, сформулировал несколько закономерностей. Данные законы получены не на основе математических выводов, а на основе анализа статистики частоты слов текстах на многих языках, то есть эмпирически.

В то время, когда Ципф сформулировал подмеченные им закономерности распределения частоты слов, законом они не считались – еще не было компьютеров и нельзя было провести точные расчеты, подтверждающие выявленные закономерности. В последующем были проведены многочисленные исследования, которые подтвердили и уточнили подмеченные закономерности. Также ведущую роль в обосновании законов сыграли работы Б. Мандельброта.

В частности Ципф положил, что слова с большим количеством букв встречаются в тексте реже коротких слов. Основываясь на этом постулате, Ципф вывел два универсальных закона.

1.1 Первый закон Ципфа («ранг – частота»)

Измерим количество вхождений каждого слова в текст и возьмем только одно значение из каждой группы, имеющей одинаковую частоту. Расположим частоты по мере их убывания и пронумеруем, порядковый номер частоты назовем рангом частоты (обозначим ранг слова ). Наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними – 2 и так далее.

Тогда очевидно, что вероятность встретить произвольное, заранее выбранное слово будет равна отношению количества вхождений этого слова к общему числу слов в тексте ( – количество вхождений слова, - количество слов в тексте).

(1.1)

Ципф обнаружил следующую закономерность: произведение вероятности обнаружения слова в тексте на ранг частоты, есть число постоянное (С).

(1.2)

Закон показывает, распространенность слова в тексте изменяется по гиперболе, в зависимости от количества вхождений. Например второе по используемости слово встречается примерно в два раза реже, чем первое, третье – в три раза реже, чем первое, и так далее.

Значение константы в разных языках различно, но внутри одной языковой группы остается примерно неизменной, какой бы текст мы ни взяли. Для русских текстов константа Ципфа приблизительно равна 0,08, для английских текстов 0,1. На рисунке 1.1. показано распределение частот слов в зависимости от ранга по материалам русской Википедии.

1.2 Второй закон Ципфа («количество – частота»)

Первый закон не учитывает факт того, что разные слова могут входить в текст с одинаковой часто

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать