Технология анализа текста и извлечения ключевых слов

запрос поисковой машине необходимые, но недостаточные условия успешного поиска требуемой информации.
Выбор ключевых слов в данном случае может осуществить специалист узкого профиля, но труд его дорог и малопроизводителен, или специальные программные средства, основанные на применении законов Зипфа.

сформулировал в 1946—49 гг. несколько законов, которые нашли применение в технологии поиска информации.
Первый закон Зипфа утверждает, что произведение частоты встречи слова в тексте (или вероятности встречи слова по Зипфу) на его ранг есть величина приблизительно постоянная для любых текстов определенного языка, т.е. имеет место C = f*R ~ const.

График зависимости частоты слова f от его ранга R.

частот, представлен в следующей таблице

диапазон значений ранга слов, равный первым восьми рангам (10 слов).

разделенных логическим оператором «ИЛИ» (or). При этом порядок следования сохраним.

информации.
TextAnalyst – персональная система автоматического анализа текста, разработан а качестве инструмента для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов.

смыслового поиска информации и формирования электронных архивов. TextAnalyst предоставляет пользователю следующие возможности: 
анализ содержания текста с автоматическим формированием семантической сети с гиперссылками - получения смыслового портрета текста в терминах основных понятий и их смысловых связей; 
анализ содержания текста с автоматическим формированием тематического древа с гиперссылками - выявления семантической структуры текста в виде иерархии тем и подтем; 
смысловой поиск с учетом скрытых смысловых связей слов запроса со словами текста; 
автоматическое реферирование текста - формирования его смыслового портрета в терминах наиболее информативных фраз; 
кластеризация информации - анализ распределения материала текстов по тематическим классам;
автоматическая индексация текста с преобразованием в гипертекст; 
ранжирование всех видов информации о семантике текста по «степени значимости» с возможностью варьирования детальности ее исследования; 
автоматическое/автоматизированное формирование полнотекстовой базы знаний с гипертекстовой структурой и возможностями ассоциативного доступа к информации.
TextAnalys позволяет осуществлять эффективную семантическую обработку текстов с извлечением ключевых слов и выражений.