Аннотация
Библиотека для разработчика информационно-поисковых систем RCO Text Categorization Engine позволяет решать следующие задачи:
- На основании лексических профилей эффективно определять принадлежность текста к заданному множеству категорий;
- Для каждого термина из лексических профилей, обнаруженного в тексте, получить количество его вхождений в текст, а также позиции терминов в тексте.
К отличительным возможностям библиотеки следует отнести:
- Возможности по очистке web-страниц:
- Автоматическая коррекция кодовой страницы русского языка;
- Удаление навигационных элементов сайта, загромождающих страницу.
- Гибкие настройки идентификации терминов в тексте:
- В точности, как написано в профиле;
- С учетом всех словоформ при помощи морфоанализатора русского языка;
- Явно задав все требуемые к отождествлению словоформы.
- Задание терминов в виде поисковых выражений с использованием следующих операторов:
- Слова, словосочетания;
- Задание расстояния между словами;
- Логические операторы – «И», «ИЛИ», «И НЕ».
- Специальная обработка отдельных терминов:
- Термин обязательно должен встретиться для отнесения текста к категории;
- Термин не должен встретиться для отнесения текста к категории.
В библиотеке реализована векторная модель категоризации, которая включает в себя четыре настраиваемых компонента:
- Весовые коэффициенты терминов профиля (значения задаются пользователем);
- Весовые коэффициенты терминов документа (способ вычисления задается пользователем: бинарные, частотные);
- Нормирующий множитель (способ вычисления задается пользователем: евклидова норма, длина текста);
- Пороговое значение (задается пользователем).
При необходимости вне библиотеки разработчиком могут быть реализованы и другие методы категоризации текстов.
Морфоанализатор, включенный в библиотеку, имеет следующие характеристики:
- Реализованы следующие методы анализа:
- Точный анализ известных слов по словарю объемом более 115 тысяч слов, что покрывает более 3-х миллионов словоформ;
- Высокодостоверный анализ неизвестного слова на основе комплекса правил словообразования и словоизменения;
- Вероятностный анализ посредством соотнесения с моделями словоизменения часто встречающихся слов на основе оценки флективной и суффиксальной частей слова.
- Объем бинарного словаря – 3 Мб;
- Скорость морфологического анализа – более 100 тысяч слов в секунду (процессор AMD Athlon, 1000 МГц).
Система лицензирования
Поставляется в виде динамической библиотеки (dll) для Windows. Лицензируется по процессорной мощности.
Примеры использования
Основными областями применения библиотеки являются:
- Тематическая категоризация текстов в электронных библиотеках, информационно-поисковых и информационно-аналитических системах;
- Тематический таргетинг в баннерных сетях;
- Мониторинг ключевых слов и словосочетаний в системах мониторинга и сбора информации.
Требования
Кодовая страница, используемая при работе библиотеки, – Win1251.