Аннотация

Библиотека для разработчика информационно-поисковых систем RCO Text Categorization Engine позволяет решать следующие задачи:

  • На основании лексических профилей эффективно определять принадлежность текста к заданному множеству категорий;
  • Для каждого термина из лексических профилей, обнаруженного в тексте, получить количество его вхождений в текст, а также позиции терминов в тексте.

К отличительным возможностям библиотеки следует отнести:

  • Возможности по очистке web-страниц:
    • Автоматическая коррекция кодовой страницы русского языка;
    • Удаление навигационных элементов сайта, загромождающих страницу.
  • Гибкие настройки идентификации терминов в тексте:
    • В точности, как написано в профиле;
    • С учетом всех словоформ при помощи морфоанализатора русского языка;
    • Явно задав все требуемые к отождествлению словоформы.
  • Задание терминов в виде поисковых выражений с использованием следующих операторов:
    • Слова, словосочетания;
    • Задание расстояния между словами;
    • Логические операторы – «И», «ИЛИ», «И НЕ».
  • Специальная обработка отдельных терминов:
    • Термин обязательно должен встретиться для отнесения текста к категории;
    • Термин не должен встретиться для отнесения текста к категории.

Характеристики

В библиотеке реализована векторная модель категоризации, которая включает в себя четыре настраиваемых компонента:

  • Весовые коэффициенты терминов профиля (значения задаются пользователем);
  • Весовые коэффициенты терминов документа (способ вычисления задается пользователем: бинарные, частотные);
  • Нормирующий множитель (способ вычисления задается пользователем: евклидова норма, длина текста);
  • Пороговое значение (задается пользователем).

При необходимости вне библиотеки разработчиком могут быть реализованы и другие методы категоризации текстов.

Морфоанализатор, включенный в библиотеку, имеет следующие характеристики:

  • Реализованы следующие методы анализа:
    • Точный анализ известных слов по словарю объемом более 115 тысяч слов, что покрывает более 3-х миллионов словоформ;
    • Высокодостоверный анализ неизвестного слова на основе комплекса правил словообразования и словоизменения;
    • Вероятностный анализ посредством соотнесения с моделями словоизменения часто встречающихся слов на основе оценки флективной и суффиксальной частей слова.
  • Объем бинарного словаря – 3 Мб;
  • Скорость морфологического анализа – более 100 тысяч слов в секунду (процессор AMD Athlon, 1000 МГц).

Система лицензирования

Поставляется в виде динамической библиотеки (dll) для Windows. Лицензируется по процессорной мощности.

Примеры использования

Основными областями применения библиотеки являются:

  • Тематическая категоризация текстов в электронных библиотеках, информационно-поисковых и информационно-аналитических системах;
  • Тематический таргетинг в баннерных сетях;
  • Мониторинг ключевых слов и словосочетаний в системах мониторинга и сбора информации.

Требования

Кодовая страница, используемая при работе библиотеки, – Win1251.