Posts by tag

обработка текста

3 поста

Современные методы и средства построения систем информационного поиска. Лекция 3. Основы обработки текста. Андреев Игорь

Андреев Игорь рассказывает об основах обработки текста. Критерии документа, кодировки Уровни лингвистического анализа Токены и термины Детекция языка: графематический, N-граммный и лексический подходы Нормализация Проблемы токенизации Наличие и отсутствие пробелов…
Смотреть материал
Поделиться
Смотреть материал

Алгоритмы интеллектуальной обработки больших объемов данных. Лекция 5. Обработка текстов, Naive Bayers. Анохин Николай

Анохин Николай рассказывает об условной вероятности и теореме Байеса. Говорит о сглаживании и генеративной модели NB и байесовском выводе. Показывает графические модели. Обработка текстов Data Mining vs Text Mining Задачи…
Смотреть материал
Поделиться
Смотреть материал

Биграммы, пассажи

Биграмма – пара соседних слов, интерпретируемая ПС как словарный термин. Применяется: борьба с текстовым спамом; ранжирование документов; статистика устойчивых словосочетаний. Пассаж – последовательность слов, ограниченная либо заданным числом слов/символов, либо…
Смотреть материал
Поделиться
Numeralis
Удивительный мир Digital маркетинга