Автоматический графематический анализ
выделение в тексте слов, чисел, нахождение границ устойчивых сочетаний и предложений; выделяемые текстовые единицы называются токенами.
Лемматизация
Предмет
Языкознание и филология
👍 Проверено
Автор24
приведение слова к начальной форме (лемме); обычно является частью процедуры автоматического морфологического анализа.
Научные статьи на тему «Лемматизация»
Методы распознавания текстовых категорий в русском языке на основе машинного обучения и статистических моделей
Лемматизация, то есть приведение всех словоформ к их базовым формам....
несут конкретного смысла, таких как предлоги, союзы, междометия), приведение текста к общей структуре (лемматизация
Статья от экспертов
Стемминг и лемматизация в lucene. Net
В данной статье рассмотрены механизмы стемминга и лемматизации. Под стеммингом понимают приближенный эвристический процесс, в ходе которого от слов отбрасываются окончания в расчете на то, что в большинстве случаев это себя оправдает. Стемминг основан на правилах морфологии языка и не требует хранения словаря всех слов. Под лемматизацией понимается преобразование слова в словарный вид или лемму. Данный метод используется в алгоритмах поисковиков при индексировании интернет-страниц. Процесс дает возможность хранения данных страницы набором слов в индексе для удобной схематизации файлов. Это позволяет ускорить индексацию и сформировать более четкий ответ на поисковый запрос, так как сокращенную форму слова поисковик анализирует быстрее. Выделена цель стемминга и лемматизации. Показано применение стемминга и лемматизации в библиотеке полнотекстового поиска Lucene.Net. Lucene.Net это перенесенный с платформы Java поисковый движок Lucene. Lucene это высокопроизводительная, масштабируемая...
Creative Commons
Научный журнал
Методы обработки текстов и анализа данных в Natural Language Processing
Лемматизация представляет собой сведение слова к его начальной грамматической форме (лемме)....
Лемматизация помогает сократить вариации словоформ и упрощает автоматическое исследование текста.
Статья от экспертов
Построение частотных словарей на основе исходных текстов с применением лемматизации
Рассматривается вопрос снижения трудоемкости изучения информационно-терминологического базиса за счет уменьшения объема частотного словаря, на основе которого строится базис. Рассматривается вопрос построения частотных словарей на основе исходных текстов с применением лемматизации для последующего формирования информационно-терминологического базиса. Приводится алгоритм построения частотного словаря на основе исходных текстов с применением лемматизации, а также модификация данного алгоритма с использованием проверки терминов формируемого частотного словаря по специализированному словарю.
Creative Commons
Научный журнал
Еще термины по предмету «Языкознание и филология»
Арготизмы
(от франц. аrgot – жаргон) – слова и обороты, входящие в состав какоголибо арго (условная речь относительно замкнутой социальной группы или сообщества, с элементами «тайности»: театральное, спортивное, воровское, картежное, армейское и др. виды арго) и при этом широко используемые в общей речи.
Интимизация повествования
стилистический прием, включающий такое использование речевых средств, в результате которого создается эффект доверительного непосредственного общения автора с читателем или слушателем.
- Автоматическая обработка текста
- Автоматический морфологический анализ
- Анантаподотон (или Анантаподатон)
- Антифразис
- Антиэллипсис
- Апелляти́в
- Арготизмы
- Афоризм
- Гендерный
- Германские языки
- Иранские языки
- Коннотация в знаке (вспомогательная часть знака)
- Нулевой знак
- Постоянное ударение
- Просторечная лексика
- Протеза
- Прямая речь
- Синхрония
- Афония психогенная
- Бариакузия
Повышай знания с онлайн-тренажером от Автор24!
- Напиши термин
- Выбери определение из предложенных или загрузи свое
- Тренажер от Автор24 поможет тебе выучить термины с помощью удобных и приятных карточек
