С.А. Шаров — Не только размер имеет значение: аспекты создания частотных словарей на основе корпусов

В статье рассматриваются проблемы создания частотных словарей для преподавания языка с учетом таких параметров, как источники корпусов, собственно частотность слова, зависимость от длины документов, тематическое и жанровое разнообразие корпусов. Приводятся примеры проблем с частотными списками и даются рекомендации для практического применения частотных словарей. Отмечается, что помимо размера корпуса на содержание частотных словарей влияют слова, популярные внутри длинных документов, поскольку они приводят к выбросам частот, а также соответствие тем и жанров, представленных в корпусе, целям обучения, так как корпуса из разных предметных областей и жанров могут радикально отличаться друг от друга.
Ключевые слова: надежность частотных данных, всплески частот, жанровое разнообразие, иллюстративные примеры, оценка сложности.

DOI: 10.37632/PI.2020.283.6.002

Добавить комментарий