Определение дубликатов текста с помощью Sentence Transformers

Аннотация

Цель исследования: разработка и реализация метода определения дубликатов текста с использованием семантических эмбеддингов, полученных с помощью предобученной модели трансформеров distiluse-base-multilingual-cased-v2 из библиотеки sentence-transformers. Для реализации выбран облачный сервис Google Colab, предоставляющий доступ к вычислительным ресурсам, включая GPU, и позволяющий эффективно работать с моделями машинного обучения. Результат может быть применён в обучающих целях.