Про алгоритмы в поисковых движках

В полнотекстовом поиске есть: одна ключевая структура данных (тупая); бывают два–три умеренно уникальных для поисковиков алгоритма; и целая гора разнообразных алгоритмов, техник и фокусов, используемых где-то еще. Сегодня внятные движки — это еще и достаточно рабочая база данных + всякие элементы ML + особая IR-магия типа классического BM25 + какие-нибудь свежевыдуманные векторные модели (или там BERT) + что угодно еще. Кроме того мы тоже перекладываем JSON на лопате.

Андрей точно расскажет про 1,5 прямо самые ключевые и прямо уникальные для поиска алгоритмы и структуры данных. Он точно пробежится как минимум по верхам и ключевикам других неуникальных, но особо интересных и важных алгоритмов и техник, которые могут встречаться хоть где-то, кроме поиска. Примерный спектр этих, неуникальных алгоритмов: от банальных SIMD-оптимизаций всяких парсеров через ловкие особые спецалгоритмы сжатия к совсем верхнеуровневым штукам, типа интеграций CatBoost и прочих FAISS. Напоследок спикер занырнет в особо интересные детали, насколько позволит время.