Шутка для разгона: пытаться уложить LinkedIn в одну подсказку — всё равно что просить дирижёра управлять симфонией через смс. На деле команда платформы обнаружила, что простые prompting-подходы оказались «non-starter» для того уровня точности и скорости, которого требовали их рекомендательные системы.
Вместо этого инженеры и продуктовые менеджеры вместе написали подробную 20–30-страничную продуктовую политику и собрали «золотой» датасет пар описаний вакансий и профилей. Эксперименты с генерацией данных включали использование ChatGPT для наращивания синтетики, после чего был натренирован крупный учительский LLM на ~7 миллиардов параметров.
Ключевой поворот — многоучительская дистилляция. Один учитель «учил» модель соответствовать продуктовой политике: точность в парсинге вакансий, соблюдение критериев качества. Другой учитель был ориентирован на предсказание кликов и персонализацию. Смешивая их знания и затем дистиллируя в меньшие модели (вплоть до ~1.7 млрд параметров и далее), команда добилась необходимой «аффинности» к политике и одновременно реализовала эффективное поведение в продакшене.
Результат — не магия, а рецепт: модульность, повторяемость и жёсткий цикл оценки. Каждая компонентa — от документа политики до пайплайна для экспериментов — стала легко заменяема: можно «переподключать» разные учителя, тестировать варианты и быстро итератировать. Это позволило сокращать время исследований с недель до дней и даже часов.
Также изменился способ работы команд: продуктовые менеджеры перестали быть лишь источником требований; они стали соавторами модели — переводчиками доменной экспертизы в формализованную политику. ML-инженеры, в свою очередь, получили чёткие критерии для оптимизации моделей.
Если хотите погрузиться глубже — послушайте полный эпизод подкаста «Beyond the Pilot» (https://www.youtube.com/watch?v=ErDS9TIQoWU), где Erran Berger подробно рассказывает о шагах и инсайтах этого подхода.