Принципы AI/ML от Expedia: как строить системы, которые работают в масштабе и вызывают доверие
Есть принципиальная разница между AI, который работает прямо сейчас, и AI, который живёт в масштабе годами. Многие компании упираются в первое, даже не задаваясь вопросом, строят ли они второе. Скорость без дисциплины и стратегического вектора — это не актив, а обуза. Самая тяжёлая часть построения AI в масштабе — не заставить модель однажды отработать. Это создание систем, которые продолжают работать, выходят за границы отдельных команд и кейсов, и стабильно улучшаются со временем.
Сегодняшние AI-системы не просто предсказывают и оптимизируют. Они общаются, рассуждают и всё чаще действуют. Автономная система, принимающая решения от имени путешественника, формирует совершенно иной набор ожиданий — по надёжности, управляемости и подотчётности. Когда AI берёт на себя такие роли, принципы, лежащие в основе работы систем, становятся критически важными.
Мы годами применяли AI и машинное обучение на всём пути путешественника — от персонализации, ранжирования и рекомендаций до борьбы с мошенничеством, поддержки клиентов и, в последнее время, генеративного и агентного AI. Именно глубина этого опыта привела нас к созданию набора принципов ML и AI, которые направляют то, как мы строим, разворачиваем и развиваем AI-системы во всей компании.
Цель проста: гарантировать, что создаваемые системы приносят реальную бизнес-ценность, масштабируются и работают безопасно. Эти принципы определяют, как мы измеряем, проектируем, управляем и эксплуатируем наши системы.
От принципов к практике
Опубликовать принципы — это лёгкая часть. Гораздо сложнее превратить их в реальные механизмы: рекомендации, требования, инструментарий и процессы релиза, которыми команды действительно пользуются. Мы уже внедрили «агентные рилиз-гейты» — набор рекомендуемых, а в некоторых случаях обязательных проверок перед запуском агентных AI-функций. Эти гейты переводят принципы вроде чёткой собственности, управления на основе риска, оценки, безопасного развёртывания и мониторинга в конкретные ожидания для команд. Часть из этих требований уже автоматизирована и встроена в жизненный цикл разработки ПО. Со временем цель — сделать так, чтобы эти ожидания были зашиты в процесс проектирования, оценки, утверждения, запуска и мониторинга AI-систем с самого начала.
Результаты: измеряем то, что действительно важно
Первый тест для любой модели — улучшает ли она бизнес-показатель и, в конечном итоге, опыт путешественника, а не просто улучшает технический метрику. Выравнивайте модели по метрикам с бизнес-эффектом: каждая ML-инициатива должна напрямую завязываться на ключевой бизнес-результат или метрику опыта путешественника. Технические оптимизации — полезные промежуточные точки, а не конечная цель.
Оптимизируйте return on cost: ценность, которую создаёт модель, должна оправдывать затраты на её разработку, обучение, мониторинг и операционную сложность. Отдавайте предпочтение решениям, которые приносят долгосрочный эффект относительно стоимости их эксплуатации.
Обосновывайте сложность через сильные бейзлайны: сложность нужно заслужить, а не предполагать. Начинайте с сильного бейзлайна — существующей общей модели, простой эвристики или готового решения. Беритесь за специализированные модели или более сложные архитектуры только когда простые варианты действительно не дотягивают до планки.
Требуйте и офлайн-, и онлайн-оценку: ни одна модель не идёт в широкое развёртывание на одной офлайн-валидации или не прыгает сразу в A/B-тесты. Каждая модель должна пройти и офлайн-, и онлайн-оценки. Со временем наши офлайн-оценки должны надёжно предсказывать то, что мы видим онлайн.
Проектирование: строим системы, которые масштабируются за пределы команд-создателей
Заставить модель работать — одна задача. Сделать так, чтобы её ценность вышла за рамки одной команды или кейса — гораздо сложнее.
Стройте на общих фундаментах; специализируйте только когда оправдано: отдавайте предпочтение общим, платформенным основам для ключевых возможностей, представлений данных и строительных блоков моделей. Специализация должна надстраиваться над этими основами, а не порождать изолированные стеки. Тогда, когда фундамент улучшается, выгода растекается по всей организации.
Относитесь к данным как к продукту первого класса: качество модели ограничено качеством её данных. Необходимо поддерживать надёжные пайплайны, чёткую линию происхождения, воспроизводимость и переиспользуемые фичи с документированной собственностью, понятными схемами и SLA, на которые могут полагаться другие команды.
Приоритезируйте общность над локальной оптимизацией: когда два подхода показывают схожую производительность, выбирайте тот, чьи наработки, артефакты и паттерны эксплуатации можно переиспользовать между командами, брендами и кейсами. Мы должны оптимизировать не только локальную производительность, но и то, как быстро улучшения распространяются по компании и накапливаются со временем.
Минимизируйте и выводите из эксплуатации ручные бизнес-правила: ручные правила иногда необходимы для политики, безопасности или соответствия требованиям, но они должны быть явными и регулярно пересматриваться — никогда не быть молчаливыми заплатками для слабых моделей или источником вечного долга по сопровождению.
Воспроизводимость и прослеживаемость по умолчанию: данные обучения, фичи, конфигурации, результаты оценки, версии развёртывания и ключевые решения — всё должно быть задокументировано и восстанавливаемо. Это то, что позволяет отлаживать проблему на проде спустя месяцы и передавать владение без потери институциональных знаний.
Доверие: собственность, управление и ответственная работа в масштабе
Планка для развёртывания AI — не просто «работает ли?», а «можем ли мы за это поручиться?». Доверие не добавляется в конце — оно зарабатывается со временем и поддерживается на всём жизненном цикле каждой выпущенной модели.
Назначьте чёткую собственность и подотчётность: у каждой модели должна быть определённая собственность на всём её жизненном цикле — бизнес-владелец, владелец продукта, AI-владелец и операционный владелец. Не обязательно четыре разных человека, но обязанности должны быть явными. Кто отвечает за результаты? Кто реагирует, если модель дрейфует? Кто берёт трубку в два часа ночи при инциденте? Без этого модели становятся сиротами, и проблемы всплывают без ответственного.
Соблюдайте стандарты и управление: AI и ML-модели должны использовать одобренные платформы и соответствовать установленным стандартам компании, релизным гейтам и процессам управления. Работа вне этих рамок требует чёткого пути к исправлению или выводу из эксплуатации, а не бессрочного исключения.
Управляйте пропорционально риску: уровень проверки, строгость оценки и человеческий контроль должны масштабироваться с влиянием модели. Модель, влияющая на цены или доступность для миллионов путешественников, требует гораздо более высокой планки, чем внутренний инструмент для маленькой команды. Для высоковлиятельных, критичных к безопасности или высокоавтономных систем контрольные точки «человек в контуре» закладываются с самого начала.
Проектируйте с учётом справедливости, приватности и прозрачности: мы активно тестируем на непреднамеренные смещения, имеем надёжные защитные барьеры для данных и отдаём предпочтение объяснимости, когда решения значимо влияют на пользователей. Это встраивается с самого начала, а не добавляется потом.
Проектируйте безопасное развёртывание, откат и контроль: развёртывания выполняются прогрессивно, с путями отката, механизмами падения и предохранителями, готовыми до запуска. Способность безопасно откатить развёртывание так же важна, как возможность его выпустить.
Мониторьте непрерывно и адаптируйтесь: после запуска команды должны активно отслеживать качество, дрейф, задержки, стоимость и бизнес-производительность, а также переобучать или перенастраивать модель, когда данные меняются. Команда всегда должна уметь объяснить, как её модель работает сейчас, а не только как она работала на старте.
Эти принципы определяют не только то, как мы строим. Они определяют, что мы готовы выпускать и как за это отвечаем. В мире, где AI-системы становятся всё более влиятельными и принимают реальные решения для настоящих путешественников и партнёров, такие стандарты имеют значение. При последовательном применении они создают ответственный AI, который живёт долго. И да, эти же стандарты работают как на официальном сайте Expedia на русском, так и в глобальной инфраструктуре, объединяя данные с платформ вроде Ostrovok и Expedia в единую систему, которой можно доверять.