Иногда так и хочется прочитать книгу в хорошей компании — ну знаете, когда все дружно спорят, а один строго подводит итоги; если таких друзей нет, их можно сгенерировать. Именно так Андрей Карпати «на вайбе» собрал LLM Council — совет из моделей, который за вечер превращает чтение в мини‑суд присяжных.
Механика проста и изящна. Сначала запрос уходит параллельно в панель из GPT‑5.1, Gemini 3 Pro, Claude Sonnet 4.5 и Grok 4. Затем каждый участник анонимно оценивает других — импровизированный peer review, которого так не хватает обычным чатботам. В финале «председатель» (по умолчанию Gemini 3) сшивает ответы и оценки в один взвешенный вывод. Забавная деталь: модели часто признают лучшим не себя; при этом Карпати заметил, что машины тяготеют к словоохотливому GPT‑5.1, а он сам выбирает более компактный Gemini. Это тонкий укол всем, кто полагается на «LLM‑как‑судью»: машинные предпочтения легко расходятся с человеческими ожиданиями.
Куда интереснее конструкция. Тонкий бэкенд на FastAPI, фронтенд на React+Vite, хранилище — скромные JSON‑файлы. Сердце — OpenRouter: единый шлюз, нивелирующий различия между провайдерами. Захотели сменить состав совета? Правите один список моделей — и вперёд, без жёсткой привязки к вендору. Так рождается «коммодитизация» модельного слоя: модели — сменные детали, а ценность смещается вверх, в управление.
Но прототип честно демонстрирует пропасть между «работает у меня локально» и продом. Нет аутентификации и ролей, редактирования PII, аудита, ретраев, предохранителей, планов на сбои. И именно это — скучный, дорогой слой «укрепления» — продают LangChain, AWS Bedrock и шлюзы ИИ: безопасность, наблюдаемость, комплаенс.
Философия автора ещё радикальнее: «код эфемерен, библиотеки устарели — попросите LLM переписать». Для платформенных команд это вызов 2026 года: маршрутизация тривиальна, сложность — в управлении данными и рисками. Строить самому или покупать броню? Ответ, увы, не синтезирует даже самый красноречивый председатель — его придётся принять вам.