Как автоматизировать поиск информации и исключить ошибки

Процесс обработки обращений в техподдержку EuroAuto был неэффективен: 

1. Ручной поиск. Получив запрос от клиента, специалист тратил до 1-2 часов на общение с техлидами команд и экспертами в различных областях для определения ответственного лица и поиска ответа.
2. Потеря времени. Около 15% рабочего времени как инженеров техподдержки, так и разработчиков уходило не на решение проблемы пользователя, а на административные коммуникации и поиск технической информации.

Перед нами стояла задача создать единую интеллектуальную систему на базе LLM, которая сможет:

• Агрегировать данные из Confluence и Jira, при этом не отдавая их в «облако», что важно из соображений безопасности.
• Мгновенно давать точные ответы на технические вопросы без необходимости ручного поиска.
• Оптимизировать процесс техподдержки пользователей.

Мы создали и внедрили RAG-систему в контуре заказчика, основываясь на своем опыте разработки аналогичных продуктов. Такой подход позволил быстро развернуть пилотное решение для проведения A/B тестов на реальных запросах клиентов. 

Ключевой приоритет заказчика — безопасность внутренних данных — исключил возможность использования «облачных» серверов. Мы настроили всю систему локально (on-premise), прямо на серверах компании, что несколько усложнило задачу, но обеспечило полную гарантию конфиденциальности. 

Для локального внедрения наша команда провела тщательный анализ, протестировала ряд open-source моделей и выбрала наиболее стабильную, удовлетворяющую всем требованиям. Среди основных критериев выбора — умение LLM анализировать большие объемы информации, не теряя нить («длинный контекст»), а также быстро искать и генерировать верные и понятные ответы. 

Мы смогли запустить инструмент, достаточно мощный для задач бизнеса, на относительно простом и недорогом оборудовании клиента. Грамотно организованная архитектура дает возможность даже небольшим компаниям внедрять подобные продукты на базе LLM, при этом стоимость поддержки такой системы остается низкой.

Клиент получил эффективную и безопасную RAG-систему в условиях ограниченных ресурсов. В EuroAuto остались довольны нашим инструментом, протестировали и подтвердили с его помощью свои гипотезы. Дальше планируется развернуть его на всех специалистов техподдержки, экономя тем самым до 15% рабочего времени сотрудников.