Как встроить ИИ в финансовый процесс

Введение

Берём рабочий процесс финансовой компании: сотрудник получает вопрос по транзакции — «пропустить перевод за границу», «какой лимит на валютный перевод», «проверь договор на предмет признаков санкционного риска». LLM отвечает быстро, но не знает ваших внутренних регламентов, тарифов и обновлений ЦБ. Задача — встроить модель так, чтобы ответ был быстрым, объяснимым и не устаревал. Выбор между двумя инструментами — RAG-пайплайном и дообучением — решается по задержке, пропускной способности, потреблению памяти и стоимости обновления знаний.

Архитектурная разница

RAG: запрос → эмбеддинг → ANN-поиск top-k чанков → промпт с найденным контекстом → LLM → ответ со ссылками. Знание лежит во внешнем индексе. Модель не трогаем.

Дообучение (LoRA/QLoRA): запрос → промпт → модель с адаптером → ответ. Знание «зашито» в веса. Внешнего индекса нет.

Фундаментальное различие одно: RAG меняет данные, дообучение меняет веса. Первое обновляется за минуты и аудируется по ссылкам на источник. Второе — за часы и требует прогона регрессии по всему набору перед выкаткой.

Сравнение по ключевым параметрам

Параметр

RAG-пайплайн

Дообучение (LoRA/QLoRA)

Задержка p99

400–1500 мс: эмбеддинг 10–50 мс, ANN-поиск 5–25 мс, генерация

200–600 мс: шага retrieval нет

Пропускная способность

50–300 QPS на реплику, упирается в генерацию LLM

200–1000+ QPS при батчинге и квантизации весов

Потребление памяти

индекс в RAM/SSD 10–50 ГБ, embedding-модель, KV-кэш

при обучении 40–80 ГБ VRAM (A100/H100, gradient checkpointing), при инференсе — веса + адаптер

Партиционирование

шардинг индекса по тенантам, партиции очереди по ключу document_id

отсечение по времени и домену, отдельный адаптер на подразделение

Гарантии доставки

нужны: at-least-once в Kafka, дедупликация по document_id+version, идемпотентный консьюмер, DLQ

в пути запроса не участвуют: обновление батчем, откат = возврат к прошлому адаптеру

Актуальность знаний

минуты: инкрементальная индексация изменённых документов

часы–дни: переобучение, валидация, выкатка

Объяснимость

ссылки на документы и score из выдачи

«почему так решил» — не восстановить

Риск галлюцинаций

ниже, но остаётся: шумный top-k, неверный чанк

ниже по формату, выше по фактам: заученные устаревшие правила

Стоимость владения

индекс, пайплайн обновления, мониторинг дрейфа выдачи

GPU-бюджет, хранение и версионирование адаптеров

Холодный старт

часы: загрузить, разбить, проиндексировать

дни: собрать датасет, разметить, обучить

Цифры — ориентировочные для моделей класса 7–70B на одном GPU поколения A100/H100.

Когда выбирать RAG-пайплайн

  1. Нормативка и регламенты, которые меняются. Приказы ЦБ, изменения в 115-ФЗ, новые тарифы. RAG обновляется инкрементально: переиндексировали 12 страниц — через минуту они в выдаче. Дообучение требует полного цикла обучения, валидации и выкатки на каждую правку.

  2. Разнородные источники в одном контуре. Сканы приказов PDF, тарифы в Excel, тикеты из Jira, переписка в почте. Векторный индекс хранит их слоями: своя стратегия чанкинга на каждый тип, единый поиск поверх. Для дообучения это превращается в набор несовместимых датасетов, которые нужно сливать вручную.

  3. Когда нужен ответ с доказательством. Регулятор или внутренний аудит спрашивает, на основании чего система пропустила платёж. RAG отдаёт ссылки на конкретные пункты документа и score из выдачи. Дообучение отдаёт только текст: восстановить источник нельзя.

Когда выбирать дообучение

  1. Классификация со стабильным выходом. Авто-тегирование обращений, маршрутизация платежа по 8–12 классам, определение типа санкционного признака. Здесь метрика — F1 и confusion matrix на каждом запросе, а не «смысловая похожесть». Дообучение на 5–20 тысячах размеченных примеров даёт стабильную точность, которую промпт не обеспечит.

  2. Жёсткий формат и доменный тон. Регламент требует: структура ответа, обязательные поля, стоп-формулировки, отказ от ответа при отсутствии оснований. Требований сотни штук, они конфликтуют друг с другом в промпте, и модель начинает «забывать» половину. Дообучение фиксирует формат стабильнее, чем инструкции.

  3. Много однотипного трафика и жёсткий SLA. Оператор задаёт сотни тысяч однотипных запросов в сутки. Узкий домен позволяет взять модель меньшего размера и обслуживать её быстрее и дешевле, чем большой RAG-пайплайн с двумя вызовами на запрос. Экономия идёт от снятого шага retrieval и от меньшего расхода KV-кэша.

Типичные ошибки при внедрении

Грабли 1: RAG без дедупликации. Собрали конвейер индексации на Kafka с at-least-once доставкой, но не сделали консьюмер идемпотентным. Повторная доставка чанка создаёт дубль, дубль раздувает индекс, выдача смещается, recall@k падает — а качество моделей ни при чём. Лечится ключом идемпотентности document_id+version, дедупликацией на стороне индексатора и DLQ на битых чанках. Второй вариант того же класса ошибок: поменяли модель эмбеддингов, а индекс переиндексировали не полностью. В выдаче живут векторы из разных пространств, и поиск выдаёт шум.

Грабли 2: дообучение на «сырых» данных. Данные разрезали случайно: январь в train, февраль в test. Модель показывает 94% на тесте и проваливается в проде, где распределение сдвинулось. Нужен отсев по времени — последний месяц только в тест. Второй промах — отсутствие версионирования адаптеров: откатить плохой релиз нечем, обучение повторяют с нуля.

Грабли 3: нет бюджета качества и отказоустойчивости. Не заданы метрики (recall@k для retrieval, F1 для классификации, groundedness для ответа), не зафиксированы цели по p99 и стоимости запроса. Через месяц внедрение оценивают по ощущениям. И не настроен fallback: индекс недоступен, модель ответила таймаутом — и LLM продолжает отвечать из памяти, уверенно и неверно. Нужен circuit breaker и явный отказ «не могу ответить по источникам», а не тихий ответ по памяти.

Краткий вывод

Регламенты, цитаты и быстрое обновление знаний — берите RAG. Фиксированный формат, стабильная классификация и высокая пропускная способность на узком домене — берите дообучение. Держите метрики качества, p99 и стоимости запроса с первого дня, и внедрение перестаёт быть вопросом веры.

Автор материала: Наверх ↑

Комментарии и отзывы 0

Опыт и мнения читателей.

Комментариев пока нет. Вы можете начать обсуждение.

Добавить комментарий или отзыв

Сообщения проходят модерацию. После одобрения они появляются в опубликованной версии сайта.

Я понимаю, что имя и текст сообщения будут опубликованы. Не указывайте личные данные.