Проект ии бота в телеграм.
Всем привет, с вами Низамов Илья. В этом видео я покажу проект ИИ бота, который отвечает по корпоративной базе данных. Данный пример ии бота в телеграм, но добавить его можно практически в любую систему, сайт, crm или ваш внутренний корпоративный чат.
Если вам нужна подобная система, можете обращаться ко мне, контакты в описании, либо приходите на мой курс, в котором вы научитесь создавать таких ии ботов сами и конечно получите исходники всех проектов, которые я тут демонстрирую.
Давайте посмотрим, как он работает в телеграм.
А теперь посмотрим, что под капотом. Вы, наверное, видели уже много видео где таких ии ботов пишут в 100 строк кода, но если мы рассматриваем построение серьезной масштабируемой системы, которая будет гарантированно работать с определенным качеством, то тут приходится задействовать целый стек технологий.
LangFuse - тестирование llm.
Построение такой системы в первую очередь начинается системы тестирования. Без такой системы невозможно адекватно оценивать качество работы системы при ее развитии или смене архитектуры.
В проекте мы используем бесплатную систему LangFuse которая разворачивается на вашем локальном сервере.
- В ней мы можем вести множество проектов.
- Видим какие модели используются и сколько денег на них затрачивается.
- Можем посмотреть каждый запрос к llm и его параметры.
- Так же можем хранить свои тестовые датасеты для тестирования различных участков ии проекта. И оценивать качество работы каждой функции.
Еще не маловажной частью является генерация датасетов для тестирования системы, и мы можем сделать это вручную либо переложить эту задачу на ИИ.
Python и FastAPI - база ии проекта.
Дальше нам необходимо выбрать правильный фреймворк для разработки. Мне кажется, что на сегодня по соотношению цена качество надо выбирать язык python и web фреймворк FastAPI.
Python максимально удобен для разработки проектов с ИИ, а fastapi дает очень быстрый асинхронный api, через который вы можете взаимодействовать с вашим ботом.
База данных и админка проекта.
ИИ бот не должен зависеть от инфраструктуры, используемой на предприятии и поэтому имеет свою базу данных, которая аккумулирует и структурирует данные из различных источников. Будь то другие SQL базы, 1С, PDF или просто текстовые данные. И конечно должна быть удобна админка для доступа к этой информации.
LangChain - ии фреймворк для разработки.
Система должна быть достаточно гибкой и позволять работать со множеством современных языковых моделей, в том числе запускаемых локально в контуре предприятия.
И вот объединив все эти технологии в один проект, мы получаем тысячи строк кода, масштабируемость и прогнозируемое качество работы ии бота. Хотя для конечного потребителя мы видим просто диалог в чате.
Преимущества ии бота.
И одно из главных преимуществ ии бота в том, что мы можем не просто разгрузить работников, а на некоторых участках и полностью заменить человека на искусственный интеллект, который работает 24/7 без больничных и выходных. Жду ваши комментарии, всем удачи, пока!
