ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ LLM И RAG ДЛЯ ПОСТРОЕНИЯ ЭКСПЕРТНОЙ СИСТЕМЫ ПРЕДПРИЯТИЯ

Аннотация

Данная статья посвящена исследованию больших языковых моделей (LLM) и подхода RAG в контексте создания экспертной системы обучения специалистов предприятий. Проведен сравнительный анализ эффективности различных LLM (GPT-4o, DeepSeek V3 и Qwen2.5-Max) в решении тестовых заданий. Тесты составлялись на основе разнообразной технической документации в открытом доступе, а также стандартах.  Эксперимент показал, что точность ответов моделей зависит от объема предоставленного контекста: при полном контексте модели DeepSeek и Qwen демонстрируют наивысшую точность, в то время как GPT-4o показывает нестабильные результаты. Для совершенствования условий проведения эксперимента был разработан прототип RAG-системы на основе python-библиотеки LlamaIndex, интегрирующей генеративные модели с внешними источниками знаний. Тестирование прототипа проводилось аналогично предыдущему случаю и выявило необходимость оптимизации процесса извлечения релевантной информации из документации. Исследование подтвердило перспективность использования LLM в качестве компонента экспертных систем предприятия, а подход RAG показал свою эффективность в работе со специализированными запросами. Полученные результаты позволяют наметить направления дальнейшего совершенствования системы, включая оптимизацию очистки и чанкования технической документации и расширение тестирования на более разнообразных наборах данных.