РАЗРАБОТКА САМООБУЧАЮЩЕЙСЯ СИСТЕМЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА С ДИНАМИЧЕСКОЙ РЕОРГАНИЗАЦИЕЙ ЗНАНИЙ
Аннотация
Современные языковые модели демонстрируют ограничения, связанные с фиксированным объемом контекстной памяти. В работе представлена архитектура система обработки языка, интегрирующая Retrieval-Augmented Generation (RAG) с инкрементальным обучением для создания масштабируемой семантической памяти. Инновационность решения заключается в двух аспектах: механизме расширения памяти через гибридное хранилище (векторные эмбеддинги и реорганизуемые диалоговые паттерны) и модульной схеме интеграции, позволяющей заменять компоненты без нарушения работы системы. Система реализует RAG-парадигму с элементами активного обучения, интегрирующую семантический поиск на базе Sentence Transformers, генеративный механизм контекстного сжатия через DeepSeek API и самооптимизирующееся хранилище с UUID-индексацией. Основные преимущества – динамическая балансировка точности поиска и скорости ответа, алгоритм слияния контента с генерацией мета-описаний, а также открытая схема интеграции для специализированных задач.
Литература
Gerasimov A.S., Bobkov S.P. Application of Machine Learning for Predicting Student Training Outcomes. Collection of scientific papers from Russian universities "Problems of economics, finance and production management". 2022. N 50. P. 56–62. (in Russian).
Astrakhantseva I.A., Gerasimov A.S. Regional inflation prediction based on hybrid machine learning model: gradient boosting and random forest. Scientific Works of the Free Economic Society of Russia. 2023. N 5. P. 200–226. (in Russian).
Astrakhantseva I.A., Gerasimov A.S., Smirnova O.P. Evaluating statistical and machine learning models for inflation forecasting. Modern High Technologies. Regional Application. 2024. Vol. 79. N 3. P. 120–131. (in Russian).
Astrakhantseva I.A., Gerasimov A.S., Astrakhantsev R.G. Forecasting regional inflation by machine learning algorithms. Ivecofin. 2022. N 4(54). P. 6-13. DOI: 10.6060/ivecofin.2022544.620. EDN ITYDFE. (in Russian).
Astrakhantseva I.A., Gerasimov A.S. Forecasting regional inflation using recurrent and convolutional neural networks. Scientific Works of the Free Economic Society of Russia. 2024. N 3. P. 45–58. (in Russian).
Rae J.et al. Scaling Language Models: Methods, Analysis & Insights from Training Gopher. 2021. https://arxiv.org/abs/2112.11446.
Vaswani A. et al. Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS). 2017. Vol. 30. P. 5998–6008.
Esteva A. et al. Deep learning-enabled medical computer vision. Nature Digital Medicine. 2021. Vol. 4. N 1. Р. 5. DOI: 10.1038/s41746-020-00376-2.
Chalkidis I. et al. LEGAL-BERT: The Muppets straight out of Law School. 2020. https://arxiv.org/abs/2010.02559.
Luckin R. Machine Learning and Human Intelligence: The Future of Education for the 21st Century. London: UCL Institute of Education Press. 2018. 157 р.
Zaheer M. et al. Big Bird: Transformers for Longer Sequences. Proceedings of NeurIPS. 2020. P. 17283–17297.
Karpukhin V. et al. Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of EMNLP. 2020. P. 6769–6781.
Astrakhantseva I.A., Gorev S.V., Astrakhantsev R.G. Systems Approach to Analyzing the Fractal Nature of Complex Technical Systems. Ivecofin. 2023. N 3(57). P. 89–97. DOI: 10.6060/ivecofin.2023573.657. EDN PSPGBG. (in Russian).
Morozov E.N., Gorev S.V. Mathematical models for optimizing machine-readable regulation. Ivecofin. 2023. N 4(58). P. 71–78. DOI: 10.6060/ivecofin.2023584.666. EDN LLSUGG. (in Russian).
Astrakhantseva I.A., Gorev S.V., Astrakhantsev R.G. Fractal-based analysis of efficiency and reliability in complex engineering systems. Modern High Technologies. Regional Supplement. 2023. N 4(76). P. 60–68. DOI: 10.6060/snt.20237604.0008. EDN NBDYHR. (in Russian).
Kitaev N. et al. Reformer: The Efficient Transformer. 2020. https://arXiv.2001.04451
Santoro A. et al. One-shot Learning with Memory-Augmented Neural Networks. 2016. https://arxiv.org/abs/1605.06065.
Fedus W. et al. Switch Transformers: Scaling to Trillion Parameter Models. 2021. https://arXiv.2101.03961.
Bengio Y. The Consciousness Prior. 2017. https://arXiv.1709.08568.
Mnih V. et al. Human-level control through deep reinforcement learning. Nature. 2015. Vol. 518. P. 529–533.
Madaan A., Tandon N., Clark P. et al. MemPrompt: Memory-assisted Prompt Editing for Multi-turn Dialogue. 2023. https://arXiv.2201.06009.
Weston J. et al. Memory Networks. 2015. https://arxiv.org/abs/1410.3916
Helmi T. Decentralizing AI Memory: SHIMI, a Semantic Hierarchical Memory Index for Scalable Agent Reasoning. 2024. https://arXiv.2504.06135.
