ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА АНАЛИЗА ПОЛЬЗОВАТЕЛЬСКОЙ АКТИВНОСТИ В ЗАЩИЩЕННЫХ ОПЕРАЦИОННЫХ СРЕДАХ
Аннотация
В работе представлен результат проектирования и исследования, направленного на создание системы для семантической сегментации видеозаписей пользовательской активности в операционной системе Astra Linux с применением алгоритмов глубокого обучения. В перспективе создаваемая система позволит классифицировать и структурировать действия пользователей, фиксируемые на видеозаписях, такие как взаимодействие с интерфейсом, ввод данных, открытие приложений и другие операции. Исследование проводилось на базе видеоданных, собранных в виртуальной среде VirtualBox, где эмулировалась работа операционной системы Astra Linux. Полученные видеозаписи подвергались предобработке, аннотации и преобразованию в датасет для обучения модели глубокого обучения. В работе рассматривается применение современных методов глубокого обучения таких как DINOv2 — свободно распространяемую высокопроизводительную архитектуру, предназначенную для извлечения признаков из графических материалов. Особенности DINOv2 включают работу с необработанными данными, высокую точность извлечения признаков и возможность интеграции с FAISS для построения индекса поиска, поскольку модели, использованные в архитектуре обучены на 140 миллионах изображений, что делает её универсальной для решения задач классификации, сегментации и поиска. Разрабатываемая система предоставит возможность классифицировать и визуализировать действия пользователей, такие как навигация, работа с окнами и меню, ввод текста, что особенно важно в высокозащищенных средах, где используется Astra Linux. Подобная аналитика позволит улучшить пользовательский интерфейс, автоматизировать рутинные процессы и усилить контроль над безопасностью операционной системы.
Литература
How to Use VirtualBox: A Beginner's Guide. https://www.reg.ru/blog/kak-polzovatsya-virtualbox-rukovodstvo-dlya-nachinayushchih/. (in Russian).
Suvorov I.A., Kalinin E.N., Kuznetsov V.B. Development of methods for binarization correction and calculation of fiber distribution density in non-woven materials using surface color map in the context of samples analysis with different surface density. Ivecofin. 2023. N 2(56). P. 96-103. DOI: 10.6060/ivecofin.2023562.648. (in Russian).
Astrakhantseva I.A., Kotenev T.E., Gorev S.V., Astrakhantsev R.G., Grimenitsky P.N. Integration of linear regression and random forest methods into intelligent support systems for managing cryogenic transport systems. Ivecofin. 2024. N 3(61). P. 81-90. DOI: 10.6060/ivecofin.2024613.692. (in Russian).
DINOv2: Meta's fundamental computer vision model is now open source. https://itnews.pro/news/1382-dinov2-osnovopolagayuschaya-model-kompyuternogo-zreniya-meta-teper-s-otkryityim-kodom. (in Russian).
Malevich1. How to make a GIF. https://malevich1.ru/kak-sdelat-gifku. (in Russian).
Creating Foundational Models for Computer Vision with DINOv2. https://arxiv.org/abs/2309.16588.
A Beginner's Guide to Neural Networks and Deep Learning. https://pathmind.com/wiki/neural-network.
Artificial Intelligence (AI) vs. Machine Learning vs. Deep Learning. https://pathmind.com/wiki/ai-vs-machine-learning-vs-deep-learning.
What is Deep Learning? https://machinelearning-mastery.com/what-is-deep-learning.
What’s the Difference Between Artificial Intelligence, Machine Learning and Deep Learning? https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai.
LeCun Y., Bengio Y., Hinton G. Deep Learning. Nature. 2015. Vol. 521. P. 436–444. DOI: 10.1038/nature14539.
Ravi D., Wong Ch., Deligianni F., et al. Deep Learning for Health Informatics. IEEE Journal of Biomedical and Health Informatics. 2017. Vol. 21. N 1. P. 4–21. DOI: 10.1109/JBHI.2016.2636665.
Schmidhuber J. Deep Learning in Neural Networks: an Overview. Neural Networks. 2015. Vol. 1. P. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
McCulloch W.S., Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity. The Bulletin of Mathematical Biophysics. 1943. Vol. 5. N 4. P. 115–133. DOI: 10.1007/BF02478259.
Hinton G., Salakhutdinov R. Reducing the Dimensionality of Data with Neural Networks. Science. 2006. Vol. 313. N 5786. P. 504–507. DOI: 10.1126/science.1127647.
Hinton G.E., Osindero S., Teh Y.-W. A Fast Learning Algorithm for Deep Belief Nets. Neural Computing. 2006. Vol. 18. N 7. P. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
Astrakhantseva I.A., Kotenev T.E., Gorev S.V. et al. Gradient boosting method in predicting management decisions in the multilayer cryogenic systems. Modern high technologies. Regional application. 2024. N 2(78). P. 50-58. DOI: 10.6060/snt.20247802.0007. EDN CDNSYQ. (in Russian).
Astrakhantseva I.A., Astrakhantsev R.G., Usoltsev S.D. et al. K-means analysis of spectral properties of BODIPY dye during compression on air - water interface: construction of dataset for effective clustering. Liquid Crystals and their Application. 2024. Vol. 24. N 2. P. 43-53. DOI: 10.18083/ LCAppl.2024.2.43. EDN CXAIQV.
Astrakhantseva I.A., Astrakhantsev R.G., Mitin A.V. Randomized C/C++ dynamic memory allocator. Journal of Physics: Conference Series: 2. Moscow. 2021. P. 012006. DOI 10.1088/1742-6596/2001/1/012006.
Astrakhantsev R., Chuhno A., Dmukh A. et al. Differences with high probability and impossible differentials for the KB-256 cipher. J Comput Virol Hack Tech. 2024. N 20. Р. 525–531. DOI: 10.1007/s11416-024-00532-2.
Astrakhantseva I.A., Gerasimov A.S., Smirnova O.P. Evaluating statistical and machine learning models for inflation forecasting. Modern high technologies. Regional application. 2024. N 3(79). P. 120-131. DOI: 10.6060/snt.20247903.0019. (in Russian).
