ОПТИМИЗАЦИЯ ГИПЕРПАРАМЕТРОВ НЕЙРОННЫХ СЕТЕЙ С ИСПОЛЬЗОВАНИЕМ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ
Main Article Content
Аннотация:
В данной научной статье исследуется проблема автоматической оптимизации гиперпараметров искусственных нейронных сетей. Традиционные методы оптимизации гиперпараметров (ручная настройка, поиск по сетке) часто являются неэффективными и ресурсозатратными процессами. В исследовании предложен метод автоматического выбора и оптимизации гиперпараметров нейронных сетей (скорость обучения, количество слоев, количество нейронов, функция активации, размер пакета и т.д.) с использованием генетических алгоритмов. Популяция генетического алгоритма представляет набор гиперпараметров через каждую особь (хромосому), а в качестве функции приспособленности используется точность на валидационной выборке. С помощью операторов отбора, кроссовера и мутации в процессе смены поколений определяется наилучшая комбинация гиперпараметров. Эксперименты, проведенные на наборах данных MNIST, CIFAR-10 и Iris, показали, что предложенный метод позволяет выполнять оптимизацию на 15-25% быстрее и точнее по сравнению с традиционными методами (поиск по сетке, случайный поиск). Кроме того, доказано, что данный метод повышает производительность нейронных сетей в среднем на 3-8%.
Article Details
Как цитировать:
Библиографические ссылки:
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning . MIT Press.
Bengio, Y. (2012). Practical Recommendations for Gradient-Based Training of Deep Architectures. Neural Networks: Tricks of the Trade , 437-478.
Bergstra, J., & Bengio, Y. (2012). Random Search for Hyper-Parameter Optimization. Journal of Machine Learning Research , 13, 281-305.
Whitley, D. (1994). A genetic algorithm tutorial. Statistics and computing , 4(2), 65-85.
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems , 25.
Holland, J. H. (1975). Adaptation in Natural and Artificial Systems . University of Michigan Press.
Stanley, K. O., & Miikkulainen, R. (2002). Evolving Neural Networks through Augmenting Topologies. Evolutionary Computation , 10(2), 99-127.
Feurer, M., Klein, A., Eggensperger, K., Springenberg, J., Blum, M., & Hutter, F. (2015). Efficient and Robust Automated Machine Learning. Advances in Neural Information Processing Systems , 28.
Jasurbek, N., Ivan, D. F., Ajani, O. S., & Mallipeddi, R. (2024). Genetic algorithm guided image channel selection for skin lesion segmentation. IEEE Access.
Nazarov, J. (2025). Sun’iy intellektda genetik algoritmlar yordamida tasvir kanallarini tanlash masalasi. Bulletin of Contemporary Researches: Multidisciplinary, 1(2), 11-13.
Sidikovich, N. S. (2025, June). ZAMONAVIY SUN’IY INTELEKTLAR: MUAMMOLAR VA IMKONIYATLAR. In CONFERENCE OF MODERN SCIENCE & PEDAGOGY (Vol. 1, No. 3, pp. 611-613).
