Do we need a more sophisticated multilayer artificial neural network to compute roughness coefficient?
DOI:
https://doi.org/10.32347/2411-4049.2023.4.170-182Ключові слова:
функції активації, штучні нейронні мережі, коефіцієнт Шезі, порівняння, dropout алгоритм, приховані шари, модифікації, нейрониАнотація
Штучні нейронні мережі є однією з найбільш швидко зростаючих областей м’яких обчислень. Поряд з глибоким навчанням вони натепер широко використовуються при машинному навчанні. Нейронні мережі особливо підходять для вирішення завдань, де досліднику доводиться мати справу з неповними наборами даних і відсутні алгоритми або специфічні набори правил, яких слід дотримуватися.
У статті розглядається порівняння декількох модифікацій нейронних мереж, які можуть застосовуватися для обчислення коефіцієнта шорсткості Шезі. Моделювання нейронної мережі часто починається з одного прихованого шару. Навіть з одним прихованим шаром нейронна мережа є потужною обчислювальною системою, яка може дати хороші результати. При необхідності кількість прихованих шарів може збільшуватися. Зазвичай використовуються два або три прихованих шари нейронів. Також можуть застосовуватися різні функції активації. Ця стаття має на меті дослідити, чи потрібно розробляти більш складну нейронну мережу для практичних обчислень коефіцієнта шорсткості Шезі.
В рамках проведеного дослідження було розглянуто та проаналізовано наступні модифікації нейронної мережі, яка обчислює коефіцієнт шорсткості Шезі: (1) застосування двох прихованих шарів нейронів; (2) застосування трьох прихованих шарів нейронів; (3) використання dropout алгоритму для навчання нейронних мереж шляхом випадкового скидання одиниць під час навчання, щоб запобігти їх спільній адаптації; (4) крім сигмоїдної (логістичної) функції активації – використання інших функцій – гіперболічного тангенса (tanh) і випрямляючої функції активації (ReLU).
Навчання та тестування розглянутих варіантів нейронної мережі проводилося з використанням фактичних гідро-морфологічних та гідрологічних даних на ділянках русла на річці Дніпро (нижче за течією Києва), річки Десна біля Чернігова та ділянки річки Прип’ять поблизу м. Турів. Для побудови та навчання нейронних мереж було застосовано об'єктно-орієнтоване середовище програмування Python. Отримані результати показують, що для обчислення коефіцієнта шорсткості Шезі може бути достатнім використовувати ШНМ прямого поширення з одним прихованим шаром і сигмоїдною функцією активації. Формування якісного набору навчальних даних, а також організація даних і вибір відповідної обчислювальної моделі, заснованої на емпіричних знаннях, є в цьому випадку однією з більш актуальних проблем, ніж створення більш складних нейронних мереж.
Посилання
Zadeh, L.A. (1994). Fuzzy logic, neural networks and soft computing. Fuzzy Systems. Communications of the ACM, Vol. 37, No. 3, 77–84.
Ibrahim, D. (2016). An overview of soft computing. Procedia Computer Science, 102, 34–38. https://doi.org/10.1016/j.procs.2016.09.366
Bele, S.B. (2020). The concept of soft computing. International Journal of Recent Advances in Multidisciplinary Research, Vol. 07, Issue 03, 5623–5625.
Carlos, M. (2022). Characteristics of Soft Computing and its Applications. Int. J. of Swarm Intelligent and Evolutionary Comp. 11:275. https://doi.org/10.35248/2090-4908.22.11.275
Soft computing approach for mathematical modeling of engineering problems. (2022). Ed. by A. Ahmadian, and S. Salahshour. CRC Press. Taylor & Francis Group, London, N.Y., 203 p.
Singh, Ju. (2016). A Parameterized Comparison of Fuzzy Logic, Neural Network and Neuro-Fuzzy System: A Literature. International Journal of Computer Science and Mobile Computing, Vol. 5, Issue 5, 478-482.
Thakur, A., Dhiman, K., and Phansikar, M. (2021). Neuro-Fuzzy: Artificial Neural Networks & Fuzzy Logic. International Journal for Research in Applied Science & Engineering Technology, Vol. 9, Issue IX, 128-135.
Haghbin, M., Sharafati, A., Motta, D. et al. (2021). Applications of soft computing models for predicting sea surface temperature: a comprehensive review and assessment. Progress in Earth and Planetary Science, 8:4. https://doi.org/10.1186/s40645-020-00400-9
Adnan, R.M., Meshram, S.G., Mostafa, R.R., et al. (2023). Application of Advanced Optimized Soft Computing Models for Atmospheric Variable Forecasting. Mathematics, 11, 1213. https://doi.org/10.3390/math11051213
Pham, B.T., Nguyen, M.D., Al-Ansari, N. et al. (2021). A Comparative Study of Soft Computing Models for Prediction of Permeability Coefficient of Soil. Mathematical Problems in Engineering, Vol. 2021, 7631493. https://doi.org/10.1155/2021/7631493
Redjimi, H., and Tar, J.K. (2021). A Simple Soft Computing Structure for Modeling and Control. Machines, 9, 168. https://doi.org/10.3390/machines9080168
Afaq, H., and Saini, S. (2011). Swarm Intelligence based Soft Computing Techniques for the Solutions to Multiobjective Optimization Problems. International Journal of Computer Science Issues, Vol. 8, Issue 3, No. 2, 498-510.
Soft Computing: Recent Advances and Applications in Engineering and Mathematical Sciences. (2023). Edited by P. Debnath, O. Castillo, and P. Kumam. CRC Press. Taylor & Francis Group, London, N.Y., 233 p.
Haikin, S. (2008). Neural Networks and Learning Machines (3rd Edition), Prentice Hall, 906 p.
Choi, R.Y., Coyner, A.S., Kalpathy-Cramer, J., Chiang, M.F., and Campbell, J.P. (2020). Introduction to machine learning, neural networks, and deep learning. Trans Vis Sci Tech., Special Issue, Vol. 9, No. 2, Article 14:2. https://doi.org/10.1167/tvst.9.2.14
Taye, M.M. (2023). Understanding of Machine Learning with DeepLearning: Architectures, Workflow, Applications and Future Directions. Computers, 12, 91. https://doi.org/10.3390/computers12050091
Russell, S.J., and Norvig, P. (2010). Artificial Intelligence: A Modern Approach. 3rd ed. Pearson Education, Inc.: Upper Saddle River, New Jersey, 1132 p.
Dhar, V. (2013). Data science and prediction. Communications of the ACM 56 (12): 64. https://doi.org/10.1145/2500499
Zhang, G., Patuwo, B.E., Hu, M.Y. (1998). Forecasting with artificial neural networks: The state of the art. International Journal of Forecasting, 14, 35–62. https://doi.org/10.1016/S0169-2070(97)00044-7
Montaño Moreno, J.J., Pol, A.P., and Gracia, P.M. (2011). Artificial neural networks applied to forecasting time series. Psicothema, Vol. 23, No 2, 322–329.
Stefanyshyn, D.V., Khodnevich, Y.V., Korbutiak, V.M. (2021). Estimating the Chezy roughness coefficient as a characteristic of hydraulic resistance to flow in river channels: a general overview, existing challenges, and ways of their overcoming. Environmental safety and natural resources, 39(3), 16–43. https://doi.org/10.32347/2411-4049.2021.3.16-43
Khodnevych, Y.V., Stefanyshyn, D.V. (2022). Data arrangements to train an artificial neural network within solving the tasks for calculating the Chézy roughness coefficient under uncertainty of parameters determining the hydraulic resistance to flow in river channels. Environmental safety and natural resources, 42(2), 59–85. https://doi.org/10.32347/2411-4049.2022.2.59-85
Chollet, F. (2018). Deep Learning with Python. Manning Publications Co., 384 p.
Trask, A.W. (2019). Grokking Deep Learning. Manning Publications Co., 336 p.
Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function. Mathematics of Control, Signals and Systems, Vol. 2, No. 4, 303–314.
Keim, R. (2020). How Many Hidden Layers and Hidden Nodes Does a Neural Network Need? Available from https://www.allaboutcircuits.com/technical-articles/how-many-hidden-layers-and-hidden-nodes-does-a-neural-network-need/
Baldi, P., and Sadowski, P. (2014). The dropout learning algorithm. Artificial Intelligence, 210, 78–122. http://dx.doi.org/10.1016/j.artint.2014.02.004
Nielsen, M. Neural Networks and Deep Learning, 224 p. Available from https://static.latexstudio.net/article/2018/0912/neuralnetworksanddeeplearning.pdf
Brownlee, J. (2019). A Gentle Introduction to the Rectified Linear Unit (ReLU). In Deep Learning Performance. Available from https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/
Muller, A., and Guido, S. (2016). Introduction to Machine Learning with Python, Published by O’Reilly Media, 378 p.
Khodnevych, Ya. (2022). The software implementation of a neural network computational algorithm for predicting the Chézy roughness coefficient. Available from https://github.com/yakhodnevych/ANN_approximation_C
Nash, J.E., and Sutcliffe, J.V. (1970). River flow forecasting through conceptual models part I – A discussion of principles, Journal of Hydrology, 10 (3), 282–290. https://doi.org/10.1016/0022-1694(70)90255-6
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2023 Khodnevych Y.V., Stefanyshyn D.V.
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Збірник «Екологічна безпека та природокористування» працює у рамках міжнародної ліцензії Creative Commons Attribution («із зазначенням авторства») 4.0 International (CC BY 4.0).
Ліцензійна політика журналу сумісна з переважною більшістю політик відкритого доступу та архівування матеріалів.
