|
| Написано: |
2024 року |
|
| Розділ: |
Наукова |
|
| Твір додано: |
22.07.2024 |
|
| Твір змінено: |
22.07.2024 |
|
| Завантажити: |
pdf
див.
(5.6 МБ)
|
|
| Опис: |
Ярош А. О. Нейромережеві методи розв’язання крайових задач. –
Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття
наукового ступеня доктора філософії за спеціальністю 122 “Комп’ютерні науки”. –
Запорізький національний університет, Запоріжжя, 2024.
Дисертаційна робота присвячена розробці відкритої об’єктно-орієнтованої
архітектури бібліотеки нейромережевих методів розв’язання крайових задач.
Значущість розвитку наближених методів розв’язання диференціальних
рівнянь визначається їх широким застосуванням у ключових галузях науки та
техніки. Оскільки багато фізичних явищ можна математично описати
диференціальними рівняннями, але знаходження їх аналітичних розв’язків часто є
складним завданням, чисельні методи наближеного розв’язання стають критично
важливими. Ці методи необхідні для комп’ютерного моделювання та симуляції
поведінки складних технічних систем. Класичні методи розв’язання крайових
задач (метод колокації, метод Гальоркіна, метод Рітца) потребують вибору
базисних функцій для побудови наближеного розв’язку. Невірний вибір може
призвести до некоректних результатів. Крім того, збільшення кількості базисних
функцій для поліпшення точності може призвести до зростання обчислювальної
складності, особливо для великих систем диференціальних рівнянь.
Використання нейронних мереж з фізичною інформацією для розв’язання
крайових задач має кілька переваг порівняно з класичними методами. По-перше,
нейронні мережі дозволяють здійснювати апроксимацію складних фізичних
процесів без потреби у виборі певних базисних функцій. По-друге, нейронні
мережі здатні автоматично виявляти нелінійні залежності в даних, що робить їх
ефективними для моделювання складних фізичних явищ. Крім того, нейронні
мережі можуть адаптуватися до нових даних та умов задачі без необхідності
перегляду аналітичних апроксимацій, що робить їх більш гнучкими і придатними
для застосування в різних областях науки та інженерії. Нейромережеві методи
3
також ефективно використовуються для розв’язання обернених задач. Вони
дозволяють визначати параметри системи або властивості середовища на основі
вимірювань або спостережень. Невідомі константи оберненої задачі, що
підлягають визначенню вводяться в число параметрів нейронної мережі та
оптимізуються під час навчання.
Наразі, існують програмні бібліотеки, що реалізують нейронні мережі з
фізичною інформацією, зокрема, DeepXDE, NeuralPDE, Nvidia Modulus, SciANN
та PINNs-Torch. Однак, формат запису задачі є, зазвичай, досить складним, і
потребує знань з програмування та вивчення документації до бібліотек. Також,
наявні бібліотеки надають користувачеві фіксований набір функції, зазвичай, без
можливості розширення та додавання власних методів та програмного коду.
В дисертаційній роботі розроблено архітектуру об’єктно-орієнтованої
бібліотеки, що реалізує метод нейронних мереж з фізичною інформацією для
розв’язання крайових задач. Розроблено предметно-орієнтовану мову PLang
(Problem Language), яка використовується для формального опису крайових задач.
Використання спеціалізованої мови дозволяє визначати задачу та крайові умови у
зрозумілий для науковців та інженерів формі. Це суттєво спрощує використання
запропонованої в дисертації бібліотеки. Структура класів бібліотеки передбачає
можливість масштабування користувачами бібліотеки.
Для тестування розроблених в роботі методів реалізації нейронних мереж з
фізичною інформацією розв’язуються лінійні та нелінійні задачі пружності, прямі
та обернені задачі рівнянь Бюргерса, диференціальні рівняння. Продемонстровано
збіжність на числових прикладах з різними крайовими умовами та параметрами.
Налаштування гіперпараметрів нейромереж з фізичною інформацією є
актуальною задачею з кількох причин. Гіперпараметри, такі як кількість шарів,
кількість нейронів у кожному шарі, швидкість навчання, тип активаційних
функцій та параметри регуляризації, значно впливають на здатність моделі
навчатися та узагальнювати дані. Для таких нейромереж правильне налаштування
гіперпараметрів може значно покращити точність та стабільність моделювання
4
фізичних процесів, забезпечуючи краще задоволення граничних умов і
диференціальних рівнянь.
В дисертаційній роботі реалізовано еволюційні методи оптимізації
гіперпараметрів нейромереж за допомогою рою часток та генетичні алгоритми. Це
дозволить автоматично визначати найкращу мережу для розв’язання задачі.
Ще одним засобом визначення оптимальних гіперпараметрів є методи
планування експериментів. Вони полягають у розробці ефективної стратегії для
проведення експериментів, яка дозволяє зменшити кількість необхідних проб та
ресурсів, забезпечуючи при цьому точність та надійність отриманих результатів.
Застосування методів планування експериментів у контексті оптимізації
гіперпараметрів нейронних мереж дозволяє зменшити кількість необхідних
експериментів. Це економить обчислювальні ресурси та час, зменшуючи витрати
на проведення великої кількості тренувань моделей. Дослідження допомагають
виявити ключові гіперпараметри, що мають найбільший вплив на продуктивність
моделі, дозволяючи зосередитися на їх оптимізації.
В дисертаційній роботі реалізовано метод планування експериментів
Generalized Subset Designs (GSD), який дозволяє ефективно зменшувати кількість
необхідних експериментів з багатьма гіперпараметрами нейромереж з фізичною
інформацією.
В роботі досліджено вплив на стійкість та збіжність нейромереж параметрів
крайових задач, зокрема, коефіцієнтів у диференціальних рівняннях Бюргерса.
Показано, що при збільшенні коефіцієнтів, точність моделей нейромереж з
фізичною інформацією знижується. Для подолання цієї проблеми запропоновано
використання більш глибоких нейромереж, які здатні моделювати складніші
нелінійні паттерни в даних. Процес пошуку оптимальною структури мережі в
даному випадку не є інтуїтивним і потребує використання методів автоматичного
пошуку оптимальних гіперпараметрів, наприклад, еволюційних алгоритмів або
методів планування експериментів.
Отже, у дисертаційній роботі було вирішено актуальну задачу створення
відкритої об’єктно-орієнтованої архітектури бібліотеки нейромережевих методів
5
розв’язання крайових задач. Реалізовано методи нейромереж з фізичною
інформацією. Розроблено предметно-орієнтовану мову PLang (Problem Language),
яка використовується для формального опису крайових задач. Для покращення
збіжності нейромережевих методів реалізовано еволюційні підходи та методи
планування експериментів для оптимізації гіперпараметрів. А також досліджено
вплив параметрів крайових задач на збіжність нейронних мереж з фізичною
інформацією.
Запропоновані в роботі методи протестовано на модельних задачах
пружності та математичної фізики.
Реалізована бібліотека може використовуватись дослідниками та
інженерами для розв’язання широкого класу крайових задач. А також може бути
використана як частина систем комп’ютерної алгебри.
Ключові слова: еволюційна оптимізація, задачі пружності, крайові задачі,
методи покращення збіжності, нейромережі з фізичною інформацією, обернені
задачі, рівняння Бюргерса |
|
| Зміст: |
[натисніть, щоб розгорнути]
ЗМІСТ
ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ...........................................................................13
ВСТУП............................................................................................................................14
1 АНАЛІЗ СТАНУ ПРОБЛЕМИ..................................................................................19
1.1 Огляд публікацій з теми дослідження...............................................................19
1.2 Огляд бібліотек нейромережевих методів розв’язання крайових задач.........33
Висновки до розділу 1...............................................................................................42
2 ПРОЄКТУВАННЯ БІБЛІОТЕКИ НЕЙРОМЕРЕЖЕВИХ МЕТОДІВ...................44
2.1 Формалізація опису крайової задачі..................................................................44
2.2 Основні символи мови PLang.............................................................................45
2.3 Типи даних PLang................................................................................................46
2.4 Арифметичні вирази у мові PLang.....................................................................47
2.5 Структура опису крайової задачі мовою PLang................................................48
2.6 Загальний алгоритм трансляції формального опису задачі мовою PLang у
клас мови Python........................................................................................................51
2.7 Проєктування бібліотеки нейромережевих обчислювальних методів...........56
Висновки до розділу 2...............................................................................................58
3 ОБЧИСЛЮВАЛЬНІ ЕКСПЕРИМЕНТИ ТА ПРИКЛАДИ ЗАСТОСУВАННЯ
НЕЙРОМЕРЕЖЕВИХ МЕТОДІВ................................................................................59
3.1 Основні поняття нейронних мереж з фізичною інформацією........................59
3.2 Розв’язання задач пружності..............................................................................62
3.3 Розв’язання прямих та обернених задач............................................................69
3.4 Вплив коефіцієнтів рівнянь на точність розв’язку...........................................82
Висновки до розділу 3...............................................................................................87
4 МЕТОДИ АКТИВІЗАЦІЇ ПОШУКУ ОПТИМАЛЬНИХ ГІПЕРПАРАМЕТРІВ
МЕРЕЖІ..........................................................................................................................88
4.1 Оптимізація гіперпараметрів засобами генетичних алгоритмів.....................88
4.2 Оптимізація гіперпараметрів засобами методу рою часток............................91
12
4.3 Оптимізація гіперпараметрів методом планування експериментів................95
Висновки до розділу 4...............................................................................................99
ВИСНОВКИ.................................................................................................................100
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ....................................................................101
ДОДАТКИ.....................................................................................................................114
|
|
|
