TParFBSS - Международная научная конференция ПаВТ'2007

ИТМФ РФЯЦ-ВНИИЭФ, ОАО ТЕСИС,
кафедра ИАНИ ВМК ННГУ
Комплекс библиотек для
решения СЛАУ
Бартенев Ю.Г., Бондаренко Ю.А., Ерзунов В.А., Карпов А.П.,
Макаров Л.И., Наумов А.О., Петров Д.А., Романова М.Д.,
Стаканов А.Н.,Щаникова Е.Б.; (ВНИИЭФ)
Харченко С.А., Сушко Г.Б., Коньшин И.Н. (ТЕСИС);
Прилуцкий М.Х, Старостин Н.В., Филимонов А.В. (ННГУ).
ПаВТ-2012, Новосибирск

Искомые неизвестные СЛАУ решателей LParSol
1. Температура в задачах теплопроводности, тепломассопереноса (t);
2. Компоненты скорости в расщеплённой схеме решения Навье-Стокса (vi);
3. Компоненты параметров модели турбулентности (ki);
Трудные СЛАУ:
4. Давление в расщепленной схеме решения Навье-Стокса (p);
5. Давление в диффузионных задачах переноса (d);
6. Вектор неизвестных (5 шт.) в нерасщепленной схеме решения Навье-Стокса (U);
7. Вектор перемещений (3 комп.) в задачах расчета НДС (S);
и другие: вектор напряженности магнитного поля, параметры одной из схем оптимизации сетки).
Решалось (и решается) довольно эффективно параллельными решателями библиотеки PMLP/ParSol
(разрабатывалась с 1996 года во ВНИИЭФ сначала по инициативе и участии американских партнеров.
До 2010 года – ориентация на задачи теплопроводности).
Использование неявных схем в разрабатываемых прикладных пакетах:
ЛОГОС SIMPLE / TVD / HEAT / ADAPTIVE – гидро/аэродинамика и тепломассоперенос,
ЛОГОС Прочность (ЛЭГАК-ДК) – прочностной анализ,
НИМФА – гидрогеология
привело к сильной востребованности эффективных решателей СЛАУ,
т.к. решение СЛАУ – 70-90++% времени счета.
Поэтому наряду с развитием библиотеки решателей PMLP/ParSol:
� апробация других методов других библиотек и
� создание комплекса библиотек LParSol с унифицированным интерфейсом.
Подобный подход - интеграция библиотек решателей, например, реализован в TRILINOS.

Состав LParSol и окружение
В состав комплекса библиотек решателей СЛАУ LParSol входят:
- PMLP/ParSol (ВНИИЭФ),
- TParFBSS (ТЕСИС)
и могут быть подключены:
- PARDISO Intel® MKL,
- HYPRE (LLNL),
выполняющих:
- предобусловливание и
- решение последовательных и распределённых СЛАУ.
Обязательная библиотека - PMLP/ParSol, остальные - согласно заданию построителя
LParSol.
Объединяет библиотеки в комплекс оболочка LParSol. Она обеспечивает:
- прямой интерфейс библиотеки PMLP/ParSol,
- библиотеко-независимое задание СЛАУ, параметров и результатов её решения,
- библиотеко-зависимое преобразование СЛАУ и параметров, решение СЛАУ,
- сбор статистики (при необходимости),
- запись СЛАУ в файл (при необходимости).
С LParSol сопряжены:
- PArpack – решатель частичной обобщенной спектральной задачи,
- тестовая система решателей СЛАУ,
- набор инструментальных средств (построение LParSol, анализ СЛАУ),
- неявно METIS/ParMETIS и перенумераторы ПарМатруз.

Решатели, предобусловливатели, оптимизация
Функционал 2010 г. -> 2011 г.:
• Было:
параллельные CG, BiCGSTAB, GMRES, параллельный ILU0/IC0/ILUt в варианте
блочного Якоби, параллельный ILU0/ILUt бл.-трехдиагональной части матрицы.
• + Стало:
1) Мультипоточный прямой решатель/предобусловливатель.
2) Параллельный решатель SOFGMRES.
3) Параллельные консервативные решатели CR, BiCRSTAB, CG, BiCGSTAB для p, t, d.
4) Параллельный решатель/предобуслов-ль AMG для точечных СЛАУ.
5) Параллельный позиционно-пороговый ILU2/IC2 (упрощения на гр. подобластей).
6) Параллельный блочный ILUk в варианте блочного Якоби.
7) Блочный формат хранения матриц (плотные блоки коэфф-ов) в ряде решателей.
8) Гибридная машинная арифметика (32-64-80 рр) в ряде решателей.
9) Гибридная машинно-программная (QD) арифметика (64-128-256 рр) в SOFGMRES.
10) Локальная перенумерация оптимизирующая в ряде решателей.
11) Тестовая система и инструментарий.
12) Параллельный многоуровневый перенумератор, сжимающий ленту матрицы.
13) Параллельный решатель частичной обобщенной спектральной задачи.
• В работе:
� Параллельный сквозной позиционно-пороговый ILU2/IC2 c локальным пивотингом.
� Параллельный Schwarz: многослойное перекрытие с согласованием по Капорину, …
� Параллельный прямой с итерационным решением дополнения Шура.
� Параллельный прямой MUMPS (интерфейс подключения).
� Адаптация к GPGPU некоторых предобусловленных итерационных решателей.

число
обл.
Применение MLI МАТРУЗ в ЛОГОС. Аэро/гидро/тепло
Сужает ширину графа подобластей в 4-8 раз => Снижает ширину ленты
глобальной матрицы СЛАУ.
На больших задачах экономия памяти до 2-х раз, ускорение - до 10%).
ПОЛУШИРИНА ПОЛУШИРИНА
исходн
ая
после
RCM
отношение
исх / RCM
после
KING+MLI
после
RCM+MLI
после
SLOAN+MLI
отношение
исх /MLI+...
32 28 22 1,27 20 19 17 1,64
64 57 35 1,63 31 29 28 2,03
128 114 65 1,75 40 43 39 2,92
256 229 110 2,08 89 78 66 3,47
512 459 246 1,87 144 172 108 4,25
1024 918 441 2,08 186 193 193 5,02
2048 1836 799 2,3 369 433 332 5,27
4096 3672 1520 2,42 649 780 520 7,06
8192 7343 3360 2,19 955 1235 1010 7,60
16384 14685 6249 2,35 1795 1958 1765 8,18

Блочные форматы и смешанная арифметика в решателях
Наблюдается ускорение за счет блочности и предобусловливания с одинарной точностью (float).
То и другое хорошо сокращает память.
СЛАУ из ЛОГОС, модуль TVD, 475000 уравнений, блоки 5*5. Аэродинамика.
Блочные форматы решателей со смешанной
арифметикой
Время в сек.
3,5
3
2,5
2
1,5
1
0,5
0
0,97
BicgStab + ILU0
double
1 thread
PMLP/ParSol
0,49
BicgStab + ILU0
float,1 thread
PMLP/ParSol
3
BicgStab +
ILU2 double
1 thread
TParFBSS
2,7
BicgStab +
ILU2 float
1 thread
TParFBSS
1,1
BicgStab +
ILU2 double
6 threads
TParFBSS
1
BicgStab +
ILU2 float
6 thread
TParFBSS

TParFBSS: влияние
блочности,
структурной факторизации,
локального упорядочивания.
Пример из ЛОГОС, модуль TVD. Аэродинамика
TParFBSS быстрее в блочном формате. Для СЛАУ TVD пригодны структурная
факторизация, RCM уменьшает время и сокращает память
«M05 TVD», TParFBSS: BiCGSTAB+ILU2_float (…, …), k – уровень структурного разложения
N_node *N_core (параметры …) число
итераций
время
факторизации+решения, с, %
1*4 (k=-1, t1=1e-3, t2=1e-6), точечный формат 104 82+22 с = 104 с, 460%
1*4 (k=1, t1=t2=0.0), блоки 5*5 246 0.6+16 = 17 c, 197%
1*4 (k=1, t1=t2=0.0), блоки 5*5, RCM 199 0.5+12 = 13 c, 171%

Время работы (сек)
120
100
80
60
40
20
0
Tube_12
Применение локальной перенумерации СЛАУ в PMLP/ParSol (блочный Якоби).
4 точечных и 1 блочная СЛАУ 0.5-10 млн. ур. из ЛОГОС. Гидро и аэродинамика.
Tube_17
TUBE_triangle_1.2mln
TUBE_round-O_grid_1.7mln
СЛАУ
KAMAZ_5-50-99
m5
без перенуменации
RCM
ND

Ускорение счета задач с нововведениями. ЛОГОС,
модуль TVD. Аэродинамика
4.5 млн. ячеек. Обтекание
трехмерного профиля крыла.
Быстрее ~ 1.8 раза.
Экономия памяти почти в 2
раза
14 млн. ячеек. Обтекание
компоновки DLR-F6. Быстрее
~ 1.2 раза.

Эффективность распараллеливания задачи. ЛОГОС, модуль TVD.
Аэродинамика
14 млн. ячеек.
Обтекание DLR-F6
Немного хуже.

Лучший ILU vs. AMG.
СЛАУ давления из ЛОГОС, модуль SIMPLE. Гидродинамика.
Результаты замеров на 50 шагах.
Внутреннее течение газа. Хорошая сетка.
СЛАУ 3.2 млн. уравнений.
Библиотека Метод Параметры число
итераций
время решения СЛАУ
PMLP/ParSol CG+JacobiBlock IC0, 1 1403 14.9
HYPRE PCG+BoomerAMG 0.25, 3 - cтанд. 7 4.1
HYPRE PCG+BoomerAMG 0.50, 3 9 2.7
HYPRE PCG+BoomerAMG 0.25, 6 6 4.0

время (сек.)
Ускорение счета задач с нововведениями. ЛОГОС модуль SIMPLE.
Гидродинамика.
16001
14001
12001
10001
8001
6001
4001
2001
1
Зависимость времени счета от числа процессов
0 200 400 600 800 1000 1200
число процессов
Логос
1.2
Логос
2.0
Логос*
1.2
17 млн. ячеек.
Турбулентное
обтекание тягача
КАМАЗ.
Многократно быстрее.
Экономия памяти в 1.2
раза
6.5 млн. ячеек.
Ламинарное течение в
рубашке охлаждения
двигателя.
Быстрее ~ 2 раза.

Время в сек.
120
100
80
60
40
20
0
Сравнение разных методов решения СЛАУ давления из пакета НИМФА.
Задача 32 млн. ячеек (уравнений), точность 1*e-12. Гидрогеология
Решатель ParSol: CG+блочный Якоби с ILU0 Решатель TparFBSS: CG+ICH2 Решатель HYPRE: GMRES+BoomerAMG
Время на решатель Время на НИМФу (без решателя)
BoomerAMG - экономичней

Число
процессоров
Сравнение разных методов решения СЛАУ давления из пакета НИМФА.
Задача Балтийская АЭС, 97 млн. ячеек (уравнений), точность 1*e-12.
Гидрогеология.
Кол-во ячеек на
1 процессор Библиотека STK СALC,
час:мин:сек
В нестационарной задаче (геофильтр. модель площадки “Балтийская АЭС”) , 97 млн. ячеек.
Отношение времени счета при использовании
STK ALL,
час:мин:сек
BoomerAMG : PMLP/ParSol ~= 1.5 : 2.5 часов; 0.38 : 0.53 часов (CPU увеличилось в 8 раз)
STK eff, %
600 ~ 162 000 HYPRE 2:36:56 2:51:41 91.46
PMLP/ParSol 4:34:25 4:48:15 95.22
TParFBSS 2:15:48 3:00:09 75.4
1200 ~81000 HYPRE 1:21:09 1:32:10 88.14
PMLP/ParSol 2:19:48 2:30:16 93.07
TParFBSS 1:43:45 2:18:24 75.00
4800 ~20 000 HYPRE 0:22:11 0:28:56 76.9
PMLP/ParSol 0:38:00 0:46:58 81.0
7200 ~13 000 HYPRE 0:15:58 0:23:30 68.28
PMLP/ParSol 0:26:50 0:38:22 70.21
10000 ~9700 HYPRE 0:12:49 0:22:39 57.32
PMLP/ParSol 0:20:11 0:31:42 64.46

Быстродействие прямого решателя Intel® PARDISO (64 рр)
vs.
CG (64 рр) + предобусловливание прямым Intel® PARDISO (32 рр)
на СЛАУ НДС.
Пакет ЛОГОС Прочность, СЛАУ ~ 2.5 млн. Стационарная прочность
250
Время работы (сек)
200
Pardiso с двойной точностью
CG+(Pardiso c одинарной точностью), требуемая точность решения 1e-06
450
400
350
300
150
100
50
0
resh2_rmg trubka lopatka
СЛАУ

TParFBSS vs. Intel® PARDISO
Пакет ЛОГОС Прочность, расчет детали автомобиля КАМАЗ.
СЛАУ НДС, размер 1 429 158 уравнений, nnz=98953138, SPD-матрица, блоки 3*3.
Стационарная прочность
PARDISO_spd: прямой
TParFBSS : CG+IС2
pr_value=1 - факторизация одинарной точности,
blksize==3,
FctType=6, Tau1=0.001, Tau2 =0.0001, Theta = 0.10.
MPI threads bl_size Iters δ t_fct t_iters timeall solver
1 6 1 327 8.4е-07 140.0 79.4 219.4 tparfbss
1 6 3 236 8.8е-08 55.1 47.1 102.2 tparfbss
1 6 1 0 1.8е-10 54.6 1.0 55.6 pardiso
TParFBSS – вдвое ускоряется в блочном формате, вдвое медленнее, чем ParDiSo,
но меньше потребляет памяти и может работать на распределённой памяти.

Пример решения задачи модального анализа в ЛОГОС Прочность с
использованием PArpack + Intel PARDISO + PMLP/ParSol
Задача о нахождении минимальных частот собственных колебаний корпуса опоры
авиационного двигателя
• 2 478 956 степеней свободы
• Найдено 10 минимальных собственных значений и собственных векторов
• Время решения на одном ядре КС-ЭВМ - 13 минут

Унифицированный интерфейс LParSol
Библиотеки решателей отличаются интерфейсами. Унифицирует оболочка LParSol.
• Единообразно для разных библиотек задаются СЛАУ, общие параметры решателя.
• Специфичные параметры решения СЛАУ (решатель, предобусловливатель и ряд их
параметров) задаются раздельно для каждой библиотеки и хранятся в объекте СЛАУ.
• Свойственные конкретному решателю параметры извлекаются из объекта СЛАУ и
передаются ему в момент вызова.
• Управление динамикой решения потока СЛАУ возможно путем изменения параметров и
использования нескольких объектов СЛАУ (отдельный объект для группы решателей).
Более эффективному решению разнородного потока СЛАУ способны помочь:
- адаптивный выбор решателя и параметров из предопределённого набора;
- использование признаков неизменности матрицы или портрета матрицы;
- возможность переиспользования построенного предобусловливателя.
Поток СЛАУ
* = * = * = * =

Проблема: существенно ускорить решение СЛАУ, особенно
гидро/аэродинамики. Работы 2012 г.
• Оптимизация AMG для решения точечных СЛАУ с SPD матрицами (гидродинамика и
гидрогеология). (ВНИИЭФ)
• AMG для блочных СЛАУ Навье-Стокса с несимметричными матрицами
(аэродинамика). (ТЕСИС, ВНИИЭФ)
• Шварц для несимметричных и SPD матриц c ILU2/IC2/… внутри подобластей и
согласованием решений (алгебраическое, coarse grid correction, deflation, …) на
границах (аэродинамика, гидрогеология, НДС). (ВЦ РАН, ИВМиМГ СО РАН, ВНИИЭФ)
• Гибридный (прямой-итерационный) решатель СЛАУ (НДС). (ВНИИЭФ)
• Параллельный сквозной ILU2/IC2 (аэродинамика, гидрогеология, НДС). (ТЕСИС)
• Освоение / адаптация к GPU итерационных решателей. (ВНИИЭФ, ТЕСИС)
• Разработка и адаптация к GPU параллельного прямого решателя. (ННГУ)
• Декомпозиция и перенумерация. (ННГУ)
• Параллельный решатель спектральной задачи для SPD-матриц. (ВЦ РАН)

Напомним функционал 2011 г.,
� Решатели CG, BiCGSTAB с разновидностями, GMRES.
� Решатели CR, BiCRSTAB и CG, BiCGSTAB с консервативным предобусловливанием СЛАУ: p, t, d.
� Решатель SOFGMRES c техникой начального подпространства в качестве ускорителя итераций.
� Прямой решатель/предобусловливатель.
� Блочные предобусловливатели (Якоби, Шварц) ILU0 / ILUt / ILUk / LU .
� Предобусловливатель/решатель AMG для точечных СЛАУ.
� Предобусловливатель ILU0 / ILUt для блочно-трехдиагональной части матрицы.
� Предобусловливатель ILU2 с позиционно-пороговой фильтрацией в подобластях.
� Блочный формат хранения матриц (плотные блоки коэффициентов) в решателях,
� Гибридная арифметика (32-80 рр) решателей + расширенная до 256 рр (в ILU2/IC2+SOFGMRES).
� Перенумерация локальная оптимизирующая в решателях.
� Многоуровневый глобальный перенумератор, сжимающий ленту матрицы.
� Спектральный решатель.
чего не хватает и когда ожидается
1) AMG для блочных матриц. 2012++ г. ТЕСИС, ВНИИЭФ
2) Schwarz оverlapped (частично сделан) 2013 г. ВЦ РАН, ИВМиМГ, ВНИИЭФ
3) ILU2 сквозной c частичным пивотингом. 2012 г. ТЕСИС
4) Прямой параллельный решатель свой 2013 г. ННГУ+ТЕСИС
5) ADI для ортогональных сеток. 2013 г. ВНИИЭФ
6) Решатели для GPGPU (начато) 2012-2013 г. ВНИИЭФ, ТЕСИС, ННГУ
7) LU с итерированием доп. Шура (идет) 2012 г. ВНИИЭФ
8) Спектральный-решатель для SPD свой 2012 г.++ ВЦ РАН
9) Декомпозиция своя. 2013 г. ННГУ

Hypre:
AMG+CG… .
Оптимизация.
СЛАУ: p, d.
Intel® PARDISO:
СЛАУ: средние S
Библиотеки
для GPU ???
Задачи:
СЛАУ > 1 млрд. в
гидрогеологии,
аэро/гидродинамамике.
> 100 млн. в НДС
LParSol.2: 2011-2012г.
PMLP/ParSol:
ILU/IC+CG…, адаптивный,
32-80 рр выч. Schwarz. …
AMG. Что-то -> GPU.
СЛАУ: vi, ki, t, d, U,
средние S.
LParSol
Задачи:
ядер > 1-10K в
гидрогеологии,
аэро/гидродинамамике,
> 0.1K в НДС
TParFBSS:
ILU2/IC2+CG…+
SOFGMRES, 32-256рр выч.
Сквозной ILU2/IC2. AMG.
Бл.схемы -> GPU.
СЛАУ: S, U, t, d.
Тест. система,
Задачи:
ПарМАТРУЗ,
PArpack
Задачи:
надежность решения,
стабильность времени
при Курант++
память < ~ в 1.5-2 раза,
время < ~ в 2 раза
21

Ccылки
1. Дерюгин Ю.Н., Зеленский Д.К., Козелков А.С. и др. Многофункциональный пакет программ ЛОГОС для расчета задач
гидродинамики и тепломассопереноса на многопроцессорных ЭВМ: базовые технологии и алгоритмы // Тезисы
докладов ХII Международного семинара “Супервычисления и математическое моделирование”, Саров, 2010 – C.53-
54
2. Жучков Р.Н., Дерюгин Ю.Н., Зеленский Д.К.. Комплекс ЛОГОС. Численное моделирование вязких сжимаемых дозвуковых
и сверхзвуковых течений // Тезисы докладов ХIII международного семинара “Супервычисления и математическое
моделирование”, Саров, 2011 – С.70.
3. Спиридонов В.Ф., Циберев К.В., Рябов А.А. и др. Параллельный пакет программ ЛЭГАК-ДК для расчета задач
гидрогазодинамики и прочности на неструктурированных сетках в лагранжево-эйлеровых переменных // Доклад на
“X Забабахинские Научные Чтения”, Снежинск, 2010г.
4. Речкин В.Н., Спиридонов В.Ф., Циберев К.В., Дьянов Д.Ю., Наумов А.О., Косарим С.С. и др. Пакет программ ЛОГОС.
Модуль решения квазистатических задач прочности и модального анализа // Тезисы докладов ХIII международного
семинара “Супервычисления и математическое моделирование”, Саров, 2011 – С.113-114.
5. Дерюгин Ю.Н., Горев В.В., Панов А.И., Костерин А.В. и др. Методика и пакет программ НИМФА как инструмент постояннодействующих
моделей бассейна подземных вод – В: сб. статей Всероссийского семинара “Наука – фундамент
решения технологического развития России”, Казань, 2006г.
6. Аксёнов А.А., Шишаева А.С., Резвова Т.В., Спиридонов В.Ф. и др. Программный комплекс решения связанных задач
прочности и аэрогидродинамики на основе пакетов программ ЛЭГАК-ДК и ЛОГОС-ADAPTIVE // Тезисы докладов ХIII
международного семинара “Супервычисления и математическое моделирование”, Саров, 2011 – С.25-26.
7. Алейников А.Ю., Бардина М.Н., Горев И.В., Панов А.И. и др. Параллельная версия комплекса программ НИМФА // Тезисы
докладов ХIII международного семинара “Супервычисления и математическое моделирование”, Саров, 2011. –
С.26-27
8. Бартенев Ю.Г., Ерзунов В.А., Максимов А.С., Щаникова Е.Б. и др. Библиотека решателей разреженных линейных систем
– В: Труды РФЯЦ-ВНИИЭФ. Научно-исследовательское издание. Вып. 7, Саров, 2004г.
9. Бартенев Ю.Г., Бондаренко Ю.А., Ерзунов В.А. и др. Комплекс LParSol для решения СЛАУ // Тезисы докладов ХIII
международного семинара “Супервычисления и математическое моделирование”, Саров, 2011 – С.34-36.
10. Харченко С.А., Еремин А.Ю. Новые алгоритмы типа GMRES(k) с рестартами и анализ их свойств сходимости на основе
QR формы матричных соотношений // Зап. Научн. Семин. ПОМИ. 2000, т. 268, с. 190-241.
11. Коньшин И.Н., Сушко Г.Б., Харченко С.А. и др. Решение плохообусловленных разреженных СЛАУ большого размера с
помощью PARFBSS // Тезисы докладов ХIII международного семинара “Супервычисления и математическое
моделирование”, Саров, 2011 – С.76-78.
12. Henson V.E., Yang U.M. BoomerAMG: a Parallel Algebraic Multigrid Solver and Preconditioner.// Applied Numerical Mathematics
41 (2002) 155-177.
13. ParDiSo: [Electronic resource]. Mode of access: http: //www.intel.com /software /products /mkl
14. Капорин И.Е., Милюкова О.Ю. Предобусловливание итерационных методов для эффективного массивно-параллельного
решения систем линейных алгебраических уравнений// Тезисы докладов ХIII международного семинара
“Супервычисления и математическое моделирование”, Саров, 2011. – С.71-72.
15. Ильин В.П. Базовая система моделирования БСМ для решения междисциплинарных задач // Тезисы докладов ХIII
международного семинара “Супервычисления и математическое моделирование”, Саров, 2011 – С.70-71.

Спасибо за внимание
Благодарим разработчиков прикладных пакетов ЛОГОС, НИМФА, предоставивших
ряд материалов для доклада, проводивших исследование, внедрение,
апробацию LParSol и способствовавших улучшениям:
Д.К. Зеленского,
Р.А. Жучкова,
В.А. Глазунова,
А.А. Голубева,
С.В. Лашкина,
А.Ю. Алейникова,
С.С. Косарим,
Д.Ю. Дьянова,
К.В. Циберева
Е.И. Рябова,
И.Н. Чистякову,
А.И. Панова
А также,
В.П. Ильина (ИВМиМГ СО РАН), И.Е. Капорина (ВЦ РАН) за консультации и
проведение сравнительных экспериментов,
В.Л. Якушева (ИАП РАН) за проведение сравнительных экспериментов,
К.И. Артурова, С.В. Кузнецова (Интел) за консультации по ParDiSo/CParDiSo и
EigenSolver.

Приложения

Источники трудных СЛАУ
1. Пакет ЛОГОС: 3D стационарные задачи линейной упругости по схеме МКЭ на блочнорегулярных
сетках, спектральные задачи.
1.1. СЛАУ перемещений (СЛАУ S).
2. Пакет ЛОГОС: трехмерные задачи гидро/аэродинамики, решение системы уравнений
Навье-Стокса с учётом теплопроводности и турбулентности на нерегулярных сетках:
2.1. СЛАУ давления в схеме расщепления SIMPLE (СЛАУ p),
2.2. СЛАУ для полного набора неизвестных (�,u 1,u 2,u 3,T,…) в нерасщеплённой разностной
схеме метода МКО с ограничителями наклонов (СЛАУ U).
3. Пакет НИМФА: 3D задачи фильтрации (гидрогеологии) на нерегулярных сетках.
3.1. СЛАУ давления жидкости/газа, диффузии примесей (СЛАУ d).
Поэтому наряду с развитием библиотеки решателей PMLP/ParSol:
� апробация других методов других библиотек и
� создание комплекса библиотек LParSol с унифицированным интерфейсом.
Подобный подход - интеграция библиотек решателей, например, реализован в TRILINOS.

Тестирование СЛАУ давления ЛОГОС-SIMPLE в модельных задачах:
течение в треугольной (1.2 млн.) и круглой трубе (1.7 млн.)
Другие
параметры
Другие
параметры
СЛАУ 1.2 млн.,
CG+ILU(0.0001) 1 1 итерация
Шварца
CG+IС0 1 1 итерация
Шварца
число итераций
решателя
228 26.0
949 11.7
CG + IC2: Tau1=0.01, Tau2=0.0001 OrdType=1 FctType=3 614 7.6
GMRES+BoomerAMG: по умолчанию 14 2.4
СЛАУ 1.7 млн.,
CG+ILU(0.001) 1 1 итерация
Шварца
CG+IС0 1 1 итерация
Шварца
452 14.0
1347 16.3
CG + IC2: Tau1=0.01, Tau2=0.0001 OrdType=1 FctType=3 813 10.2
GMRES+BoomerAMG: по умолчанию 18 2.0
время, сек

Блочный ILUt vs. AMG на СЛАУ давления ЛОГОС.
Таблица 6.1.1. Результаты замеров на первых 100 шагах, усреднённые на 1 шаг.
СЛАУ 10 млн., сетка – не очень.
Библ-тека Метод Пар-ры n итераций t решения СЛАУ t счёта шага
PMLP CG+JacobiBlock (IC0) 624 19.84 25.97
HYPRE GMRES+BoomerAMG Станд. 6 28.57 35.0

Ускорение, эффективность
Эксперименты на трудных СЛАУ из реальных задач подходящими методами решения показали:
• СЛАУ НДС (размер СЛАУ 2.5 млн.) ЛОГОС Прочность в
1.5-3 раз быстрее (1 ->8) прямым ParDISO и в
2.5-3.4 раз (8->32) итерационным TParFBSS;
• Блочные СЛАУ (2.1 млн. ур.) ЛОГОС-TVD в аэродинамике
8.8-12.6 раз быстрее (1->32) итерационным PMLP/ParSol;
• СЛАУ давления (1.7 млн. ур.) ЛОГОС-SIMPLE в гидродинамике
8-12 раз быстрее (1->32) итерационным HYPRE, PMLP/ParSol;
• СЛАУ НИМФА (3.2 млн. ур.) в гидрогеологии
3.3 раз быстрее (1->8) итерационным …: HYPRE, TParFBSS, PMLP/ParSol.
При распараллеливании параметры итерационного метода не менялись.
Эксперименты на модельных СЛАУ в режиме умножения. Здесь на:
• СЛАУ (до 32 млн. ур.) НИМФА, PMLP/ParSol;
• СЛАУ (до 1 млрд. ур., 27-диаг. плохо обусл., 3D-декомпозиция), TParFBSS.
• СЛАУ (до 805 млн. ур., 27-диаг. хор. обусл., 3D-декомпозиц) PMLP/ParSol.
ускорение составляет1.5-1.7 раза при удвоении числа ядер.
Макс. СЛАУ:
700 млн.ур. в аэродинамике, 200 млн. ур. в гидродинамике, 100 млн. ур. в гидрогеологии, 18 млн. ур. в
ЛОГОС Прочность.

Характеристика ниш предобусловливателей
Блочный Якоби ILU (PMLP/ParSol):
- сильная зависимость от tau/h, высокая параллельность,
- экономичность решения (память в 2 раза, время) простых СЛАУ:
t, ki, vi, U (аэродинамики) для других типов и как подметод в адаптивном решателе, не берет НДС.
Сквозные ILUt (PMLP/ParSol) части матрицы:
- средняя зависимость от tau/h), средняя параллельность,
- затратность расхода памяти (ILUt)
при решении СЛАУ:
t, d, p, (плохо берет) U и как подметод в адаптивном решателе.
------------------------------------------------------------------------------------------------------------------------------------------------
Сквозной ILU2(k) (TParFBSS):
- средняя зависимость от tau/h, повышенная параллельность,
- средняя затратность по памяти (наихудшее – 5 раз) решения СЛАУ:
t, сложные p, d и U.
------------------------------------------------------------------------------------------------------------------------------------------------
BoomerAMG (HYPRE):
- слабая зависимость от tau/h), средняя параллельность, высокая сходимость
- и экономичность расхода памяти
при решении СЛАУ p, d, t?.
Не берет U (блочные); не любит большие шаблоны и недолюбливает высокую точность.
------------------------------------------------------------------------------------------------------------------------------------------------
ParDiSo (Intel MKL):
- независимость от tau/h, низковатая параллельность,
- сильная затратность по памяти (~ порядок) и времени решение СЛАУ (большого размера):
нераспределённые U (НДС) в слабо трехмерных задачах.
------------------------------------------------------------------------------------------------------------------------------------------------