k - 50

АЛГОРИТМЫ РЕШЕНИЯ ОБРАТНЫХ 

ГЕОФИЗИЧЕСКИХ ЗАДАЧ НА 

МНОГОПРОЦЕССОРНЫХ 

ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ 

Е.Н. Акимова 1 , Д.В. Белоусов 1 , В.Е. Мисилов 2 

1 Институт математики и механики УрО РАН 

2 Уральский федеральный университет 

г. Екатеринбург

Аннотация 

Для решения обратной задачи гравиметрии о нахождении плотности в слое 

итерационными методами градиентного типа и обратной задачи гравиметрии о 

восстановлении поверхности раздела между средами с помощью итеративно 

регуляризованного метода Ньютона, а также для решения СЛАУ с блочно- 

трехдиагональными матрицами применительно к задачам электроразведки 

построены параллельные прямые и итерационные алгоритмы. 

Алгоритмы реализованы на многопроцессорных системах различного типа: 

многопроцессорном комплексе МВС-ИММ, графических процессорах NVIDIA и 

многоядерном процессоре Intel с использованием новых вычислительных технологий. 

Параллельные алгоритмы встроены в разработанную систему удаленных 

вычислений «Специализированный Веб-портал решения задач 

на многопроцессорных вычислителях». 

Решены задачи с квази-модельными и реальными данными. 

Работа выполнена при поддержке УрО РАН в рамках программы фундаментальных 

исследований Президиума РАН № 18 «Алгоритмы и математическое обеспечение для 

вычислительных систем сверхвысокой производительности». 

2

1. Методы решения обратных задач гравиметрии 

Важнейшими задачами исследования структуры земной коры являются обратные 

задачи гравиметрии: нахождение плотности в слое и поверхности раздела. 

1.1. Задача о нахождении плотности в слое (линейная) 

Одной из важнейших моделей строения земной коры является модель горизонтальной 

слоистой среды. Плоскость xOy совпадает с дневной поверхностью, ось z направлена вниз. 

Рассм. линейная обратная задача гравиметрии о нахождении переменной плотности � xy 

в гориз. или кривол. слое 

3 

П �{( x, y, z) �R : ( x, y) �D, H ( x, y) � z � H ( x, y)} 

( , ) 

1 2 

2 

D �{( x, y) �R : a � x � b, c � y � d}. 

по грав. данным, измеренным на площади земной поверхности 

Используется априорная информация об отсутствии аномалий плотности вне слоя с 

криволинейными границами H1 H1 ( x, y) 

и такими, что 

и выпол. условие Распределение плотности внутри слоя не зависит от z. 

� H2 H2 ( x, y) 

� H1�H2 �( 

x, y) 

H ( x, y) �h�const. i i 

Рис. 1. Модель среды 

3

Два этапа решения задачи гравиметрии 

1 этап – выделение аномального поля 

(методика П.С. Мартышко, И.Л. Пруткина, см. [1]) 

2 этап – нахождение плотности в слое 

Задача сводится к решению линейного двумерного интегрального уравнения 

Фредгольма первого рода для нахождения искомой плотности [2] 

� � 

bd 

� 1 1 

� 

A� � f �� 

� 1 1 ��( 

x�, y�) dx�dy� � �g( 

x, y), 

2 2 2 2 2 2 2 

2 

a c��x�x��y�y��H1 

( x�, y�) � �� x � x�� y � y�� H 2 ( x�, y�) 

� � 

�� 

� � � � 

(1) 

f � ( , ) 

где гравитационная постоянная, �gxy� гравитационный эффект, 

порождаемый источниками в горизонтальном или криволинейном слое. 

Задача гравиметрии (1) относится к классу некорректно поставленных задач, решение 

которой обладает сильной чувствительностью к погрешности правой части, полученной в 

результате измерений и предварительной обработки геофизических данных. 

____________________________________________________________________ 

[1]. Мартышко П.С., Пруткин И.Л. Технология разделения источников гравитационного поля 

по глубине // Геофизический журнал. 2003. Т. 25. № 3. С. 159�168. 

[2]. Мартышко П.С., Кокшаров Д.Е. Об определении плотности в слоистой среде по гравитационным 

данным // Геофизический журнал. 2005. Т. 27. № 4. С. 678-684. 

4

Методы решения с регуляризацией 

После дискретизации уравнения (1) на сетке n �M�N, где задана правая 

часть �g( 

x, y), 

и аппроксимации интегрального оператора по квадратурным 

формулам задача (1) сводится к решению СЛАУ с плохо обусловленной 

либо симметричной матрицей (горизонтальный слой), либо несимметричной 

матрицей (криволинейный слой) 

( A��E) z �b, 

схема Лаврентьева (2) 

В случае криволинейного слоя СЛАУ предварительно преобразуется к виду 

�, �� T T 

( A A��E) z � 

A b. схема Тихонова (3) 

где параметры регуляризации. 

Для решения СЛАУ (2) и (3) используются итерационные методы градиентного типа [3]. 

____________________________________________________________ 

[3]. Васин В.В., Еремин И.И. Операторы и итерационные процессы Фейеровского типа. 

Теория и приложения. Екатеринбург, 2005. 

5

Методы решения СЛАУ (заполненная матрица) 

1. Итеративно регуляризованный метод простой итерации (МПИ) 

� 1 

� � [( � ) � ], �max � A��E k 1 k k 

z z A �E 

z b 

где макс. соб. знач. 

�max 

(симм. случай) 

2. Метод минимальных невязок (ММН) 

k k 

k�1 k ( A( Az �b), Az �b) 

k 

z � z � ( Az �b); 

k 

2 

A( Az �b) 

3. Метод наискорейшего спуска (МНС) 

k�1 k 

z � z � 

T k 

A Az 

T 

2 

� A b T 

A 

k 

Az �b 

T k T 

A( A Az � A b) 

2 ( ); 

4. Метод минимальной ошибки (ММО) 

k�1 k 

z � z � 

k 

2 

Az � b T 

A 

k 

Az � b 

T k 

A ( Az � b) 

2 ( ); 

5. Метод сопряженных градиентов (МСГ) 

6. Прямой метод квадратного корня (МКК) 

(СЛАУ с симметр. положит. опред. матрицей) 

A � A��E k 

Az � b 

b 

�� останов по невязке 

6

Параллельная реализация на суперкомпьютере 

Для решения линейной обратной задачи гравиметрии устойчивые итерационные 

методы градиентного типа численно реализованы на МВС - российском суперкомпьютере 

кластерного типа с распределенной памятью. 

ИММ УрО РАН : суперкомпьютеры «Уран», МВС-1000/17EK, МВС-ИММ. 

МВС-ИММ: 14 2-х процессорных 2-х ядерных модулей AMD Opteron 64 bit (2.6 ГГц); 

интерфейс GbitEthernet; 112 Гб оперативной памяти. 

Параллельные численные алгоритмы реализованы с помощью библиотеки MPI [4] 

на языке Фортран. Распараллеливание итерационных методов основано на разбиении 

матрицы A горизонтальными полосами на m блоков, а вектора решения z и 

вектора правой части b СЛАУ на m частей так, что n �m�L, где n � размерность 

системы уравнений, m � число процессоров, L � число строк матрицы в блоке. 

На текущей итерации каждый процессор вычисляет свою часть вектора решения. 

Host – processor 

1– processor 

2 – processor 

… 

m – processor 

Рис. 2. Схема распределения данных по процессорам 

______________________________________________________________________ 

[4]. Воеводин Вл.В. Технологии параллельного программирования. URL: http://parallel.ru/ 

7

Реализация на ГВС с графическими процессорами 

ИММ УрО РАН : кластер NVIDIA Tesla включает 20 вычислительных узлов. 

Каждый узел содержит 8 GPU Тesla S2050, 50 Гб ОЗУ и 2 шестиядерных CPU. 

ГВС-1 (отдел некорректных задач анализа ИММ УрО РАН) 

ГВС-2 (кафедра ВМ и УМФ УрФУ) 

Характеристики СPU-1: 

Частота процессора (ГГц) 

Оперативная память (Гб) 

Характеристики GPU-1: 

Количество процессорных ядер 

Частота ядра (МГц) 

Частота процессора (МГц) 

Количество видеопамяти (Мб) 

Характеристики СPU-2: 

Частота процессора (ГГц) 

Оперативная память (Гб) 

Характеристики GPU-2: 

Количество процессорных ядер 

Частота ядра (МГц) 

Частота процессора (МГц) 

Количество видеопамяти (Мб) 

4-ядер. Intel Core I5-750 

2.66 

Таблица 1. Технические характеристики ГВС1 и ГВС2 

8 

NVIDIA GeForce GTX 285 

240 

648 

1476 

1024 

4-ядер. Intel Core I7-950 

3.06 

8 

NVIDIA GeForce GTX 480 

480 

700 

1401 

1536 

8

Оптимизация работы с памятью 

Для решения линейной обратной задачи гравиметрии о восстановлении плотности 

в слое итерационные методы градиентного типа реализованы на графических 

процессорах NVIDIA с помощью технологии CUDA [5]. 

Для оптимизации работы с памятью при вычислениях используются два приема. 

1. Для сеток не очень большой размерности (размер СЛАУ ), когда данные входят 

в память видеокарты, матрица A порядка n и вектор z размерности n расширяются до 

размерности M и дополняются нулями таким образом, чтобы M было кратно числу 

блоков. Размер блока BLOCK_SIZE (threads) выбирается кратным 16, поскольку в одном 

блоке группируются до 512 потоков. Тогда количество блоков вычисляется по 

формуле: blocks=M/BLOCK_SIZE. Вычисления производятся без выгрузки данных в 

память Host-процессора. Данные находятся только в памяти видеокарты. 

2. Для сеток довольно большой размерности (размер СЛАУ), когда данные не 

входят в память видеокарты, наилучшим по быстродействию оказывается метод 

вычисления элементов матрицы A «на лету», т.е. вычисление значения элемента 

матрицы происходит в момент обращения к этому элементу без сохранения его в 

память видеокарты. Это позволяет существенно снизить количество обращений к 

памяти видеокарты и заметно ускорить процесс вычислений по сравнению с хранением 

матрицы A в памяти Host-процессора и порционной загрузкой в видеоускоритель для 

вычислений. 

______________________________________________________________________________________________________ 

[5]. Берилло А. NVIDIA CUDA – неграфические вычисления на графических процессорах. 

URL: http://www.ixbt.com/video3/cuda-1.shtml 

9

1.2. Задача о нахождении поверхности раздела 

между средами (нелинейная) 

Рассматривается трехмерная структурная обратная задача гравиметрии 

о восстановлении поверхности раздела между средами по известному скачку плотности 

и гравитационному полю, измеренному на некоторой площади земной поверхности. 

Предполагается, что нижнее полупространство состоит из нескольких слоев 

постоянной плотности, разделенных искомыми поверхностями Si. 

Плоскость xOy совпадает с дневной поверхностью, ось направлена вниз. 

z 

Рис. 3. Модель среды 

10

В предположении, что гравитационная аномалия создана отклонением искомой 

поверхности S от горизонтальной плоскости z H, 

в декартовой системе координат 

функция z � z( x, y), 

описывающая искомую поверхность раздела, удовлетворяет 

нелинейному двумерному интегральному уравнению Фредгольма первого рода [6] 

� 

� � 

bd 

� 1 1 

� 

A[ z] � f �� 

� 1 1 �dx�dy��G( 

x, y), 

2 2 2 2 2 2 2 2 

a c��x�x��y�y��z( 

x�, y�) � �� x � x�� y � y�� H � � 

�� 

� � � � 

f � � 

где гравитационная постоянная, скачок плотности на границе раздела сред, 

G( x, y) � аномальное гравитационное поле, 

асимптотическая плоскость для данной поверхности раздела. 

z�H� � � 

Предварительная обработка гравитационных данных, связанная с выделением 

аномального поля, выполняется по методике [1]. 

________________________________________________________________________________ 

[6]. Нумеров Б.В. Интерпретация гравитационных наблюдений в случае одной контактной поверхности // 

ДАН СССР. 1930. № 21. С. 569-574. 

(4) 

11

Метод Ньютона 

Уравнение гравиметрии является существенно некорректной задачей, решение 

обладает сильной чувствительностью к погрешности правой части, полученной 

в результате измерений и предварительной обработки геофизических данных. 

n �M� N, 

G( x, y), 

После дискретизации уравнения (4) на сетке где задана правая часть 

и аппроксимации интегрального оператора по квадратурным формулам 

имеем систему нелинейных уравнений 

A [ z] � F . (5) 

n n 

Для решения системы (5) используется итеративно регуляризованный метод Ньютона [7] 

�1 

� � � � 

k�1 k k k k 

z � z � �A� n z �kI��Anz�k( z H) F � 

� 

� 

� � 

� � � n � 

. (6) 

k 

Здесь An�z�, Fn � конечномерные аппроксимации интегрального оператора и правой части (6), 

k 

k 

A' ( z ) � дискретизация производной оператора A в точке ; � �параметры 

регуляризации. 

n 

z 

z k 

k�1 

k 

Нахождение очередного приближения по найденному сводится к решению СЛАУ 

� � 

k k 

n n k 

A z F 

k k�1 k 

n � n 

, (7) 

A � A� z �� I � n�n где плохо обусловленная несимметричная заполненная матрица, 

� � 

� � � � � �� 

k k k k k 

F A z A z � z F 

n n вектор размерности 

� n k n � 

_______________________________________________________________________ 

12 

[7]. Bakushinsky A., Goncharsky A. Ill-Posed Problems:Theory and Applications. London: Кluwer Publishers.1994. 

z 

n.

Методы решения СЛАУ 

Предварительно система (7) приводится к виду 

k k�1kTk'k�1kTk B z � � 

�( An ) An �� kI � 

�z�( 

An ) Fn � b. 

(8) 

k T 

( A ) � 

' 

� � 

где транспонированная матрица, параметры регуляризации. 

n 

На каждом шаге метода Ньютона используются итерационные методы градиентного типа. 

1. Итеративно регуляризованный метод простой итерации (МПИ) 

k�1 k 1 k 

z � z � [( A� �E) 

z �b], 

(9) 

�max 

� � A��E где максимальное собственное значение матрицы (симметр. случай), 

max 

2. Метод сопряженных градиентов в регуляризованном варианте (МСГ) 

� k 

k�1 k 

z � z 

� 

k k k k�1 

��k( B z �b) � �k( 

z � z ), (10) 

где k и вычисляются по известным формулам [8]. 

k k 

B z � b 

Условие останова по невязке : 

� 

� . 

b 

Численная реализация и распараллеливание метода Ньютона с использованием 

итерационных градиентных методов выполнена на МВС-ИММ. 

___________________________________________________________________________ 

[8]. Фаддеев В.К., Фаддеева В.Н. Выч. методы лин. алгебры. М.: Гос. изд. физ.�мат. лит., 1963. 

k 

13

2. Параллельные алгоритмы решения СЛАУ с 

блочно-трехдиагональными матрицами 

Важнейшими задачами исследования неоднородности земной коры являются задачи электроразведки. 

Одним из известных методов электроразведки является метод вертикального электрического зондирования 

(ВЭЗ). После использования конечно-разностной аппроксимации задача ВЭЗ сводится к решению СЛАУ с 

блочно-трехдиагональной матрицей [9]. Другой важной задачей электроразведки является задача бокового 

каротажного зондирования (БКЗ). В работе [10] показано, что после использования конечно-разностной 

аппроксимации задача БКЗ сводится к решению СЛАУ с блочно-трехдиаг. матрицей большой размерности. 

Рис. 4. Вид матрицы СЛАУ 

Для решения СЛАУ с блочно-трехдиаг. матрицами применительно к задачам электроразведки используются 

параллельные алгоритмы матричной прогонки (ПАМП), квадратного корня (ПАКК) и ПМСГ с предобуславливателем 

(СЛАУ с симметр. положит.-определ. матрицей). 

Реализация на многоядерном процессоре Intel с помощью OpenMP. 

______________________________________________________________________________________________ 

[9]. Тихонов А.Н., Самарский А.А. Уравнения математической физики. М.: Наука, 1966. 

[10]. Дашевский Ю.А., Суродина И.В., Эпов М.И. Квазитрехмерное математическое моделирование 

диаграмм неосесим. зондов пост. тока в анизотропных разрезах // Cиб. ЖИМ. 2002. Т. 5. № 3(11). С. 76-91.

2.1. Параллельный алгоритм матричной прогонки 

где Yi и искомые и заданные векторы размерности n, квадратные матрицы порядка n. 

i 

Будем предполагать, что исходная область P – прямоугольник. Разобьем P на L подобластей вертикальными 

линиями так, что В качестве параметров выберем векторы связывающие неизвестные 

на сетке по вертикали. В подобластях, определяемых интервалами (K,K+M), рассмотрим задачи 

F � Ai , Bi , Ci � 

N �L� M . 

YK , K � 0, M,..., N , 

Рис. 5. Разбиение области 

�С0Y0 � B0Y1 � F0 , i � 0 

� 

��AY 

i i�1�CiYi�BY i i�1 � Fi , i �1,..., N �1 

� 

��AN 

YN �1 

� CNYN � FN , i � N, 

� 

�1��0� 1 1 1 1 � 

0 

� 1 � 

.. 

� 

��AU i i�1�CU i i � BU i i�1 � 0, U K � � �, U , 

.. K �M 

� � � 

0 

� 

� � � � 

0 0 

� 

� � � � 

� . . . . . . . . . . . . . 

� 

�0��0� n n n n � 

.. 

� n � 

AU .. 

� 

�� i i�1�CU i i � BU i i�1 � 0, U K � � �, U . 

0 K �M 

� � � 

� � � 

0 

�� 

� 

�1��0� �0��1� � 1 1 1 1 � 

0 

� 1 � 

0 

� 

��AV 

i i�1�CV i i � BV i i�1 � 0, VK � � �, V , 

.. K �M 

� � � 

� � � 

.. 

� 

0 0 

� 

� � � � 

� . . . . . . . . . . . . . 

�0��0� � n n n n � 

.. 

� n � 

AV .. 

� 

i i�1 CV i i BV i i�1 0, VK � �, V . 

0 K �M 

� � 

�� 

� � � � � 

� � � 

0 

� 

� 

�0��1� �0��0� � 

0 

� � 

0 

� 

i i�1 i i i i�1 i, K 

� �, , 

.. K M 

� � 

� � 

� 

� 

.. 

� 

�0��0� �AW � CW � BW � F W � W � i � K �1, ..., K � M �1. 

_____________________________________________________________________ 

[11]. Акимова Е.Н. Распараллеливание алгоритма матричной прогонки // Математическое 

моделирование. М.: Наука, 1994. Т. 6. № 9. C. 61- 67. 

(11) 

(12) 

(13) 

(14)

1 n 

1 n 

Утверждение 1. Если Ui,..., Ui �решения 

задач (12), Vi ,..., Vi � решения задач (13), 

W � решения задачи (14), Yi � решения исходной задачи (11) на ( K, K M), 

тогда 

� 

i 

После подстановки (15) в (11) получим систему относительно параметров 

U K 

1 2 n 1 2 n 

� � � � 

Y � U U ... U Y � V V ... V Y �W 

. (15) 

i i i i K i i i K �M 

i 

� 0 0 1� 0 � 0 1� M 0 0 1 

� � � � � � 

� C � B U Y � B V Y � F � B W , K � 0; 

� 

�� 

AKU K �1 YK �M � CK � AKVK �1 � BKU K �1 YK � BKVK �1 YK 

�M 

� 

� 

�� 

FK � AKWK �1�BKWK�1, K � M , 2 M , ..., N � M; 

� 

�� 

ANU N �1�YN �M ��C N � ANVN �1�YN � FN � ANWN �1, 

K � N, 

где K и V � квадратные матрицы порядка n. 

Y , K � 0, M,..., N . 

Схема параллельного алгоритма матричной прогонки: (12)-(13)-(14) → (16) → (15). 

Задача (16) решается классическим алгоритмом матричной прогонки. 

Задачи (12)-(13)-(14) и (15) решаются независимо на L процессорах. 

Утверждение 2. Если для исходной системы (11) выполняются достаточные условия устойчивости 

метода матричной прогонки по А.А. Самарскому [12] 

C B C A C A C B i N 

�1 �1 �1 �1 

0 0 �1, N N �1, i i � i i �1, �1,..., �1, 

причем хотя бы одно из неравенств – строгое, то эти же условия достаточны и для устойчивости метода 

матричной прогонки при решении системы уравнений (15) относительно параметров Y 

(см. [11]). 

____________________________________________________________________________________________ 

[11]. Акимова Е.Н. Распараллеливание алгоритма матричной прогонки // Математическое моделирование. 

М.: Наука, 1994. Т. 6. № 9. C. 61- 67. 

[12]. Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. М.: Наука, 1978. 

K 

K 

(16)

2.2. Параллельный метод сопряженных 

градиентов с предобуславливателем 

МСГ – эффект. итерационный метод решения СЛАУ с симметричной положительно-определенной матрицей [8]. 

Введение предобуславливания применяется с целью сущест. ускорения сходимости итерационного процесса. 

Ax � b 

Исходная СЛАУ заменяется на 

Условием выбора предобуславливателя C является следующее: 

� � 

cond A cond A cond A cond A A C A 

� � 

Для СЛАУ (17) МСГ с предобуславливателем имеет вид 

�1 �1 

C Ax � C b. 

(17) 

max max 

�1 

( ) �� ( ), ( ) � , ( ) � , � . (18) 

0 0 0 �1 

0 0 0 

r � b � Ax , p � C r , z � p , 

( r , z ) 

, , 

( Ap , p ) 

k k 

k �1 

� 

k 

��k k 

�k 

� k k 

x x p 

k 

Az � b 

b 

�� условие останова по невязке. 

min min 

r � r �� Ap , z � C r , 

k �1 k k k �1 �1 k �1 

k 

k�1 k�1 

k �1 k �1 

k ( r , z ) 

� � �k �k 

� k k 

p z p 

Распараллеливание МСГ с предобуславливателем см. выше (рис. 2). 

, . (19) 

( r , z ) 

__________________________________________________________________________________________________________ 

[8]. Фаддеев В.К., Фаддеева В.Н. Вычислительные методы линейной алгебры. М.: Гос. издат. физ.-мат. литературы, 1963.

2.3. Метод квадратного корня 

Метод квадратного корня – быстрый метод решения СЛАУ с симметричной положительноопределенной 

матрицей [8]. МКК основан на разложении матрицы А в произведение 

T 

A � S S , где S � верхняя треугольная матрица с положит. элементами на главной диагонали, 

T 

S � транспонированная матрица. Метод состоит в последовательном решении двух систем 

T 

S y �b, Sz � y. 

Решения (20) находятся по рекуррентным формулам 

�y 

� b s , 

� 

� 

� 

�y � 

�� 

i � n 

�z 

� y s 

n n nn 

1 1 11 

� 

i�1 

n � 

bi �� 

ski y 

� y 

k 

i � � sik zk 

k �1 

k�� i 1 

i 

, 2,3,...., ; 

i 

s 

s 

ii 

ii 

_________________________________________________________________________________________________________ 

[8]. Фаддеев В.К., Фаддеева В.Н. Вычислительные методы линейной алгебры. М.: Гос. издат. физ.-мат. литературы, 1963. 

, 

�z � , i � n �1, n � 2,...,1. 

�� 

Распараллеливание МКК для вычислителя с общей памятью основано на параллельном вычислении 

s , j � i,..., n, 

каждой i � ой строки матрицы S. 

Строка с номером i разбивается на m 

частей. 

ij 

1 – 

процессор 

2 – 


… 

m – 


Рис. 6. Разбиение i � ой строки по процессорам 

(20) 

(21)

3. Специализированный Веб-портал 

Параллельные алгоритмы решения обратных задач гравиметрии и параллельные алгоритмы решения СЛАУ 

для задач электроразведки встроены в разработанную систему удаленных вычислений (ОНЗАП ИММ УрО РАН). 

Предназначен для запуска программ решения задач на МВС, кластере NVIDIA Tesla и GPU NVIDIA GeForce. 

Рис. 7. 

19

Специализированный Веб-портал 

Изначально Веб-портал предназ. для запуска программ решения задач гравиметрии на МВС-1000/17EK. 

Веб-портал предоставляет возможность пользователю через Веб-интерфейс выбирать тип вычислителя с 

указанием числа процессорных узлов, вид задачи и метод ее решения, загружать входные данные, получать 

выходные данные и графическое изображение результатов решения с помощью графических пакетов 

Surfer и gnuplot. Для каждой задачи выводится время счета. 

Веб-портал состоит из трех основных частей : HTTP-сервер IIS (информационные службы Интернета), 

на котором установлено Веб-приложение; база данных SQL Server 2000, в которой хранятся все задачи 

пользователей с входными и выходными данными; служба, выполняющая загрузку данных, запуск задач на 

многопроцессорных вычислителях различных типов, просмотр состояния задачи и загрузку результатов 

завершившихся задач на Веб-портал. 

Рис. 8. Архитектура Веб-портала 

20

4. Результаты моделирования (Восточный Урал) 

На протяжении многолетних исследований в ИГФ УрО РАН выделены протяженные 

линейные аномалии векового хода геомагнитного поля – Башкирская аномалия 

(юго-западый Урал) и Буткинская аномалия (восточный Урал). 

Аномалии связаны с изменением плотности в земной коре. 

Рис. 9. Пространственное распределение магнитовариационного поля 

(._._ профили наблюдений, V - наблюденное поле, /// - аномальные зоны ) 

21

4.1. Результаты моделирования (восточный Урал) 

Для восточной части Урала обработан массив гравитационных данных, 

2 

измеренный на площади S : 59.4�144 км . 

Площадь пространственно совпадает с зоной Буткинской аномалии векового хода. 

Аномальное поле предоставлено сотрудниками ИГФ УрО РАН (г. Екатеринбург). 

По реальным наблюденным данным для изучения природы аномалии решены 

Задача 1 о нахождении плотности в слое между глубинами 

H �10 км, H �20 

км. 

1 2 

Задача 2 о восстановлении поверхности раздела. 

Расстояние до асимпт. плоскости 

H �15 

км. 

3 

Скачок плотности ��0.2 г / см . Шаги сетки: 

После дискретизации обе задачи сводятся к СЛАУ с матрицами 

�x�0.594, �y�1.44 км. 

10000�10000. Задача 1 решена параллельными МПИ и ММН на МВС-ИММ, NVIDIA Tesla и NVIDIA GeForce. 

Задача 2 решена методом Ньютона (на каждом шаге метода � ПМСГ) на МВС-ИММ. 

22

Линейная задача (восточный Урал) 

Рис. 10. Аномальное разностное гравитационное поле для области 

(разность полей, пересчитанных на 10 и 20 км) 

S 

23

Решение линейной задачи (восточный Урал) 

Рис. 11. Распределение восстановленной плотности в слое для области 

Интерпретация результатов проведена сотрудниками ИГФ УрО РАН. 

Выделен субмеридиональный блок земной коры пониженной плотности (0.2 – 0.3 г/см3). 

S 

24

Решение нелинейной задачи (восточный Урал) 

H �15 

км. 

Расстояние до асимп. плоскости Скачок плотности 

Рис. 12. Восстановленная поверхность раздела для области S 

3 

��0.2 г / см . 

Получены прогибы поверхности, связанные с зонами пониженной плотности. 

25

Времена решения линейной задачи гравиметрии 

Введем коэф. ускорения и эффективности m 1 m m m 

1 2 

где Tm � время выполнения параллельного алгоритма на MBC-ИММ либо на многоядерном 

процессоре с числом процессоров или ядер m ( m�1), T1 � время выполнения последовательного 

алгоритма на одном процессоре либо на одном ядре, T � время решения задачи на видеоускорителе. 

Вычислитель 

Intel Core I7 (1 ядро) 

Intel Core I7 (2 ядра) 

Intel Core I7 (4 ядра) 

NVIDIA GeForce (480 яд.) 

МВС─ИММ (1 проц.) 





МВС─ИММ (50 проц.) 

Время T , мин. 

m 

Технол. OpenMP 

7.73 

4.05 

2.1 

0.2 

Технол. MPI 

24.33 

12.18 

6.10 

2.46 

1.24 

0.5 

S � T / T , E � S / m, S � T / T , 

Ускорение 

либо m S 

— 

1.91 

3.68 

38.7 

— 

1.99 

3.99 

9.89 

19.6 

48.7 

k 

Az �b / b � 0.011, 749 итер, СЛАУ 10000�10000 Эффективность 

Em 

— 

0.96 

0.92 

— 

— 

0.99 

0.99 

0.99 

0.98 

0.97 

Таблица 1. Времена решения линейной задачи гравиметрии (восточный Урал) 

2 

S 

26

Решение нелинейной задачи на МВС-ИММ 

(восточный Урал) 

В табл. 2 приведены времена счета на МВС-ИММ и коэффициенты ускорения 

и эффективности решения нелинейной задачи гравиметрии для области S 

итеративно регуляризованным методом Ньютона с использованием ПМСГ 

(сетка 100 х 100, матрица СЛАУ 10000 х 10000). 

m m T m S m E 

(число проц.) 

1 

3 

9 

27 

(время, мин.) 

94.88 

40.46 

16.52 

11.49 

(ускорение) 

— 

2.34 

5.74 

8.25 

(эффективность) 

— 

0.78 

0.64 

0.30 

81 7.72 12.3 0.15 

Таблица 2. Времена решения нелинейной задачи о восстановлении 

поверхности раздела (восточный Урал) 

27

4.2. Решение задачи о нахождении распределения потенциала 

На ГВС решена задача о нахождении распределения потенциала в проводящей среде с известным 

квази-модельным решением с помощью параллельных алгоритмов матричной прогонки (ПАМП), 

предобусловленного метода сопряженных градиентов (ПМСГ) и метода квадратного корня (ПАКК). 

Исходные данные и решение задачи предоставлены лабораторией скважинной геофизики 

ИНГГ СО РАН (г. Новосибирск). 

После дискретизации задача сводится к решению СЛАУ с плохо обусловленной симметричной 

положительно-определенной блочно-трехдиагональной матрицей размерности 76136� 76136 

c квадратными блоками порядка 248. 

Приближенное решение задачи сравнивалось с модельным решением с помощью вычисления 

относительной погрешности 

M П M 

� � Y �Y / Y � � � 

критерий останова ПМСГ. 

M 

П 

Здесь Y � модельное решение, Y � приближенное решение задачи. 

cond A 

� 

max 

11 6 �5 

( ) � �1.3 �10 , �max�1.4�10 , �min�1.1�10�0, 

�min 

� 

cond A cond A 

� 

max 

9 

( ) � � 4.1�10 � 

( ). 

min

� � � 

�7 �7 �7 

ПМСГ �10 , ПАМП � 2�10 , ПМКК � 6�10 . 

Рис. 13. Численное решение задачи

Времена решения задачи 

Метод Вычислитель , сек. (Windows API) T , сек. (OpenMP) 

ПМСГ 

ПАМП 

ПАКК 

� � � 

�7 �7 �7 

ПМСГ �10 , ПАМП � 2�10 , ПМКК � 6�10 . 

Tm 

МСГ без предобусл: t=10 час. 

Intel Core I5 (1 ядро ) 57 21 

Intel Core I5 (2 ядра ) 46 16 


NVIDIA GeForce (240 яд.) ─ ─ 

Intel Core I5 (1 ядро ) 52 21 



NVIDIA GeForce (240 яд.) ─ 10 

Intel Core I5 (1 ядро ) 12 7.4 

Intel Core I5 (2 ядра ) 9 4.6 



m

Основные результаты 

Для решения линейной обратной задачи гравиметрии о нахождении плотности 

в слое итерационными методами градиентного типа и нелинейной обратной задачи 

гравиметрии о восстановлении поверхности раздела между средами с помощью 

итеративно регуляризованного метода Ньютона, а также для решения СЛАУ 

с блочно-трехдиагональными матрицами применительно к задачам электроразведки 

построены параллельные прямые и итерационные алгоритмы. 

Алгоритмы реализованы на многопроцессорных вычислительных системах 

различного типа: многопроцессорном комплексе МВС-ИММ, графических процессорах 

NVIDIA и многоядерном процессоре Intel. Параллельные алгоритмы встроены в 

разработанную систему удаленных вычислений «Специализированный Веб-портал 

решения задач на многопроцессорных вычислителях». 

Решены задачи с квази-модельными и реальными данными. 

Результаты вычислений показывают, что использование метода Ньютона и 

параллельных методов градиентного типа при решении обратных задач гравиметрии 

позволяют получать корректные решения и определять аномальные плотностные 

параметры изучаемых глубинных зон земной коры. Использование параллельных 

алгоритмов решения СЛАУ с блочно-трехдиагональными матрицами применительно 

к задачам электроразведки позволяет достаточно быстро решать задачи с плохо 

обусловленными матрицами на ГВС. 

31

СПАСИБО ЗА ВНИМАНИЕ ! 

32

k - 50

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?