Корзина - ЦЫМБЛЕР Михаил Леонидович

Международная научная конференция
«Параллельные вычислительные технологии 2010»
(29 марта – 2 апреля 2010 г., Уфа)
Решение задачи
анализа рыночной корзины
на процессорах Cell
К.С. Пан, М.Л. Цымблер
Южно-Уральский государственный университет (Челябинск)
Работа выполнена при финансовой поддержке РФФИ (проект 09-07-00241-а).

Задача анализа рыночной корзины
� Нахождение всех наборов
товаров, которые часто
приобретаются совместно.
� Корзина – набор товаров,
приобретенных совместно.
2
� B – множество анализируемых корзин
� I – множество всех товаров I � b
� Опорное число – количество корзин,
содержащих данный набор товаров.
�
� s min – минимальное опорное число
� Найти множество
�
b�B
� �
support( c, B) � card b� B : c � b
�l � I : support(
l, B s �
L � ) �
min
Анализ рыночной корзины на процессорах Cell
{�, �, �}
Корзины
{�, �, �, �}
{�, �, �, �, �}
{�, �, �}
Частые наборы (s min=3)
{�}, {�}, {�}, {�}
{�,�}, {�,�}, {�,�}, {�,�}
{�, �,�}
Товары
{�,�,�,�,�}
ПаВТ'2010, 1-апр-10

Последовательный алгоритм apriori
3
Анализ рыночной корзины на процессорах Cell
� Антимонотонность опорного
числа:
�� � с support( �,
B) � support( c, B)
support({�}) ≥ support({�, �, �})
� Кандидат – набор с, для
которого проверяется условие
.
с�L � Формирование C i
(множества кандидатов)
� на 1 шаге – из I (множества товаров)
� на k шаге – из L k-1 (множество часто
встречающихся наборов длины k-1)
ПаВТ'2010, 1-апр-10

Последовательный алгоритм apriori
4
Корзины
{�, �, �}
{�, �, �, �}
{�, �, �, �, �}
{�, �, �}
s min=3
L 3
{�, �,�}
С 3
С 1
{�}
{�}
{�}
{�}
{�}
support
{�, �,�} 3
support
Анализ рыночной корзины на процессорах Cell
2
4
3
3
3
L 1
{�}
{�}
{�}
{�}
L 2
{�,�}
{�,�}
{�,�}
{�,�}
С 2
{�,�}
{�,�}
{�,�}
{�,�}
{�,�}
{�,�}
support
3
3
3
2
2
3
ПаВТ'2010, 1-апр-10

Распараллеливание алгоритма apriori
{� �} {� �} {��} …
5
Count Distribution
(CDapriori)
…
…
Анализ рыночной корзины на процессорах Cell
{� �} {� �} …{��}
Data Distribution
(DDapriori)
…
…
ПаВТ'2010, 1-апр-10

Параллельный алгоритм DDC-apriori
6
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
7
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
8
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
9
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
10
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
11
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
12
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Использование SIMD-функций
13
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Эксперименты: ускорение
14
Анализ рыночной корзины на процессорах Cell
Процессор 2 x PowerXCell 8i
(16 ядер, 3.2 GHz)
Данные 10 6 корзин
(Тест msnbc.com)
ПаВТ'2010, 1-апр-10

Эксперименты: DDapriori vs CDapriori
15
Анализ рыночной корзины на процессорах Cell
Процессор 2 x PowerXCell 8i
(16 ядер, 3.2 GHz)
Данные 10 6 корзин
(Тест msnbc.com)
ПаВТ'2010, 1-апр-10

Эксперименты: SIMD vs SISD
16
Анализ рыночной корзины на процессорах Cell
Процессор 2 x PowerXCell 8i
(16 ядер, 3.2 GHz)
Данные 10 6 корзин
(Тест msnbc.com)
ПаВТ'2010, 1-апр-10

Эксперименты: влияние длины корзины
17
Анализ рыночной корзины на процессорах Cell
t
t
SISD
SIMD
ПаВТ'2010, 1-апр-10

Эксперименты: Cell vs Intel, ускорение
18
Анализ рыночной корзины на процессорах Cell
Процессор 2 x PowerXCell 8i
(16 ядер, 3.2 GHz)
2 x Intel Xeon E5472
(8 ядер, 3.0 GHz)
Данные 10 6 корзин
(Тест msnbc.com)
ПаВТ'2010, 1-апр-10

Эксперименты: Cell vs Intel, время
19
Анализ рыночной корзины на процессорах Cell
Процессор 2 x PowerXCell 8i
(16 ядер, 3.2 GHz)
2 x Intel Xeon E5472
(8 ядер, 3.0 GHz)
Данные 10 6 корзин
(Тест msnbc.com)
ПаВТ'2010, 1-апр-10

Спасибо за внимание
� Вопросы?
�Константин Сергеевич Пан
kpan@mail.ru
�Михаил Леонидович Цымблер
mzym@susu.ru
20
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Дополнительные слайды
� DDC-apriori (без упрощений)
� DDC-apriori (детали реализации)
21
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

Параллельный алгоритм DDC-apriori
22
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10

DDC-apriori: детали реализации
� Язык программирования: С
� Библиотеки: IBM Cell Broadband Engine SDK
� Объем исходных текстов: 1 тыс. строк
23
Анализ рыночной корзины на процессорах Cell
ПаВТ'2010, 1-апр-10