NVIDIA CUDA 计算统一设备架构

程 指 南 , 版
NVIDIA CUDA
计 算 统 一 设 备 架 构
编 程 指 南
版 本 2.0
6 / 7 / 2008
CUDA 编
i
本 2.0

ii CUDA 编
2.0 南 , 版 本 指 程

目
录
1
2 3 第
第 4
iii
.......................................................................................................................................................... vi
................................................................................................................................................... 1
1.1 ............................................................................................................... 1
1.2
并 编 模
GPU: ........................................................................................... 1
1.3 .................................................................................................................................................. 3
度 并 行 化 的 多 线 程 、 众 核 处 理 器 图 表 目
...........................................................................................................................................
录
4
CUDA:
2.1 ..........................................................................................................................................
介
4
2.2 ...................................................................................................................................... 6
2.3 ..............................................................................................................................................
可
7
伸 缩 行 程 型 高
器 层 次 结 构 文 档 结
2.4
构
...................................................................................................................................................... 8
2.5 ..................................................................................................................................................
备 章
9
型
GPU ....................................................................................................................................... 10
3.1
栈 线
SIMT
程
...................................................................................
层
10
次 结 构 存 宿 主 和 设
3.2 ................................................................................................................................................ 12
3.3 ................................................................................................................................................
储
享 存 储 器 的 一 组 多 处 理 器 软
12
件
......................................................................................................................... 13
4.1 C
设 备 计
................................................................................................................................
算
13
能 力 实 具 有 片
4.2
上
................................................................................................................................................ 13
4.2.1 .........................................................................................................................
现 共
展 多
13
个
4.2.1.1 __device__........................................................................................................................ 13
4.2.1.2
扩 展 模
__global__
式
........................................................................................................................
切
14
换
4.2.1.3 __host__............................................................................................................................ 14
4.2.1.4 编
..................................................................................................................................
程
14
4.2.2 ......................................................................................................................... 14
语
4.2.2.1
言
__device__........................................................................................................................
语
14
言
4.2.2.2
函
__constant__
数
..................................................................................................................... 14
4.2.2.3 __shared__........................................................................................................................ 15
4.2.2.4
章
..................................................................................................................................
口
15
4.2.3 ..................................................................................................................................... 16
的 扩
4.2.4
类
.....................................................................................................................................
型
16
4.2.4.1 gridDim............................................................................................................................. 16
限
4.2.4.2
定
blockIdx
符
............................................................................................................................
变
16
4.2.4.3 blockDim .......................................................................................................................... 16
4.2.4.4 threadIdx ........................................................................................................................... 16
4.2.4.5 warpSize ........................................................................................................................... 17
4.2.4.6 17
制
4.2.5
量
17
4.2.5.1 __noinline__ ..................................................................................................................... 17
4.2.5.2 #pragma unroll.................................................................................................................. 17
限 行 配
4.3
置 内 执
18
4.3.1 18
量 变 置
使
4.3.1.1
限 通 进
char1、uchar1、char2、uchar2、char3、uchar3、char4、uchar4、short1、ushort1、short2、
内
简
程 模 编
应 用 程 序 编 程 接
目
录 ..........................................................................................................................................................
置 向 量 类
double2 ............................................................................................................................................ 18
4.3.1.2 dim3 18
4.3.2 18
4.3.3 18
4.3.4 19
4.3.4.1 19
类
4.3.4.2 19
数 纹 计 运 纹
制 ..................................................................................................................................
CUDA 编
iii
用 NVCC
.............................................................................................................. 译 编 行
.................................................................................................................................... 行 时 组 件 运 用
型 .............................................................................................................................
型 ........................................................................................................................
ushort2、short3、ushort3、short4、ushort4、int1、uint1、int2、uint2、int3、uint3、int4、uint4、
long1、ulong1、long2、ulong2、long3、ulong3、long4、ulong4、float1、float2、float3、float4、
..................................................................................................................................... 数 函 学
2.0 南 , 版 本 指 程
..................................................................................................................................... 数 理 类 函 时
型 .....................................................................................................................................
.................................................................................................................. 考 声 明 参 理
...................................................................................................... 纹 理 参 考 属 性 时 行

第 5
4.4
4.5
设
宿
5.1 指
4.3.4.3 20
.................................................................................................................................... 20
4.4.1 ..................................................................................................................................... 20
4.4.2 ..................................................................................................................................... 20
4.4.3 ..................................................................................................................................... 21
同 步 数
4.4.3.1 .................................................................................................. 21
备
4.4.3.2
运
CUDA
行
...............................................................................................
时
21
组
4.4.4
件
..................................................................................................................................... 21
4.4.5 Warp
器 数
vote
学
........................................................................................................................... 22
的 纹 理 原 子 函 数 纹 理
.................................................................................................................................... 22
4.5.1 .....................................................................................................................................
线
22
性
4.5.1.1
存
..................................................................................................................................
储
22
4.5.1.2 .............................................................................................................................. 23
来 自 数 组
设 备 函 数
4.5.1.3 OpenGL ........................................................................................................... 23
器 主
4.5.1.4
运
Direct3D
行
..........................................................................................................
时
23
4.5.1.5 .................................................................................................................. 23
4.5.2
组
API.................................................................................................................................
件
24
一 般 概 念
并 发 执 行 存 储
4.5.2.1 .............................................................................................................................. 24
时 4.5.2.2 .......................................................................................................................... 24
4.5.2.3 ...................................................................................................................... 25
4.5.2.4
互
..............................................................................................................................
操
26
作 性 异 步
管 理 运 行
4.5.2.5 .......................................................................................................................... 26
理 初
4.5.2.6
始
..................................................................................................................
化
27
4.5.2.7 OpenGL ...........................................................................................................
理 设
28
备
4.5.2.8 Direct3D .......................................................................................................... 28
管 理 存 储 器 流 管
4.5.2.9 ........................................................................................... 29
作 性 事
4.5.3
件
API.............................................................................................................................
管
30
4.5.3.1 .............................................................................................................................. 30
备 模 拟 模 式 进 行 调 试 纹
4.5.3.2
理
..........................................................................................................................
参
30
考 互 操
4.5.3.3 ...................................................................................................................... 30
使
4.5.3.4
用
..........................................................................................................................
设
31
4.5.3.5 .......................................................................................................................... 31
驱
4.5.3.6
动
......................................................................................................................
程
32
序 初 始 化
制 设 备
4.5.3.7 .............................................................................................................................. 33
器 管 理 上
4.5.3.8
下
..........................................................................................................................
文
33
4.5.3.9 .................................................................................................................. 34
模
4.5.3.10
块
OpenGL ......................................................................................................... 34
执 行 控
考 管 理 存 储
4.5.3.11 Direct3D ........................................................................................................ 35
流
.........................................................................................................................................
管
36
理
................................................................................................................................................ 36
5.1.1
性 事
............................................................................................................................. 36
件 管 理 5.1.1.1 .......................................................................................................................... 36
纹 理 参 互
5.1.1.2
操
......................................................................................................................
作
37
5.1.1.3 ...................................................................................................................... 37
令 南
5.1.1.4 38
制 流 令 性 能
指 令 指
5.1.2 38
令
5.1.2.1 38
5.1.2.2
数
44
5.1.2.3 44
学 吞
5.1.2.4 44
指
5.1.2.5 44
5.1.2.6
控
49
50
存 量 吐
同 器 储
本 全 存
寄 共 纹 常
性 能 指 章
5.2 每
CUDA 性 存 储 器 的 纹 理 与 来 自 线 自
.................................................... 纹 理 的 组
iv CUDA 编
.......................................................................................................................... 令 指 步
......................................................................................................................... 带 宽 器 储
...................................................................................................................... 储 器 存 地
...................................................................................................................... 储 器 存 局
2.0 南 , 版 本 指 程
...................................................................................................................... 储 器 存 量
...................................................................................................................... 器 享 存 储 理
器 ......................................................................................................................
.............................................................................................................................. 器 存
................................................................................................................................ 的 线 程 数 量 块 个

程 指 南 , 版
5.3
5.4
5.5
6.1
整 章 宿
6.2
6.3
纹
源 概
50
......................................................................................... 51
................................................................................................................................ 51
................................................................................................................................. 53
........................................................................................................................................................ 53
............................................................................................................................................ 54
器 读 取 的 对 比 体 性 能 优 化 策 略 例 述 理 拾 取
............................................................................................................................................
与
55
6.3.1 Mul()............................................................................................................................................
全
55
局
6.3.2
或
Muld()..........................................................................................................................................
常
55
.........................................................................................................................................
量 储 存
范 明 说 码 代 单 清 6
A 57
第
A.1 ............................................................................................................................................... 57
A.1.1 1.0 ................................................................................................................ 57
A.1.2 1.1 ................................................................................................................ 58
A.1.3 1.2 ................................................................................................................ 58
A.1.4 1.3 ................................................................................................................ 58
附 录 一
A.2
范
............................................................................................................................................... 58
B ................................................................................................................................. 60
技
力 的 规 范 B.1 .................................................................................................................................... 60
函 数 B.1.1 ......................................................................................................................... 60
B.1.2 计
.........................................................................................................................
算
62
B.1.3 ..................................................................................................................................... 63
能 浮
B.2
点
.................................................................................................................................... 63
附 录 标 准 通 用 B.2.1 ......................................................................................................................... 64
B.2.2
数 学 ......................................................................................................................... 65
B.2.3 ..................................................................................................................................... 65
C ......................................................................................................................................... 66
点 函 数 设 备 运
C.1 ................................................................................................................................................ 66
C.1.1
行 时 组 单
atomicAdd() ................................................................................................................................ 66
C.1.2 atomicSub()................................................................................................................................. 66
C.1.3 atomicExch()............................................................................................................................... 66
C.1.4 atomicMin() ................................................................................................................................ 66
件
C.1.5 atomicMax()................................................................................................................................ 67
C.1.6 atomicInc() .................................................................................................................................. 67
C.1.7 atomicDec()................................................................................................................................. 67
C.1.8 atomicCAS() ............................................................................................................................... 67
数 函 数 函 子 数 函 型 整 浮 度 精 双 学 数 原 录 附
阵 乘 法 示 矩
规 般 规 术
能 算
C.2 位
D.1 最 纹
D.2
D.3 表 线
67
C.2.1 atomicAnd() ................................................................................................................................ 67
C.2.2 atomicOr()................................................................................................................................... 68
C.2.3 atomicXor()................................................................................................................................. 68
69
69
70
70
.................................................................................................................... 设 备 间 的 数 据 传 输 和 主
............................................................................................................................................ 函 数 辑 逻
附
......................................................................................................................................... 取 拾 理
CUDA 编
v
录 D
........................................................................................................................................... 采 样 性 过 点 近
滤 ...............................................................................................................................................
................................................................................................................................................... 找 查
本 2.0

图 表 目 录
CPU
1-2. 图 和
GPU
2-1. .......................................... 程 块 网 格 图 中
线
存
异
的 更 多 晶 体 管 用 于 数 据 处 的
...... ......... ..... .............. .....................2 宽
...... .............. .......... .............. .............. .....................2 理
....... ..................... ...................................................6
器 层 次 结 储
CUDA
................................................................... 型 软
硬
库
2-2.
2-3.
2-4.
3-1. 4-1. 5-1.
5-2. 存 图
................................. .............. ...................................................................7 构
............. .............. .............. ....................................8
................ .............. .............. ..................... .............. .. ...................................9 栈
.............. ...........................................11
......................................................... 理
.............. ....... ......... ...........................31
................... 例
.............. .............. .............. .. ........ ..40
.... 例
............................................... 程 件 件 模 构 编
文 管 储 器 合 并 后 的 存 储 器 访 问 模 式 示 为 计 算 能 力 设 备 进 行 存 储 器 合 并 的 全 局 存 储 器 访 问 模 式 示 上 下
的 或 未
计
无
无
1.0
或 是
41
... .42 例
1.1
.............. .............. .............. ...............48
用 广 播 机 制 的 共 享 存 储 器 读 取 访 问 模 式 示 有
5-8. 使 图
矩
..... .............. ............ .. .. .........43 例
.............. .............. .............. .............. ......46
.............. .............. .............. .............. ......47
... .............. .............. .............. ...............49 例
........................................................... .............. .............. ....................................53 法
图 1-1.
GPU
每 秒 浮 点 运 算 次 数 和 存 储 器 带
图 5-3.
1.0 算 能 力 是 计 为
1.1
设 备 进 行 存 储 器 合 并 的 全 局 存 储 器 访 问 模 式 示
图 5-5.
... 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 例 储 存
图 5-4.
1.2 力 为 能 算
更 高 的 设 备 的 全 局 存 储 器 访 问 示
图 5-6.
... 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 例 储 存
图 5-7.
......... 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 例 储 存
图 6-1.
阵 乘
vi CUDA 编
2.0 南 , 版 本 指 程

核 (manycore) 众
程 指 南 , 版
图
所 已
(language
(runtime
第 1 章 简 介
1.1 CUDA: 可 伸 缩 并 行 编 程 模 型
CUDA 是
CUDA 的
和
GPU 的
种 并 行 编 程 模 型 和 软 件 环 境 , 用 于 应 对 这 种 挑 战 。 而 对 于 熟 绝 一
语
图
定 律 , 其 并 行 性 还 会 不 断 扩 展 。 这 给 我 们 带 来 了 严 峻 的 挑 战 —— 我 们 需 要 开 发 出 可 透 明 地 扩 展 并 行 语 言 等 标 准 编 程 语 言 的 尔
(barrier synchronization),
CPU 核 多
出 现 意 味 着 主 流 处 理 器 芯 片 已 进 入 并 行 时 代 。 此 外 , 根 据 摩
物 理 处 理 器 数 量 。
时 通 过 在 任 何 可 用 处 理 器 内 核 上 处 理 各 子 问 题 来 支 持 透 明 的 可 伸 缩 性 : 因 而 , 编 译
3D 应 用 软 件 , 以 利 用 日 益 增 加 处 理 器 内 核 数 量 , 这 种 情 况 正 如 行 性 以 支 持 配 备 各 种 数 量 的 内 核 的 众 的 性
核 GPU。
形 应 用 程 序 透 明 地 扩 展 其 并
C
核 心 有 三 个 重 要 抽 象 概 念 : 组 层 次 结 构 、 共 享 存 储 器 、 栅 障 同 步 悉
些 抽 象 提 供 了 细 粒 度 的 数 据 并 行 和 线 程 并 行 , 嵌 套 于 粗 粒 度 的 数 据 并 行 和 任 务 并 行 之 中 。 它 们 将 指 导 程 序 员 将 问 题 为 可 独 立 处 理 的 粗 粒 度 子 问 题 , 再 细 分 成 细 粒 度 的 片 段 , 以 便 通 过 协 作 的 方 法 并 行 解 决 。 这 样 的 分 解 以 允 许 线 程 在 解 决 子 问 题 时 协 作 为 目 的 设 计 了 编 程 语 言 的 表 达 方 式
expressivity), 同 这
system) 需 程
1.2 GPU: 高 度 并 行 化 的 多 线 程 、 众 核 处 理 器
CUDA 员 来 说 , 迅 速 掌 握 序 程
难 事 。 非
C 程 序 员 来 说 , 它 们 只 是 于 对
的 一 个 极 小 扩 展 。 言
形 永 无 尽 头 的 需 求 , 可 编
发 展 成 为 一 种 高 度 并 行 化 的
CUDA 的 后
序 可 以 在 任 何 数 量 的 处 理 器 内 核 上 执 行 , 只 有 运 行 时 系 统
要 了 解
多 线 程 、 众 核 处 理 器 , 具 有 杰 出 的 计 算 能 力 和 极 高 的 存 储 器 带 宽 , 如
。 示
CUDA 编
1
3D 足 消 费 者 对 实 时 、 高 清 晰 度 的 满 为
程 GPU
图 1-1
本 2.0

和
和
之
,GPU 专
(flow 如 control),
的
专 为 计 算 密 集 型 、 高 度 并 行 化 的 的 设 计 将 更 多 晶 体 管 用 于 数 据 处 理 , 而 非 数 据 缓 存 所 示 。 宽
CPU
CPU
宽 的 每 秒 浮 点 运 算 次 数 和 存 储 器 带 图 1-1.
GPU
图 1-2
GPU 中
GPU
GPU 点 能 力 之 所 以 存 在 这 样 的 差 异 , 原 因 就 在 于 浮 间
,GPU 而 设 计 , 上 图 显 示 的 正 是 这 种 情 况 , 因 而
(caching) 和 流 控 制 算 计
具 体 地 说 有 极 高 的 计 算 密 度 ( 数 学 运 算 与 存 储 器 操 作 的 比 率 )。 由 于 所 有 数 据 元 素 都 执 行 相 同 的 程 序 , 因 此 对 精 密 更
2 CUDA 解 决 可 表 示 为 数 据 并 计 算 的 问 题 —— 在 许 多 数 据 元 素 上 并 行 执 行 的 程 序 , 具 流 控 制 的 要 求 高 ; 由 于 在 许 多 数 据 元 素 上 运 行 , 且 具 有 较 高 的 计 算 密 度 , 因 而 可 通 过 计 算 来 隐 藏 存 储 器 访 问 延 迟 , 而 不 必 使 用 较 大 的 数 据 缓 存 。 编
图 1-2.
中 的 更 多 晶 体 管 用 于 数 据 处 理
2.0 南 , 版 本 指 程

渲
程 指 南 , 版
的
第
列 的
(texture 的 fetching)
介 。 运 行 时 简
。
。。
编
。
应 架
CUDA 编
GPU 基
1.3 文 档 结 构
3D 来 加 速 计 算 。 在 染 中 , 大 量 的 像 素 顶 点 集 将 映 射 到 并 行 线 程 。 类 似 地 , 图 像 和 媒 体 处 理 应 用 程 序 ( 如 渲 染 图 像 的 后 期 处 理 、 视 频 编 码 和 解 码 、 图 像 缩 放 、 立 体 视 觉 和 模 式 识 别 等 ) 可 将 图 像 块 和 像 素 映 射 到 并 行 处 理 线 程 。 实 际 上 , 在 图 像 渲 染 和 处 理 领 域 之 外 的 许 多 算 法 也 都 是 通 过 数 据 并 行 处 理 加 速 的 —— 从 普 通 信 号 处 理 或 物 理 仿 真 一 直 到 计 算 金 融 或 计 算 生 物 学 。 模 型
型 , 可 显 著 加 用 程 序 。 模 程
数 据 并 行 处 理 会 将 数 据 元 素 映 射 到 并 行 处 理 线 程 。 许 多 处 理 大 型 数 据 集 的 应 用 程 序 都 可 使 用 数 据 并 行 编 程
附 第 章 列 给 提
文 档 分 为 以 下 几 个 章 节 : 和 的 编 程 模 型 实 现 。 本
API
提 供 如 何 实 现 最 高 性 能 的 一 些 指 南 和
过 一 些 简 单 示 例 代 码 概 况 之 前 各 章 的 内 容 供 各 种 设 备 的 技 术 规 范 支 持 的 数 学 函 数 中 通
更 多 纹 理 拾 取 出
GPU 型 非 常 适 合 利 用 模 程
NVIDIA 能 力 。 最 新 一 代 的 行 并
于 Tesla
A 在 附 录 ( 构
CUDA 以 查 看 所 有 支 持 可 中
GPU
CUDA 支 持 ), 表
速 CUDA
1
是 CUDA
GPU
2
CUDA 述 概
3
GPU 绍 介
4
CUDA 绍 介
持 的 原 子 函 数 。 支
细 节
5
录 D
6
录 C
录 A
录 B
举 CUDA
举 CUDA
CUDA 编
3
本 2.0

中
个
线
线 声
的
设
的
和
相
次 语
语 (declaration 使 specifier),
个
block)。 这
是
是
的
中 变
和
z)
相
语 。
此 ID。
x,D y ) 的
第 2 章 编 程 模 型
CUDA 允
言 的 一 种 扩 展 , 在 调 用 此 类 函
言 函 数 只 执 行 一 次 的 方 式 不 同
的
// Kernel definition
__global__ void vecAdd(float* A, float* B, float* C)
{
}
符 定 限 明
(kernel)
许 程 序 员 定 义 被 称 为 内 核
C
int main()
{
}
// Kernel invocation
vecAdd(A, B, C);
C 数 , 这 是 对 函 言
N , 它 将 由 时 数
CUDA 的 同 不
N 行 执 行 并 程
C 与 普 通 的 这 ,
__global__ 义 内 核 时 , 需 要 使 用 定 在
:
种 全 新 的 一 用
__global__ void vecAdd(float* A, float* B, float* C)
{
int i = threadIdx.x;
C[i] = A[i] + B[i];
}
可
CUDA 定 每 次 调 用 的 指 法
数 : 程
int main()
{
// Kernel invocation
vecAdd(A, B, C);
}
) 每 个 线 程 都 会 执 行 一 次 两 两 相 加 运 算 的
行 内 核 的 每 个 线 程 都 会 被 分 配 一 个 独 特 的 线 程 ID, 执
threadIdx 内 置 的 过 通
量 在 内 核 中 访 问
2.1 线 程 层 次 结 构
执
线 程 层 次 结 构
N 示 例 代 码 将 大 小 为 下 以
A 量 向
B 量 向
C 并 将 结 果 存 储 在 向 量 , 加
行 vecAdd(
__global__ void matAdd(float A[N][N], float B[N][N],
float C[N][N])
{
int i = threadIdx.x;
int j = threadIdx.y;
C[i][j] = A[i][j] + B[i][j];
}
int main()
{
// Kernel invocation
dim3 dimBlock(N, N);
matAdd(A, B, C);
}
:
(thread
C
构 成 一 维 、 二 维 或 三 维 线 程 块 储 在 矩 阵 , 程 线
有
。
供 了 一 种 自 然 的 方 法 , 可 为 一 个 域 中 的 各 元 素 提
threadIdx 便 起 见 , 我 们 将 方 为
3 一 个 包 含 为 置
分 量 的 向 量 , 因 而 可 使 用 一 维 、 二 维 或 三 维 索 引 标 识
y, z)
+ yD
+ yD x + zD x D y)。 x);
x,D y,
4 CUDA 编
NxN 计 算 , 如 向 量 、 矩 阵 或 字 段 。 下 面 的 示 例 代 码 将 大 小 为 用 调
A 阵 矩
B 阵 矩
加 , 并 将 结 果 存
(x,y) 块 来 说 , 索 引 为 维 二
ID 的 程 线
(x
(D 大 小 为 于 对
D
的 三 维 块 来 说 , 索
2.0 南 , 版 本 指 程
ID 的 索 引 与 其 线 程 程 线
(D 接 的 对 应 关 系 : 对 于 一 维 块 来 说 , 两 者 是 相 同 的 ; 对 于 大 小 为 直 着
(x, 为 引
ID 程 的 线 的
(x

程 指 南 , 版
变
(shared
(intrinsic 内 function) 在 来 memory)
(grid),
所
缓
变 语
将 每 个 线 程 处 理 一 个 矩 阵 元 素 , 这 与 之 前 完 全 相 同 。 线 程 块 需 要 独 立 执 行 : 必 须 能 够 以 任 意 顺 序 执 行 —— 能 够 并 行 或 串 行 执 行 。 这 种 独 立 性 需 求 允 许 为 任 意 数 量 的 处 理 器 内 核 安 排 线 程 块 , 从 而 使 程 序 员 能 够 编 写 出 可 伸 缩 的 代 码 。
个 网 格 内 的 线 程 块 通 常 是 由 所 处 理 的 数 据 大 小 限 定 的 , 而 不 是 由 系 统 中 的 处 理 器 数 量 决 定 的 , 前 者 可 以 远 远 超 过 后 者 的 数 量 。 一
建 函 数
共 享 数 据 , 并 同 步 其 执 行 来 协 调 存
屏 障 的 作 用 , 块 中 的 所 有 线 程 都 必 须 在 这 里 等 待 处 理 。 到
__syncthreads() 起
__syncthreads() 被
个
Tesla 架
个 块 内 的 线 程 可 彼 此 协 作 , 一 些 共 享 存 储 器 储 器 访 问 。 更 具 体 地 说 , 可 以 通 过 调 一
用 __syncthreads()
像 L1
内 核 中 指 定 同 步 点 ;
__global__ void matAdd(float A[N][N], float B[N][N],
float C[N][N])
{
int i = blockIdx.x * blockDim.x + threadIdx.x;
int j = blockIdx.y * blockDim.y + threadIdx.y;
if (i < N && j < N)
C[i][j] = A[i][j] + B[i][j];
}
int main()
{
// Kernel invocation
dim3 dimBlock(16, 16);
dim3 dimGrid((N + dimBlock.x – 1) / dimBlock.x,
(N + dimBlock.y – 1) / dimBlock.y);
matAdd(A, B, C);
}
NVIDIA 内 核 的 有 限 存 储 器 资 源 限 制 了 每 个 块 的 线 程 数 量 。 在 构 中 , 一 个 线 程 块 最 多 可 以 包 但 一 个 内 核 函 数 能 由 多 个 大 小 相 同 的 线 程 块 执 行 , 因 而 线 程 总 数 应 等 于 每 个 块 的 线 程 数 乘 以 块 的 数 量 。 如 理
blockDim
器
问 此 索 引 。 可 以 通 过 内 置 的 量 在 内 核 中 访 问 线 程 块 的 维 度 。 此 时 , 之 前 的 示 例 代 码 可 修 改 为 : 访 中
的
个
实 现 有 效 的 协 作 , 共 享 存 储 器 被 设 计 为 靠 近 各 处 理 器 内 核 的 低 延 迟 存 储 , 这 很 存 , 设 计 为 轻 量 级 的 , 一 个 块 中 的 所 有 线 程 都 必 须 位 于 同 一 个 处 理 器 内 核 中 。 因 而 , 一 个 处 为
含 512
程 。 线
这 些 块 被 组 织 为 一 个 一 维 或 二 维 线 程 块 网 格
图 2-1
该 网 格 的 维 度 由 。 示
法 的
blockIdx 个 参 数 指 定 。 网 格 内 的 每 个 块 多 可 由 一 个 一 维 或 二 维 索 引 标 识 , 可 通 过 内 置 的 一 第
量 在 内 核
16x16 随 机 选 择 了 大 小 为 们 我
256 块 ( 即 包 含 程 线
线 程 ), 此 外 创 建 了 一 个 网 格 , 它 具 有 足 够 的 块 ,
CUDA 编
5
本 2.0

线 程 块 网 格
(local (shared
(constant
(texture
该 memory)。 每 memory),
纹 对 于 同 一 个 应 用 程 序 启 动 的 内 核 而 言 , 全 局 、 常 量 和 纹 理 存 储 器 空 间 都 是 持 久 的 。 和 空 memory)
所
memory) 空
2.2 存 储 器 层 次 结 构
CUDA
存 储 器 线
图 2-1.
可 在 执 行 过 程 中 访 问 多 个 存 储 器 空 间 的 数 据 , 如 个 线 程 块 都 有 一 个 共 享 存 储 器 程
示 。 每 个 线 程 都 有 一 个 私 有 的 本 地
存 储 器 对 于 块 内 的 所 有 线
间
和 纹 理 存 储 器
间 。 全 局 、 常 量 和 纹 理 存 储 器 空 间 经 过 优 化 , 适 于 不 同 的 存 储 器 用 途 ( 参
图 2-2
(global 是 可 见 的 , 并 且 与 块 具 有 相 同 的 生 命 周 期 。 最 终 , 所 有 线 程 都 可 访 问 同 一 个 全 局 存 储 器
memory)。
此 外 还 有 两 个 只 读 的 存 储 器 空 间 , 可 由 所 有 线 程 访 问 , 这 两 个 空 间 是 常 量 存 储 器 都 程
( 参 见 第 4.3.4)。 滤
见 第 5.1.2.1、5.1.2.3
5.1.2.4)。
理 存 储 器 也 为 某 些 特 殊 的 数 据 格 式 提 供 了 不 同 的 寻 址 模 式 以 及 数 据 过
6 CUDA 编
2.0 南 , 版 本 指 程

所
,CUDA
(host)
假
memory)。 因 的
之 间 的 数 据 传 输 。 器
(device
,CUDA 还
线
章
存
运 分
上
构
上 语
(device)
(host
(CUDA runtime) 来 和 memory)
2.3 宿 主 和 设 备
图 2-2.
构 存 储 器 层 次 结 备 存 储 管 理 对 内 核 可 见 的 全 设
外 器 局 、 常 量 和 纹 理 存 储 器 空 间 ( 详 见 此
称 为 宿 主 存 储 器 行 时 )。 这 包 括 设 备 存 储 器 分 配 和 取 消 分 配 , 还 包 括 宿 主 和 设 备 存 储 别
2-3 图 如
设 CUDA
程 可 在 物 理 上 独 立 的 设 备
语 言 程 序 的 宿 主 示
而 , 一 个 程 序 通 过 调
C , 此 类 设 备 作 为 运 行 行 执
执 行 , 就 是 一 例 。 上
协 处 理 器 存 在 。 比 如 , 内 核
在 GPU
C , 而 行 执
CPU 序 的 其 他 部 分 在 程 言
CUDA 编
7
第 4
用 CUDA
设 宿 主 和 设 备 均 维 护 自 己 的 DRAM, 假
2.0 南 , 版 本 指 程

及 (API)
(software 包 stack)
2-3. 异 图
所
和
(device 应 这
driver)、
2.4 软 件 栈
行 代 码 在 宿 主 上 执 行 , 而 并 行 代 码 在 设 备 上 执 行 。 串
CUDA 软
程
: 设 备 驱 动 程 序 示
件 栈
含 多 个 层 , 如
程 序 编 两 个 数 学 库 会 在 其 用
程 异 构 编 8 CUDA 编
CUBLAS,
图 2-4
文 档 中 介 绍 。 他
程 接 口
CUFFT 行 时 、 两 个 较 高 级 别 的 通 用 数 学 库 , 即 运 其
2.0 南 , 版 本 指 程

提
(compute 由 capability)
。
程 指 南 , 版
软 件 栈
中
。
。
的
设 备 ( 其
CUDA 软
2.5 计 算 能 力
一 个 设 备 的 计 算 能 力
图 2-4.
主 要 修 订 号 和 次 要 修 订 号 定 义
为 1)。 次 要 修 订 号 对 应 于 核 心 架 构 的 增 量 式 改 进 , 可 能 包 含 新 特 性 主
A 录 附
供 了 各 种 计 算 能 力 的 技 术 规 范
A 相 同 主 要 修 订 号 的 设 备 属 于 相 同 的 核 心 架 构 。 附 录 有 具
1.x 的 设 备 均 为 计 算 能 力 是 举 列
CUDA 编
9
本 2.0

于
年
编 的
个
月
function unit)、 一
块
块
块
节
。Warp
向 块
,SIMT
统
,Tesla 架
架
(Scalar SP) Processor, 核
向
与
块
块
块
(on-chip)
单
允 宽
,SIMT
线
在
块
个
使
语
(transcendental)
不
(SIMD 而 行
width),
栅
单
,warp
指
块
(cache
第 3 章 GPU 实 现
NVIDIA
GPU 和
Tesla 架
的 与
计
在 语
GPU(
GTX 280
于 图 形 领 中 再 限 局
核
2006
11
Tesla 的 入 引
图 形 和 计 算 架 构 扩 展 了 GPU, 一
GPU
3.1 具 有 片 上 共 享 存 储 器 的 一 组 SIMT 多 处 理 器
, 其 强 大 的 多 线 程 处 理 器 阵 列 已 经 成 为 高 效 的 统 一 平 台 —— 同 时 适 用 于 图 形 和 通 用 并 行 计 算 应 用 程 序 。 域
件 , 使 这 种 架 构 成 为 最 优 秀 的 超 级 计 算 平 台 。 软
通 过 扩 展 处 理 器 和 存 储 器 的 数 量
GeForce 盖 了 市 场 上 全 线 产 品 , 从 高 性 能 发 烧 级 覆 构
Quadr 业 专
Tesla
GeForce 品 , 一 直 到 多 种 主 流 经 济 型 产 算
A 录 附
可 查 看 所 有
CUDA 持 支
GPU
CUDA )。 其 计 算 特 性 支 持 利 用 表 列
C
GPU 直 观 地 编 写 中 言
心 程 序 。
Tesla
上 架
程
(Streaming SM) Multiprocessors, 阵
C 有 在 笔 记 本 电 脑 、 台 式 机 、 工 作 站 和 服 务 器 上 的 广 泛 可 用 性 , 配 以 具 构
CUDA 程 能 力 和 编 言
的 构 建 以 一 个 可 伸 缩 的 多 线 程 流 式 多 处 理 器 列 为 中 心 。 当 宿 序 调 用 内 核 网 格 时 , 网 格 的 块 将 被 枚 举 并 分 发 到 具 有 可 用 执 行 能 力 的 多 处 理 器 上 。 构
8
(special
器 包 含 功 能 单 元 理 处 多
标 量 处 理 器
、 两 个 用 于 超 越 函 数 特 殊 个 多 线 程 指 令 单 元 以 及 片 上 享 存 储 器 。 多 处 理 器 会 在 硬 心
个 线 程 块 的 线 程 在 一 个 多 处 理 器 上 并 发 执 行 。 在 线 程 块 终 止 时 , 将 在 空 闲 多 处 理 器 上 启 动 新 块 。 的 一
CUDA 章 介 绍 一 这
Tesla 型 与 模 程
的 对 应 关 系 。 构
共
multiple-thread, 单
warp 块
步 。 快 速 的 栅 障 同 步 与 轻 量 级 线 程 创 建 和 零 开 销 的 线 程 调 度 相 结 合 , 有 效 地 为 细 粒 度 并 行 化 提 供 了 支 持 , 举 例 来 说 , 您 可 以 为 各 数 据 元 素 ( 如 图 像 中 的 一 个 像 素 、 语 音 中 的 一 个 语 音 元 素 、 基 于 网 格 的 计 算 中 的 一 同
主 CPU
的 CUDA
个 单 元 ) 分 配 一 个 线 程 , 从 而 对 问 题 进 行 细 粒 度 分 解 。
令 、 多 线 程 ) 的 新 架 构 。 多 处 理 器 会 将 各 线 程 映 射 到 一 个 标 量 处 理 器 核 心 , 各 标 量 线 半 指
可 随 意 分 支 、 独 立 执 行 。 都 包 含 连 续 的 线 程 , 递 增 线 也
包 含 线 程 0。 中
中 的 线 程 索 引 之 间 的 关 系 。 块
次 准 备 发 出 一 条 指 令 时 的 活 动 线 程 每
并 将 待 发 出 的 指 令 发 送 到 该 的 全 线 程 均 有 明 确 的 执 行 ,
中 创 建 、 管 理 和 执 行 并 发 线 程 , 而 调 度 开 销 保 持 为 0。 它 可 通 过 一 条 内 部 指 令 实 件
现 __syncthreads()
障
warp 块
块 单
块
块 块
个
块
SIMT(single-instruction, 管 理 运 行 各 种 不 同 程 序 的 数 百 个 线 程 , 多 处 理 器 利 用 了 一 种 称 为 了 为
路 径 时 , 可 达 到 最 高 效 率 。 如 果 一
的 线 程 通 过 独 立 于 数 据 的 条 件 分 支 而 分 散
将 连 续
第
warp 调 度 和 执 行 线 程 , 这 样 的 线 程 组 称 为 、 理
此 术 语 源 于 第 一 种 并 行 线 程 技 术 weaving。 。(
warp
程 使 用 自 己 的 指 令 地 址 和 寄 存 器 状 态 独 立 执 行 。 多 处 理 器 SIMT
32 以 元
并 行 线 程 为 一 组 来 创 建 、 管
warp 是 一 个 以 可
SIMT 一 半 或 第 二 半 。) 构 成 第 的
的 各 个 线 程 在 同 一 个 程 序 地 址 一 起 启 动 , 但
执 行 所 使 用 的 各 分 支 路 径 , 而 禁 用 未 在 此 路 径 上 的 线 程 , 完 成 所 有 路 径 时 , 线 程 重 新 汇 聚 到 同 一 执 行 路 径
warp 个 多 处 理 器 指 定 了 一 个 或 多 个 要 执 行 的 线 程 块 时 , 它 会 将 其 分 成 一 为
SIMT 由 并 ,
元 进 行 调 度 。
10 CUDA 编
warp 分 割 为 块 将
warp 法 总 是 相 同 的 , 每 个 方 的
程 ID,
warp 个 一
SIMT 架
第 2.1
ID 了 线 程 绍 介
warp 会 选 择 一 个 可 待 使 用 的 都 元
warp 执 行 一 条 通 用 指 令 , 因 此 在 次 每
部 32
线
个 warp
彼 此 无 关 的 代 码 路 径 。 单 是
warp 分 支 仅 在 。 下
warp 现 , 不 同 的 出 内
总 是 独 立 执 行 的 —— 无 论 它 们 执 行 的 是 通 用 的 代 码 路 径 还
类 似 于 SIMD( 构
指 令 、 多 数 据 ) 向 量 组 织 方 法 , 共 同 之 处 是 使 用 单 指 令 来 控 制 多 个 处 理 元 素 。
warp 个 一 少
cache 线 程 分 支 , 即 可 实 现 显 著 的 性 能 提 升 。 在 实 践 中 , 这 与 传 统 代 码 中 的 的 内
2.0 南 , 版 本 指 程
SIMD 主 要 差 别 在 于 项 一
SIMD 织 方 法 会 向 软 件 公 开 组 量
度
SIMT
令 指 定 单
SIMT , 还 允 许 为 协 同 线 程 编 写 数 据 并 行 代 码 。 为 了 确 保 正 确 性 , 程 序 员 可 忽 略 码 代
为 , 但 通 过 尽 量 减
作 计 , 在 代 码 结 构 中 就 必 须 考 虑 其 大 小 。 另 一 方 面 , 向 量 架 构 要 求 软 件 操 作 存 储 器 合 并 , 并 手 动 管 理 分 支 。
line)
SIMD 程 的 执 行 和 分 支 行 为 。 与 线 一
量 机 不 同
许 程 序 员 为 独 立 、 标 量 线 程 编 写 线 程 级 的 并 行
cache 似 : 在 以 正 确 性 为 目 标 进 行 设 计 时 , 可 忽 略 相 用
的 大 小 , 但 如 果 以 峰 值 性 能 为 目 标 进 行 设

所
块
位
(constant
(texture
(texture
cache), 由
cache), 由
写 访 unit)
程 指 南 , 版
块
一 项 读 取 、 修 改 或 写 入 操 作 都 将 发 生 , 且 均 为 串 行 化 操 作 , 但 这 些 操 作 所 发 生 的 顺 序 无 法 确 定 。 块
多
硬
节
个
并 每
行 数 据 缓 存 或 共 享 存 储 器 , 由 所 有 标 量 处 理 器 核 心 共 享 , 共 享 存 储 器 空 间 就 位 于 此 处
3-1 图 如
个 只 读 纹 理 缓 所 有 标 量 处 理 器 核 心 共 享 , 加 速 从 纹 理 存 储 器 空 间 进 行 的 读 取 操 作 ( 这 是 设 备 存 储 器 的 一 个 只 读 区 域 ), 每 个 多 处 理 器 都 会 通 过 实 现 不 同 寻 址 模 型 和 数 据 过 滤 的 纹 一
作 ( 这 是 设 备 存 储 器 的 一 个 只 读 区 域 );
32 理 器 上 有 一 组 本 地 处 个
存 器 ; 寄
, 每 个 多 处 理 器 都 有 一 个 属 于 以 下 四 种 类 型 之 一 的 片 上 存 储 器 : ; 只 读 常 量 缓 存 所 有 标 量 处 理 器 核 心 共 享 , 可 加 速 从 常 量 存 储 器 空 间 进 行 的 读 取 操 示
个 多 处 理 器 一 次 可 处 理 的 块 数 量 取 决 于 给 定 的 内 核 中 , 每 个 线 程 需 要 多 少 个 寄 存 器 、 每 个 块 需 要 多 少 共 享 存 储 器 , 这 是 因 为 多 处 理 器 的 寄 存 器 和 共 享 存 储 器 被 分 配 给 一 批 块 的 所 有 线 程 。 如 果 没 有 足 够 的 寄 存 器 线 程 块 。 一
理 单 元
4.3.4 理 缓 存 , 相 关 内 容 请 参 见 第 纹 问
。
8 享 存 储 器 可 供 多 处 理 器 用 于 处 理 至 少 一 个 块 , 内 核 会 无 法 启 动 。 一 个 多 处 理 器 可 并 发 执 行 最 多 共 或
/ 和 全 局 存 储 器 空 间 是 设 备 存 储 器 的 读 区 域 , 无 缓 存 。 地 本
warp 行 原 子 指 令 来 为 执 块
的 多 个 线 程 读 取 、 修 改 和 写 入 全 局 存 储 器 中 的 同 一 位 置 , 则 针 对 该 位 置 的 每
warp 果 如
warp 的 非 原 子 指 令 为 行 执
的 多 个 线 程 写 入 全 局 或 共 享 存 储 器 中 的 同 一 位 置 , 针 对 此 位 置
warp 行 化 写 入 操 作 的 数 量 和 这 些 写 入 操 作 所 发 生 的 顺 序 将 无 法 确 定 , 但 其 中 一 项 操 作 必 将 成 功 。 如 果 串 的
具 有 片 上 共 享 存 储 器 的 一
理 器 处
CUDA 编
11
硬 件 模 型
本 2.0
组 SIMT
图 3-1.

模
系
位
键
而 导 致 此 类 应 用 程 序 崩 溃 。 从
模
能
应
作
可 视 设
设
(primary 它 控 的
surface),
键
上 应 MB。(
应
必
的
都
3.2 多 个 设 备
备 , 因 为 所
须 具 有 相
3.3 模 式 切 换
SLI 类 型 。 但 如 果 系 统 采 用 的 是 内 关 式 。 的 同
, 则 仅 有 一 够 将 式
GPU 在 多 要 若
GPU 运 行 , 且 应 用 程 序 将 多 个 上 统
GPU 将
存
储 器 专 门 用 于 处 理 所 谓 的 主 表 面
为 CUDA
GPU 用 , 则 这 些 使 备
用 于 刷 新 用 户 所 见 的 显 示 设
个 GPU
CUDA 作 用
MB 的
控 制 面 板 将
示 控 制 面 板 ) 发 显
有 GPU
CUDA 动 程 序 栈 的 最 低 级 别 融 合 。 要 使 驱 在
各 GPU
CUDA 立 设 备 , 需 要 在 独 为
闭 SLI
DRAM 分 部
NVIDIA 当 用 户 通 过 更 改 显 示 器 的 分 辨 率 或 位 深 度 ( 使 用 。 备
Windows 板 或 面 制
1280x1024x32 式 切 换 时 , 主 表 面 所 需 的 存 储 器 数 量 会 随 之 改 变 。 例 如 , 如 果 用 户 将 显 示 器 的 分 辨 率 从 模 起
1600x1200x32 改 为 更 位
7.68 统 必 须 为 主 表 面 分 配 系 ,
5.24 器 , 而 不 是 储 存
使 用 防 锯 齿
Windows 运 行 的 全 屏 图 形 应 用 程 序 可 能 需 要 为 主 表 面 分 配 更 多 显 示 存 储 器 。) 在 置 设
, 其 他 事 件 也 可 能
CUDA 模 式 切 换 增 加 了 主 表 面 所 需 的 存 储 器 数 量 , 系 统 可 能 就 必 须 挪 用 分 配 给 果 如
用 程 序 的 存 储 器 ,
会 启 动 显 示 模 式 切 换 , 包 括 启 动 全 屏 DirectX
Alt+Tab 序 、 按 程 用
DirectX 屏 全 从
用 程 序 中 切 换
Ctrl+Alt+Del 或 者 按 来 出
定 计 算 机 。 锁
12 CUDA 编
2.0 南 , 版 本 指 程

编
的
,C 标
限
(host)
(function
(variable qualifier), type
编 指
。
进
,4.2.5 节
节
,nvcc 发 出 错 误 或 警 报 将
第 4 章 应 用 程 序 编 程 接 口
4.1 C 编 程 语 言 的 扩 展
CUDA 编
编
序 。 它 包 含 : 节 程
运 行 时 库 , 可 分 割 为 : 个
C
一 语
节
一
组
节 标
C 口 的 目 标 是 为 熟 悉 接 程
程 语 言 的 用 户 提 供 相 对 简 单 的 途 径 , 使 之 可 轻 松 编 写 由 设 备 执 行 的
4.2 最 小 扩 展 集 , 如 的 言
述 , 这 允 许 程 序 员 使 源 代 码 的 某 些 部 分 可 在 设 备 上 执 行 ; 所
有 必 要 强 调
库 中 支 持 在 设 备 上 运 行 的 函 数 只 有 通 用 运 行 时 组 件 所 提 供 的 函 数 。 准
4.2 语 言 扩 展
。 集 子 此 持 支 将
语 言 扩 展
个 计 算 设 备 ; 多
一 个 宿 主
4.5 如 , 件
所 述 , 运 行 在 宿 主 上 , 提 供 函 数 来 通 过 宿 主 控 制 和 访 问 一 个 或
4.4 备 组 件 , 如 设 个
述 , 运 行 在 设 备 上 , 提 供 特 定 于 设 备 的 函 数 ; 所
qualifier), type
节 指
4.3 通 用 组 件 , 如 个 一
C , 提 供 内 置 向 量 类 型 和 述 所
准 库 的 一 个 子 集 , 宿 主 和 设 备 代 码 都
4.2.1
类 型 限 定 符 宿 主 还 是 可 通 过 设 备 调 用 ( 参 见 第 数 函
函 数 是 在 宿 主 上 还 是 设 备 上 执 行 , 以 及 函 数 是 可 通 过 ); 定
语 言 的 扩 展 共 有 四 重 : 程
四 一 变
节 节
条 新 指 令 , 指 定 如 何 通 过 宿 主 在 设 备 上 执 行 内 核 ( 参 见
对 C
);
)。
);
量 类 型 限 定 符
4.2.2 个 变 量 在 设 备 上 的 存 储 器 位 置 ( 参 见 第 一 定
简 单 介 绍 了 相 关 内 容 。 关
4.2.3
编 介 将 其 文 中 供 第
4.2.1 函 数 类 型 限 定 符
一 些 限 制 , 下 面 几 个 小 节 将 分 别 加 以 介 绍 。 如 果 违 背 了 这 些 限 制 信 息 , 但 有 些 违 规 情 况 无 法 检 测 到 。 有 具 均 展 扩 些 。 提 档 他 在 绍 体 译 行 这
函 数 类 型 限 定 符
4.2.4 置 变 量 , 指 定 网 格 和 块 维 度 以 及 块 和 线 程 索 引 ( 参 见 第 内 个
CUDA 这 些 扩 展 的 所 有 源 文 件 都 必 须 使 用 含 包
nvcc 器 译
4.2.1.1 __device__
于 nvcc
仅 在
CUDA
设 备 上 执 行 ; 可 通 过 设 备 调 用
编
定 符 声 明 的 函 数 具 有 以 下 特 征 :
13
__device__ 用 使
2.0 南 , 版 本 指 程

限
限
限
限
和
限
(void)。
:
限 定 符 声 明 函 数 , 。 或
variable)。
(static
字
。
限
。
4.2.1.2 __global__
仅 在
定 符 可 将 函 数 声 明 为 内 核 。 此 类 函 数
4.2.1.3 __host__
。
仅 在
备 上 执 行 ; 可 通 过 宿 主 调 用 设
主 上 执 行 ; 宿
__global__ 用 使
通 过 宿 主 调 用 。 定 符 声 明 函 数 等 同 于 不 使 可
4.2.1.4 限 制
__host__ 用 使
符 声 明 的 函 数 具 有 以 下 特 征 : 定
使
__device__
仅
和 __device__
__device__
__device__
__global__
__global__ 函 和 函 限
。 函
节
用 __host__
用 __host__、__device__
__global__
这 两 种 情 况 下 , 函 数 都 将 仅 为 宿 主 进 行 编 译 。
但 __host__
定 符 一 起 使 用 , 此 时 函 数 将 为 宿 主 和 设 备 进 行 编 译
__device__ 也 可 与 符 定
不 支 持 递 归 。
函 体 内 无 法 声 明 静 态 变 量 数 的 参 数 不 得 为 变 量 。
__global__
__global__ 函 函
__global__ 函
__global__
__global__
符 无 法 一 起 使 用
4.2.2 变 量 类 型 限 定 符
变 量 类 型 限 定 符
__global__ 地 址 无 法 获 取 , 但 支 持 的 数
__host__
的 函 数 指 针 。 介 绍 的 方 法 指 定 其 执 行 配 置 数
4.2.2.1 __device__
数 的 返 回 类 型 必 须 为 空
的 调 用 是 异 步 的 , 也 就 是 说 它 会 在 设 备 执 行 完 成 之 前 返 回
__device__
数
限
可 与 位
符 声 明 位 于 设 备 上 的 变 量 。 体 地 指 定 变 量 属 于 哪 个 存 储 器 空 间 。 如 果 未 出 现 其 他 任 何 限 定 符 , 则 变 量 具 有 以 下 特 征 : 定
全 局 存 储 器 空 间 中 ; 应 用 程 序 具 有 相 同 的 生 命 周 期 ; 于
对 __global__
4.2.3 任 何 调 用 都 必 须 按 第 的 数
定 符 一 起 使 用 , 以 更 具
256 数 将 同 时 通 过 共 享 存 储 器 传 递 给 设 备 , 且 限 制 为 参 数
。 节
4.2.2.2 __constant__
__constant__ 限
限
与 位
过 网 格 内 的 所 有 线 程 访 问 , 也 可 通 过 运 行 时 库 从 宿 主 访 问 。 通
常 量 存 储 器 空 间 中 ; 应 用 程 序 具 有 相 同 的 生 命 周 期 ; 于
14 CUDA 编
__device__ 下 来 的 三 节 中 介 绍 的 其 他 类 型 限 定 符 中 , 最 多 只 能 有 一 种 可 与 接 在
__device__ 可 选 择 与 符 定
符 一 起 使 用 , 所 声 明 的 变 量 具 有 以 下 特 征 : 定
2.0 南 , 版 本 指 程

节
变
和
助
变
(implied
(segmentation 和 fault)
助
节
可
4.2.2.3 __shared__
__shared__ 限
尽 与 位
过 网 格 内 的 所 有 线 程 访 问 , 也 可 通 过 运 行 时 库 从 宿 主 访 问 。 通
于 线 程 块 的 共 享 存 储 器 空 间 中 ; 限
具 有 相 同 的 生 命 周 期 ; 节 块
extern __shared__ float shared[];
节
short array0[128];
float array1[64];
int array2[256];
通 过 块 内 的 所 有 线 程 访 问 。 参 将 共 享 存 储 器 声 明 为 外 部 数 组 时 , 例 如 : 可
, 因 此 数 组 中 的 变 量 布 局 必 须 通 过 偏 移 显 式 管 理 。 例 如 , 如 果 一 名 用 户 希 望 在 动 态 分 配 的 共 享 存 储 器 内 始
__device__ 可 选 择 与 符 定
符 一 起 使 用 , 所 声 明 的 变 量 具 有 以 下 特 征 : 定
extern __shared__ char array[];
__device__ void func() // __device__ or __global__ function
{
short* array0 = (short*)array;
float* array1 = (float*)&array0[128];
int* array2 = (int*)&array1[64];
}
得 与 以 下 代 码 对 应 的 内 容 : 则 应 通 过 以 下 方 法 声 明 和 初 始 化 数 组 : 获
有 在 __syncthreads()( 只
4.4.2 第 见
) 的 执 行 写 入 之 后 , 才 能 保 证 共 享 变 量 对 其 他 线 程 可 见 。 除 非 变
volatile 声 明 为 被 量
, 否 则 只 要 之 前 的 语 句 完 成 , 编 译 器 即 可 随 意 优 化 共 享 存 储 器 的 读 写 操 作 。 量
4.2.3 的 大 小 将 在 启 动 时 确 定 ( 参 见 第 组 数
)。 所 有 变 量 均 以 这 种 形 式 声 明 , 在 存 储 器 中 的 同 一 地 址 开
4.2.2.4 限 制
和
成
__shared__ 和
变
static storage)。
__constant__
量 无 法 使
字 定 义 为 外 部 变 量 。 键
__device__、__shared__ 和
变
关
__device__ 和
变
struct 限 定 符 不 允 许 被 用 于 在 宿 主 上 执 行 的 函 数 内 的 些 这
union
的 形 参 和 局 部 变 量 。 员
_shared_ 变
量 的 声 明 中 不 可 包 含 初 始 化
和
)。
__constant__
量 具 有 隐 含 的 静 态 存 储
设 备 代 码 中 声 明 、 不 带 任 何 限 定 符 的 自 动 变 量 通 常 位 于 寄 存 器 中 。 但 在 某 些 情 况 下 , 编 译 器 可 能 择 将 其 置 于 本 地 存 储 器 中 。 如 果 使 用 占 用 了 过 多 寄 存 器 空 间 的 大 型 结 构 或 数 组 , 或 者 编 译 器 无 法 确 定 其 是 否 使 汇 或 选 在
options =-v
。
选
用 extern
__constant__
仅 允 许 在 文 件 作 用 域 内 使 用 。 量
CUDA 编
针 即 受 支 持 , 否 则 将 仅 限 于 指 向 在 全 局 存 储 器 空 间 中 分 配 或 声 明 的 存 储 器 。
15
__constant__ 为 设 备 或 从 设 备 指 派 可 不
4.5.2.3 仅 可 通 过 宿 主 运 行 时 函 数 从 宿 主 指 派 ( 参 见 第 , 量
第 4.5.3.6
--ptxas- 寄 存 器 空 间 。 可 通 过 使 用 多 过
项 编 译 来 进 行 检 查 , 这 将 报 告 本 地 存 储 器 的 使 用 情 况
ptx 定 数 量 索 引 的 数 组 , 则 往 往 会 出 现 这 种 情 况 。 检 查 固 用
–ptx 码 ( 通 过 使 用 代 编
–keep
项 编
用 , 将 导 致 不 确 定 的 行 为 , 往 往 会 出 现 分 区 错 误
用 程 序 终 止 。 应
.local 得 ) 即 可 在 初 次 编 译 过 程 中 确 定 一 个 变 量 是 否 位 于 本 地 存 储 器 中 , 因 为 它 将 使 用 获 译
记 符 声 明 ,
如 果 取 消 在 宿 主 上 执 行 的 代 码 中 全 局 或 共 享 存 储 器 指 针 , 或 者 在 设 备 上 执 行 的 代 码 中 宿 主 存 储 器 指 针 的 引
只 要 编 译 器 能 够 确 定 在 设 备 上 执 行 的 代 码 中 的 指 针 指 向 的 是 共 享 存 储 器 空 间 还 是 全 局 存 储 器 空 间 , 此 类 指
(lmem)。
ld.local 用 使 可
st.local
记 符 访 问 。 如 果 不 是 这 样 , 在 后 续 编 译 阶 段 仍 能 确 定 是 否 占 用 了 目 标 架 构 的
2.0 南 , 版 本 指 程

函
或
节
节
节
节
节 变
;S
变 或
configuration)。
(execution
或
,Dg.x
,Db.x
节
是
(
4.2.3 执 行 配 置
主 代 码 中 使 用 。 宿
取 __device__、__shared__
通 过 获
__constant__
量 的 地 址 而 获 得 的 地 址 仅 可 在 设 备 代 码 中 使 用 。 通
Dg
Dg.z
Db 的 无 节
节
Db, Ns, s>>> 形
* Dg.y 等
* Db.y * Db.z 等
量 的 地 址 仅 可 在
过 cudaGetSymbolAddress()
4.5.23 第 见 参
__device__ 取 的 获 )
__constant__
对 __global__
Ns 的
4.5.1.5 配 置 定 义 将 用 于 在 该 设 备 上 执 行 函 数 的 网 格 和 块 的 维 度 , 以 及 相 关 的 流 ( 有 关 流 的 内 容 将 在 第 行 执

工
代
语
,__device__ 函
对
块
驱
源
小 。 大
代
在
所
(inlined)。__noinline__ 函
(trip
。#pragma
语
限
节 对
对
4.2.4.5 warpSize
4.2.4.6 限 制
不 4.2.5 使 用 NVCC 进 行 编 译
包 试 图 获 取 任 何 内 置 变 量 的 地 址 。 允 许 为 任 何 内 置 变 量 赋 值 。
变 量 的 类 型 为 int, 此
warp 线 程 为 单 位 的 以 含
nvcc 是
nvcc 的
CUDA 可 简 化 种 一
编 译 过 程 的 编 译 器 驱 动 程 序 : 它 提 供 了 简 单 、 熟 悉 的 命 令 行 选 项 , 通 过 调 用 实 现 不 同 编 译 阶 段 的 工 具 集 合 来 执 行 它 们 。 基 本 工 作 流 在 于 将 设 备 代 码 与 宿 主 代 码 分 离 开 来 , 并 将 设 备 代 码 编 译 为 二 进 制 形 式 象 。 码
或 cubin
4.5.2 节
运
的
子
特
语
C 成 的 宿 主 代 码 将 作 为 需 要 使 用 其 他 工 具 编 译 的 生 所
码 输 出 , 或 通 过 在 最 后 一 个 编 译 阶 段 中 调 用 宿 主
译 器 直 接 作 为 对 象 代 码 输 出 。 编
)。
CUDA 程 序 可 忽 略 所 生 成 的 宿 主 代 码 , 使 用 用 应
API 序 程 动
cubin 上 加 载 并 执 行 备 设
象 , 也 可 链
cubin 所 生 成 的 宿 主 代 码 , 其 中 包 含 到 接
4.2.3 其 形 式 为 全 局 初 始 化 数 据 数 组 , 包 含 将 第 , 象
所 述 执
CUDA 置 语 法 转 换 为 必 要 的 配 行
启 动 代 码 的 转 换 , 目 的 在 于 加 载 和 启 动 编 译 后 的 各 内 核 ( 参 见 第 行
C++ 器 的 前 端 根 据 译 编
CUDA 则 处 理 规 法
C++ 。 宿 主 代 码 支 持 完 整 的 件 文
法 。 但 设 备 代 码 仅 支
nvcc 引
4.2.5.1 __noinline__
认 情 况 下 数 总 是 内 联 要 内 联 该 函 数 。 函 数 体 必 须 位 于 所 调 用 的 同 一 个 文 件 内 。 默
数 限 定 符 可 用 于 指 示 编 译 器 尽 可 能 不
持 C++
C
C++ 类 、 继 承 、 基 本 块 内 的 变 量 声 明 等 , 集
C++ 性 不 受 支 持 。 由 于 使 用 了 特 殊
法
了 两 个 编 译 器 指 令 , 下 面 几 节 将 加 以 介 绍 。 入
malloc() , 因 此 若 未 经 过 强 制 类 型 转 换 , 无 法 将 空 指 针 ( 例 如 则 规
回 的 空 指 针 ) 指 派 给 非 空 指 针 。 返
符 。 定
nvcc 于 关
流 和 命 令 选 项 的 详 细 说 明 将 在 其 他 文 档 中 提 供 。 作
4.2.5.2 #pragma unroll
认 情 况 下 , 编 译 器 将 展 开 具 有 已 知 行 程 计 数 小 循 环 令 可 用 于 控 制 任 何 给 定 循 环 的 展 开 操 作 。 它 必 须 紧 接 于 循 环 之 前 , 而 且 仅 应 用 于 该 循 环 。 可 选 择 在 其 后 接 一 个 数 字 , 指 定 默
count) 的
unroll 指
#pragma unroll 5
for (int i = 0; i < n; ++i)
次
小
CUDA 编
17
__noinline__ 函 数 具 有 指 针 参 数 或 者 具 有 较 大 的 参 数 列 表 , 则 编 译 器 不 会 遵 从 果 如
#pragma unroll 1 将
unroll 后
须 展 开 多 少 次 循 环 。 例 如 , 在 下 面 的 代 码 示 例 中 : 必
则 程 序 的 正 确 性 将 受 到 影 响 )。 阻 止 编 译 器 展 开 一 个 循 环 。
5,
5 将 展 开 环 循
n 序 员 需 要 负 责 确 保 展 开 操 作 不 会 影 响 程 序 的 正 确 性 ( 在 上 面 的 示 例 中 , 如 果 程 。
于
2.0 南 , 版 本 指 程
#pragma 在 果 如
未 指 定 任 何 数 据 , 如 果 其 行 程 计 数 为 常 数 , 则 该 循 环 将 完 全 展 开 , 否 则 将 不 会 展

的
y)。
的
4.3 通 用 运 行 时 组 件
4.3.1 内 置 向 量 类 型
。 开
4.3.1.1 char1、uchar1、char2、uchar2、char3、uchar3、char4、uchar4、
short1、ushort1、short2、ushort2、short3、ushort3、short4、ushort4、
int1、uint1、int2、uint2、int3、uint3、int4、uint4、long1、ulong1、long2、
主 和 设 备 函 数 均 可 使 用 通 用 运 行 时 组 件 。 宿
ulong2、long3、ulong3、long4、ulong4、float1、float2、float3、float4、
double2
y、z 和
访
int2 make_int2(int x, int y);
name> 的
个
4.3.1.2 dim3 类 型
1、2、3、4 向 量 类 型 继 承 自 基 本 整 形 和 浮 点 类 型 。 它 们 均 为 结 构 体 , 第 些 这
量 分 别 可 通 过 字 段 x、 分
w
make_

、2 分
位 是 的
节
(texture
(texture reference) 的 的 fetch)
“texture 纹 elements(
类
且
。
;Type 仅
。
或
和
位
1.0], 有
节
和
节
(texture 将 coordinate)
节
1.0], 例
和
和
,1.25
“wrap”
的
寻 或
。Wrap
的
的
间
节
第
的 围
。 对 于
4.3.4 纹 理 类 型
CUDA 支
用
数 据 可 带 来 多 方 面 的 性 能 收 益 , 请 参 见 第 5.4
个 参 数 指 定 称 为 纹 理 参 考
对 象
持 GPU
于 图 形 的 纹 理 硬 件 子 集 , 使 之 可 访 问 纹 理 存 储 器 。 从 纹 理 存 储 器 而 非 全 局 存 储 器 读 取
4.3.4.1 纹 理 参 考 声 明
绑 定 到 存 储 器 的 某 些 区 域 ( 即 纹 理 ), 之 后 才 能 供 内 核 。 多 不 同 的 纹 理 参 考 可 绑 定 到 同 一 个 , 也 可 绑 定 到 在 存 储 器 中 存 在 重 叠 的 纹 理 。 纹 理 参 考 有 一 些 属 性 。 其 中 之 一 就 是 其 维 度 , 指 定 纹 理 是 使 用 一 个 纹 理 坐 标 纹 理 作 为 一 维 数 组 寻 址 、 使 用 两 个 纹 理 坐 标 作 为 二 维 数 组 寻 址 , 还 是 使 用 三 个 纹 理 坐 标 作 为 三 维 数 组 寻 址 。 数 组 其
即
内 核 使 用 称 为 纹 理 拾 取
4.4.3 函 数 读 取 纹 理 存 储 器 , 请 参 见 第 备 设
。 纹 理 拾 取 的 第 一
4.5.2.6 参 考 定 义 拾 取 哪 部 分 的 纹 理 存 储 器 。 必 须 通 过 宿 主 运 行 时 函 数 ( 参 见 第 理 纹
第 4.5.3.9
) 将
他 属 性 定 义 纹 理 拾 取 的 输 入 和 输 出 数 据 类 型 , 并 指 定 如 何 介 绍 输 入 坐 标 、 应 进 行 怎 样 的 处 理 。 其
texture texRef;
Type 指
元 素 称 为 texel, 的
元 素 )” 的 简 写 。 理
1 的 义
量
量 和 4
向 量 类 型 ; 量
Dim
ReadMode 等 指 分
分
或
是
为
位
理 参 考 的 部 分 属 性 是 不 变 的 , 在 编 译 时 必 须 为 已 知 , 这 些 属 性 是 在 声 明 纹 理 参 考 时 指 定 的 。 纹 理 参 考 在 其 中 : 纹
texture 作 用 域 内 声 明 , 形 式 为 件 文
的 变 量 : 型
定 拾 取 纹 理 时 所 返 回 的 数 据 类 型
4.3.1.1 基 本 整 型 、 单 精 度 浮 点 类 型 和 第 于 限
定
转 换 操 作 ;ReadMode
如
4.3.4.2 运 行 时 纹 理 参 考 属 性
1、2 理 参 考 的 维 度 , 其 值 为 纹 定
3;Dim
个 可 选 的 参 数 , 默 认 值 为 1; 一
于 cudaReadModeNormalizedFloat
cudaReadModeElementType;
果 是
cudaReadModeNormalizedFloat,
Type
16
或 8
整 型 类 型 , 则 值 将 作 为 浮 点 类 型 返 回 , 对
则
于 所 有 整 型 数 据 而 言 , 无 符 号 整 型 将 映 射 为 [0.0,
[-1.0, 整 型 将 映 射 为 号 符
如 , 一 个
0xff 为 值
8 号 符 无
不 执 行 任 何
4.5.3.9 介
N) 范
。 的 它
维
1.0) 的
1)。 一
维
是
N), 因
63]
了 运 行 绍 介
31]
在 对 应 于 坐 标 的 维 度 中 的 大 小 。 范 纹 理 纹
围
理 元 素 将 被 读 取 为 1; 如 果 纹
是 cudaReadModeElementType,
个 可 选 的 参 数 , 默 认 值 为 cudaReadModeElementType。 一
在 归 一 化 的 坐 标 内 , 同 般 情 况 下 , 纹 理 坐 标 与 纹 理 大 小 无 关 , 规 范 化 的 纹 理 坐 标 通 此
CUDA
(clamp):
编
19
执 行 低 精 度 插 值 。 在 启 用 时 , 视
理 参 考 的 其 他 属 性 是 可 变 的 , 可 通 过 宿 主 运 行 时 在 运 行 时 更 改 ( 们 指 定 纹 理 坐 标 是 否 为 归 一 化 的 滤 , 下 面 将 介 绍 相 关 内 容 围 内 的 浮 点 坐 标 引 用 纹 理 , 其 中 纹
如 , 有 一 个 大 小 例
N 的
(normalized)
第 4.5.2.6
时 API,
了 驱 动 程 序 API)。 绍
, 以 及 寻 址 模 式 和 纹 理 过
理 的 寻 址 范 围 在 x
N) 范
[0, 情 况 下 , 使 用 认 默
1.0) 内
使 用 归 一 化 在
被 的
被
为 64x32
x , 在 理 纹
y
[0, 用 此 纹 理 时 坐 标 分 别 处 于 引 度
将 被 调 整 到 范 址 往 往 在 纹 理 包 含 周 期 信 号 时 使 用 。 它 仅 使 用 纹 理 值
[0,
[0.0, 归 一 化 的 纹 理 坐 标 将 在 。 内
[0, 内 指 定 , 而 非 围 范
一 64x32
寻 址 模 式
足 以 满 足 一 些 应 用 程 序 的 需 求 。 小 常
y
[0, 为 均 度
围 [0.0,
2.0 南 , 版 本 指 程
[0, 模 式 定 义 在 纹 理 坐 标 超 出 范 围 时 将 出 现 怎 样 的 情 况 。 在 使 用 非 归 一 化 纹 理 坐 标 时 , 超 出 址 寻
纹 理 坐 标 将 被 调 整
于 0
被 设 置 为 0, 大 于 或 等 值
于 N
被 设 置 为 N-1。 值
0.0 坐 标 时 , 默 认 寻 址 模 式 也 是 调 整 坐 标 : 小 于 理 纹
1.0 于 大
为 0.75.
一 化 坐 标 , 也 可 指 定 坐 标 的 一 部 分 , 例 如 归
视
为 0.25,-1.25
texel 纹 理 过 滤 只 能 对 配 置 为 返 回 浮 点 数 据 的 纹 理 进 行 。 这 将 在 相 邻 性 线

提
节
前
将
数
选
。
节
节
(intrinsic 函 function)
间
的 位 置 进 行 插 值 。
。CUDA 分
4.3.4.3 来 自 线 性 存 储 器 的 纹 理 与 来 自 CUDA 数 组 的 纹 理
于 一 维 纹 理 执 行 简 单 的 线 性 插 值 , 而 对 于 二 维 纹 理 则 执 行 双 线 性 插 值 。 对
texel 纹 理 拾 取 位 置 周 围 的 于 位
texel 取 , 纹 理 拾 取 的 返 回 值 将 根 据 纹 理 坐 标 在 读 被
D 录 附
了 关 于 纹 理 拾 取 的 更 多 细 节 。 供
仅 不 维
的 任 意 区 域 ( 参 见 在 线 性 存 储 器 内 分 配 的 纹 理 : 度 仅 能 为 1; 组 纹 理 过 滤 ; 可 使 用 非 归 一 化 整 型 纹 理 坐 标 寻 址 ; 支 持 多 种 寻 址 模 式 : 超 出 范 围 的 纹 理 访 问 将 返 回 零 。
第 4.5.1.2
)。
配 例 程 返 回
4.4 设 备 运 行 时 组 件
cudaBindTexture()/cuTexRefSetAddress()
会 对 纹 理 基 址 实 施 对 齐 要 求 。 为 了 抽 象 这 种 来 自 程 序 员 的 对 齐 要 求 , 绑 定 设 备 存 储 器 上 的 纹 理 参 考 的 函 数 将 传 回 一 个 字 节 偏 移 , 必 须 将 其 到 纹 理 拾 取 , 之 后 才 能 读 取 所 需 的 存 储 器 的 基 址 指 针 符 合 这 种 对 齐 限 制 , 因 此 应 用 程 序 可 通 过 向 件 硬
CUDA 可 以 是 线 性 存 储 器 或 理 纹
4.4.1 数 学 函 数
递 所 分 配 的 指 针 来 完 全 避 免 偏 移 传
备 运 行 时 组 件 仅 可 用 于 设 备 函 数 设
误 差 范 围 。
B.1 于 对
介 绍 的 部 分 函 数 而 言 , 设 备 运 行 时 组 件 中 存 在 准 确 性 略 低 而 速 度 更 快 的 版 本 ; 其 名 称 相 同 ,
。
4.4.2 同 步 函 数
void __syncthreads();
__syncthreads() 用
步 块 中 的 所 有 线 程 。 一 旦 所 有 线 程 均 达 到 此 同 步 点 , 才 将 继 续 执 行 后 续 代 码 。 于 协 调 同 一 个 块 内 的 线 程 间 通 信 。 在 一 个 块 内 的 某 些 线 程 访 问 共 享 或 全 局 存 储 器 中 的 相 同
__syncthreads() 允
地 址 时 , 部 分 访 问 操 作 可 能 存 在 写 入 后 读 取 、 读 取 后 写 入 或 写 入 后 写 入 之 类 的 风 险 。 可 通 过 在 这 些 访 问 操 作 间 同 步 线 程 来 避 免 这 些 数 据 风 险 。 许 在 条 件 代 码 中 使 用 , 但 仅 当 条 件 估 值 在 整 个 线 程 块 中 都 相 同 时 才 允 许 使 用 , 否 则 代 码 执 行 将 有 可 能 挂 起 , 或 者 出 现 意 料 之 外 的 副 作 用 。 同
(-use_fast_math) 器 有 一 个 译 编
项 , 用 于 强 制 要 求 所 有 函 数 编 译 其 准 确 性 略 低 的 版 本 ( 如 果 存 在 )。
但 带 有 一 个 __
__sinf(x))。B.2 如 ( 缀
列 举 了 这 些 内 建
数 , 还 列 举 了 它 们 的 对 应
20 CUDA 编
2.0 南 , 版 本 指 程

列
数
(atomic
,atomicAdd() 将 对 function)
元
元
和
访
节
位
位 位
修
写
4.4.3 纹 理 函 数
4.4.3.1 来 自 线 性 存 储 器 的 纹 理
系
template
Type tex1Dfetch(
texture texRef,
int x);
float tex1Dfetch(
texture texRef,
int x);
float tex1Dfetch(
texture texRef,
int x);
float tex1Dfetch(
texture texRef,
int x);
float tex1Dfetch(
texture texRef,
int x);
拾
的
tex1Dfetch() 来 自 线 性 存 储 器 的 纹 理 , 通 过 于 对
函 数 访 问 纹 理 , 示 例 如 下 : 列
float4 tex1Dfetch(
texture texRef,
说 , 这 些 函 数 可 选 择 将 整 型 转 变 为 单 精 度 浮 点 类 型 。 来 型 整 于 对 。 式
int x);
拾
的
4.4.3.2 来 自 CUDA 数 组 的 纹 理
x 函 数 会 使 用 纹 理 坐 标 些 这
texRef 定 到 纹 理 参 考 绑 取
线 性 存 储 器 区 域 。 不 支 持 纹 理 过 滤 和 寻 址 模
2 上 述 函 数 以 外 , 还 支 持 了 除
4 和 组
, 示 例 如 下 : 组
template
Type tex1D(texture texRef,
float x);
template
Type tex2D(texture texRef,
float x, float y);
template
Type tex3D(texture texRef,
float x, float y, float z);
和
拾
的
数
x 示 例 将 使 用 纹 理 坐 标 上 以
texRef 定 到 纹 理 参 考 绑 取
性 存 储 器 。 线
CUDA 来 自 于 对
tex1D()、tex2D()、tex3D() 纹 理 , 可 通 过 的 组
纹 理 : 问
4.4.4 原 子 函 数
。 纹 理 参 考 的 不 变 ( 编 译 时 ) 和 可 变 ( 运 行 时 ) 属 性 相 互 结 合 , 共 同 确 定 坐 标 的 解 释 方 式 、 在 纹 理 拾 取 过 程 中 发 生 的 处 理 以 及 纹 组
将 结 果 写 回 同 一 地 址 。 之 所 以 说 这 样 的 操 作 是 原 子 的 , 是 因 为 它 可 在 不 干 扰 其 他 线 程 的 前 提 下 执 行 。 换 句
CUDA 编
21
x、y 函 数 将 使 用 纹 理 坐 标 些 这
z
texRef 定 到 纹 理 参 考 绑 取
CUDA
4.3.4.1 取 所 提 供 的 返 回 值 ( 参 见 第 拾 理
第 4.3.4.2
)。
原 子 函 数
32 全 局 或 共 享 存 储 器 内 的 一 个 于 位
或 64
- 行 读 取 执 字
- 入 原 子 改
2.0 南 , 版 本 指 程
操 作 。 例 如
32 局 或 共 享 存 储 器 内 的 某 个 地 址 读 取 全 在
字 , 将 其 与 一 个 整 型 相 加 , 并
说 , 在 操 作 完 成 前 , 其 他 任 何 线 程 都 无 法 访 问 此 地 址 。 话
C 录 附
举 了 受 支 持 的 所 有 原 子 函 数 。 如 附 录 所 述 , 并 非 所 有 设 备 都 支 持 这 些 函 数 。 具 体 来 说 , 计 算 能

的
块
块
,CUDA 驱
都
的 和
运
节 配
是
是
需
动
动
。
。
节
是
对
。 数
驱
均
零 时 返 回 非 零 值 。 非 零 时 返 回 非 零 值 。 非
节
的
节
前
前
。nvcc
运 生
宿
驱
的
4.4.5 Warp vote 函 数
用 于 有 符 号 和 无 符 号 整 型 ( 适 仅 作 操 子 原
函 数
备 不 支 持 任 何 原 子 函 数 设
或
int __all(int predicate);
vote 函
int __any(int predicate);
1.0 为 力
一 个 例 外 情 况 , 它 支 持 单 精 度 浮 点 数 )。
但 atomicExch()
的 所 有 线 程 计
4.5 宿 主
内
宿 主 运 行 时 组 件
当 1.2 计 算 能 力 为 有 只
Warp 的 设 备 支 持 高 更
为 warp
代 设
上 存 纹 执
与
有 宿 主 函 数 才 能 使 用 宿 主 运 行 时 组 件 备 管 理 只
文 储 器 管 理 ; 下
算 predicate,
predicate 当 所 有 线 程 的 仅 且
为 warp
的 所 有 线 程 计 算 predicate, 内
predicate 当 任 意 线 程 的 仅 且
提 供 了 具 有 以 下 功 能 的 函 数 :
; 它
模 块 管 理 ; 行 控 制 码
一
参 考 管 理 ; 互 操 作 性 驱 动 程 的 理
的 是 运
CUDA 运
OpenGL
Direct3D
包 含 两 个 API: 它
。
CUDA 称 为 个 一
础 之 上 实 现 的 成 基
序 API
级 API; 低
CUDA 为 称 个
API 时 行
级 API, 高
CUDA 在 是
API 序 程 动
。
API 个 两 这
互 斥 的 : 一 个 应 用 程 序 仅 能 使 用 其 中 之 一 行 时 提 供 了 隐 式 初 始 化 、 上 下 文 管 理 和 模 块 管 理 , 从 而 简 化 了 设 备 代 码 管 理 它
的 C
CUDA 码 基 于 代 主
CUDA 驱
4.2.5 ( 请 参 见 第 时 行
。
相 反
API。
CUDA 运
API 序 程 动
CUDA 此 链 接 到 此 代 码 的 应 用 程 序 必 须 使 用 因 ),
时 行
22 CUDA
提 供 了 枚 举 系 统 上 可 用 设 备 、 查 询 其 属 性 、 为 内 核 执 行 选 择 一 个 设 备 的 函 数 ( 运 行 编
cubin 还 具 有 独 立 于 语 言 的 特 点 , 因 为 它 仅 处 理 外 此
4.5.1 一 般 概 念
4.2.5 请 参 见 第 ( 象
CUDA 体 来 说 , 使 用 具 )。
API 程 序 动 驱
的 代 码 数 量 更 多 , 编 程 和 调 试 更 加 困 难 , 但 提 供 了 更 出 色 的 控 制 级 别 , 置 和 启 动 内 核 的 难 度 更 大 , 因 为 执 行 配 置 和 内 核 参 数 必 须 通 过 显 式 函 数 调 用 来 指 定 , 而 要
库 提 供 的 , 其 所 有 入 口 点 都 带 缀 。 态
4.2.3 利 用 第 能 不
态 库 提 供 的 , 其 所 有 入 口 点 都 带
4.5.2.9 的 执 行 配 置 语 法 。 此 外 , 设 备 模 拟 ( 请 参 见 第 绍 介
CUDA 适 用 于 不 )
有 cuda
程 序 API。 动
API 序 程 动
nvcuda 过 通
4.5.1.1 设 备
有 cu
API 时 行
cudart 过 通
2.0 南 , 版 本 指 程
API 种 两
时 API

Direct3D 互 。
节
和
函
节
,Direct3D
位
节
的
(linear 或 memory)
9.0。
和
实
数
,CUDA
启
节
)。
arrays)。
(CUDA
节
。CUDA
与
、16
数
个
4.5.1.2 存 储 器
程 可 在 同 一 个 设 备 上 执 行 设 备 代 码 , 但 根 据 设 计 , 一 个 宿 主 线 程 只 能 在 一 个 设 备 上 执 行 设 备 代 线 主 宿 个 多
存 储 器
4.5.2.2 内 容 请 参 见 第 关 相
API 动 程 序 驱 ,
4.5.3.2 内 容 请 参 见 第 关 相
CUDA 数
CUDA 因 而 , 需 要 多 个 在 多 个 设 备 上 执 行 设 备 代 码 。 此 外 , 通 过 一 个 宿 主 线 程 的 运 行 时 创 建 的 资 源 无 法 由 来 自 其 他 宿 主 线 程 的 运 行 时 使 用 。 。 码
32 位
位
个
支
位
数
位
位
设 备 存 储 器 可 指 派 为 线 性 存 储 器
CUDA
组
32 上 的 线 性 存 储 器 位 于 备 设
地 址 空 间 内 , 因 此 , 独 立 分 配 的 实 体 可 通 过 指 针 引 用 另 外 一 个 实 体 , 比 如 ,
4.3.4 存 储 器 布 局 是 不 透 明 , 专 为 纹 理 拾 取 而 优 化 ( 参 见 第 的 组
)。 它 们 可 以 是 一 维 、 二 维 或
分
1、2、4 的 , 由 元 素 组 成 , 这 些 元 素 包 含 维 三
8 , 这 些 分 量 可 以 是 有 符 号 或 无 符 号 的 量 分
或
4.5.1.3 OpenGL 互 操 作 性
的 (page-locked)
16 , 也 可 以 是 型 整
API ( 当 前 仅 有 驱 动 程 序 点 浮
32 或 ) 持
浮 点
组 仅 可 由 内 核
OpenGL 缓
(buffer 可 能
object)
使 的
节
能
实 写
4.5.2.3 可 通 过 第 主 宿
第 4.5.3.6
CUDA 的 存 储 器 复 制 函 数 读 取 和 写 入 线 性 存 储 器 和 绍 介
。 组
储 器 和 设 备 存 储 器 之 间 的 带 宽 较 高 —— 但 仅 针 对 宿 主 存 储 器 的 宿 主 线 程 所 执 行 的 数 据 传 输 。 分 页 锁 定 的 存 储 器 是 一 种 稀 缺 资 源 , 因 此 分 页 锁 定 存 储 器 中 的 分 配 将 先 于 可 分 页 存 储 器 的 分 配 而 出 错 。 此 外 , 由 于 减 少 了 操 作 系 统 可 用 于 分 页 的 物 理 存 储 器 数 量 , 分 配 过 多 的 分 页 锁 定 存 储 器 将 降 低 整 体 系 统 性 能 。 存
分 页 存 储 器 恰 好 相 反 。 分 页 锁 定 存 储 器 的 优 势 之 一 在 于 , 如 果 将 宿 主 存 储 器 指 派 为 分 页 锁 定 存 储 器 , 宿 主
宿 主 运 行 时 还 提 供 了 函 数 来 分 配 和 释 放 分 页 锁 定
— 存 储 器 主 宿
malloc()
配 的 普 通 可
二 进 制 树 内 。 在
过 纹 理 拾 取 读 取 , 仅 可 绑 定 到 具 有 相 同 分 量 数 的 纹 理 参 考 。 通
4.5.1.4 Direct3D 互 操 作 性
Direct3D
CUDA 能 资
使 实 的
节
能
实 写
使
冲 对 象
CUDA 到 射 映
CUDA 空 间 , 从 而 使 址 地
OpenGL 取 读 够
入
CUDA 据 或 使 数 的
OpenGL 入 数 据 供 写 够
4.5.2.7 第 。 用
API 了 如 何 通 过 运 行 时 述 描
现 此 目
4.5.3.10 第 , 标
API 了 如 何 通 过 驱 动 程 序 述 描
此 目 标 。 现
cuD3D9RegisterResource() 参
API 了 如 何 通 过 驱 动 程 序 现 此 目 标 对 于 可 映 射 哪 些 资 源 的 限 制 条 件 , 请 参 考 手 册 。 介 绍
设 设
CUDA
GPU 上 上
上 见
cudaD3D9RegisterResource()
目 标 , 同 一 节 还 和 此 现
设
标
文 一 次 仅 可 与 一 创 建 的 。 此 外 下
备 互 操 作
下 文
备 必 须 是 在 同 一
CUDA 映 射 到 可 源
地 址 空 间 , 从 而
使 CUDA
Direct3D 取 读 够
入 的 数 据 , 或 者
记
Direct3D 入 数 据 供 写 够
4.5.2.8 第 。 用
API 了 如 何 通 过 运 行 时 述 描
CUDA 编
为 了 促 进 宿 主 和 设 备 之 间 的 并 发 执 行 , 某 些 运 行 时 函 数 是 异 步 的 : 控 制 将 在 设 备 完 成 所 请 求 的 任 务 之 前 返
23
操 作 性 目 前 仅 支
4.5.1.5 异 步 并 发 执 行
执 通
后
个 Direct3D
持 Direct3D
和 Direct3D
回 应 用 程 序 。 此 类 函 数 包 括
D3DCREATE_HARDWARE_VERTEXPROCESSING 创 建 时 必 须 使 用 在 备
:
过 __global__
cuLaunchGrid() 或 数
cuLaunchGridAsync()
的 内 核 ; 动
2.0 南 , 版 本 指 程
Async 储 器 复 制 和 带 有 存 行
的 函 数 ; 缀

节 来
不
(stream)
后
应
实
和
;
提 的 和 的
将 的
节 实
环
来 调 并
节
节
数
的
操
的
实
的 使 的
和
实
应
设 执
设 备 与 设 备 间 双 向 存 储 器 复 制 的 函 数 置 存 储 器 的 函 数 。 某 些 设 备 还 可 在 分 页 锁 定 的 宿 主 存 储 器 和 设 备 存 储 器 之 间 执 行 复 制 , 且 与 内 核 执 行 并 发 地 执 行 此 类 复 制 操 行
4.5.2.4 节
。 如 果 使 用 的 是 运 行 时 API,
则 请 参 请 ) 分 配 的 二 维 数 组 的 存 储 器 复 制 。 作
流 的 定 义 方 法 是 创 建 流 对 象 , 并 将 其 指 定 为 内 核 启 动 和 宿 主 与 设 备 间 内 存 双 向 复 制 序 列 的 流 参 数 。 管
的
为
第
cudaGetDeviceProperties() 序 可 通 过 调 用 程 用
deviceOverlap 查 检
询 此 功 能 ; 如 果 使 用 的 是 驱 动 程 序 API, 查
CU_DEVICE_ATTRIBUTE_GPU_OVERLAP 过 使 用 通 可
用 cuDeviceGetAttribute()
CUDA 。 此 功 能 当 前 仅 支 持 不 涉 及 询 查
或 通 过 cudaMallocPitch()( 组
4.5.2.3 第 见
或 cuMemAllocPitch()( )
4.5.3.6 第 见 参
用 程 序 通 过 流 理 并 发 。 流 就 是 按 顺 序 执 行 的 一 系 列 操 作 。 另 一 方 面 , 不 同 的 流 可 与 其 他 流 乱 序 执 行 其 操 作 , 也 可 并 发 执 行 。 应
API 了 如 何 通 过 运 行 时 述 描
4.5.3.7 目 标 , 第 此 现
API 了 如 何 通 过 驱 动 程 序 述 描
现 此 目
。 不 带 流 参 数 或 使 用 零 作 为 流 参 数 的 任 何 内 核 启 动 、 存 储 器 设 置 或 存 储 器 复 制 函 数 都 仅 能 在 此 前 的 操 作 完 成 标
API
始 包 括 作 为 流 部 分 的 操 作 , 而 在 此 类 函 数 完 成 之 前 , 无 法 启 动 任 何 后 续 操 作 。 无 流 参 数 的 内 核 启 动 , 缀 的 存 储 器 复 制 都 将 被 指 派 给 默 认 零 流 种 方 法 , 使 其 能 够 了 解 一 个 流 中 的 之 前 全 部 操 作 是 否 已 完 成 。 用 于 运 行 时 开 后
无 Async
有 操 作 完 成 。 类 似 地 , 用 于 运 行 所
API 运 行 时 于 用
cudaStreamQuery()
用 于 驱 动 程
应 用 程 序 提 供 了 一
序 API
cuStreamQuery()
cudaStreamSnchronize()
API 于 驱 动 程 序 用 和
cuStreamSynchronize()
了 一 种 方 法 , 可 显 式 强 制 要 求 运 行 时 等 待 流 中 之 前 的 应 用 程 序 能 够 强 制 要 求 运 行 时 等 待 所 有 流 中 的 所 有 之 前 设 备 任 务 完 成 。 为 了 避 免 不 必 要 的 减 速 , 最 好 将 这 些 供
待 给 定 流 内 之 前 的 所 有 任 务 完 成 , 之 后 再 销 毁 流 , 并 将 控 制 返 回 给 等
操
时 API
cudaThreadSynchronize()
API 驱 动 程 序 于 用
cuCtxSynchronize()
API 序 宿 主 线 程 。 运 行 时 还 提 供 了 一 种 方 法 , 可 密 切 监 控 设 备 的 进 度 并 执 行 准 确 的 计 时 , 它 允 许 应 用 程 序 异 步 记 录 程 序 内 任 意 点 的 事 件 , 并 查 询 这 些 事 件 的 实 际 记 录 事 件 。 一 个 事 件 将 在 先 于 该 事 件 的 所 有 任 务 ( 也 可 以 是 给 定 流 中 程 动
cuStreamDestroy()
函 数 用 于 计 时 或 者 隔 离 失 败 的 启 动 或 存 储 器 复 制 操 作 。 用 于 运 行 时 API
cudaStreamDestroy()
用 于 驱
4.5.2 运 行 时 API
果 宿 主 线 程 在 来 自 不 同 流 的 两 项 操 作 之 间 调 了 分 页 锁 定 的 宿 主 存 储 器 分 配 、 设 备 存 储 器 分 配 、 设 备 存 局 禁 用 异 步 执 行 。 此 特 性 仅 为 调 试 提 供 , 不 应 用 于 使 生 产 软 件 更 可 靠 运 行 之 目 的 。 如
/ 有 操 作 ) 均 已 完 成 时 记 录 。 零 流 中 的 事 件 将 在 设 备 完 成 来 自 所 有 流 的 之 前 任 务 作 后 记 录 。 所 的
第 4.5.2.5
4.5.2.1 初 始 化
API 描 述 如 何 通 过 运 行 时 将 节
4.5.3.8 目 标 , 第 此 现
API 述 如 何 通 过 驱 动 程 序 描 将
此 目 标 。 现
CUDA 设 置 、 设 备 与 设 备 之 间 的 双 向 存 储 器 复 制 或 零 流 的 任 何 器 储
, 则 这 两 项 操 作 无 法 并 行 执 行 。 作
4.5.2.2 设 备 管 理
CUDA_LAUNCH_BLOCKING 员 可 将 序 程
变 量 设 置 为 1, 从 而 为 系 统 上 运 行 的 所 境
有 CUDA
用 程 序 全
cudaGetDeviceCount() 和
提
API 时 行 运
存 在 显 式 初 始 化 函 数 ; 它 将 在 运 行 时 函 数 被 首 次 调 用 时 初 始 化 。 需 要 牢 记 , 在 计 时
int deviceCount;
cudaGetDeviceCount(&deviceCount);
其 属 性 : 索
24 CUDA 编
运 行 时 调 用 发 生 时 , 或 解 释 来 自 第 一 次 运 行 时 调 用 的 错 误 码 时 , 即 进 行 初 始 化 。
(timing)
cudaGetDeviceProperties()
供 了 一 种 方 法 , 用 于 枚 举 这 些 设 备 并 检
2.0 南 , 版 本 指 程

的
分
个
、cudaMallocPitch() 分
数
。 用
节
、CUDA 数
int device;
for (device = 0; device < deviceCount; ++device) {
cudaDeviceProp deviceProp;
cudaGetDeviceProperties(&deviceProp, device);
}
cudaSetDevice() 于 选 择 与 宿 主 线 程 相 关 的 设 备 : 用
cudaSetDevice(device);
cudaSetDevice() 完
函
的 4.5.2.3 存 储 器 管 理
或
分
: 释
成 此 任 务 , 将 自 动 选 中 设
__global__ 首 先 选 择 设 备 , 之 后 才 能 调 用 须 必
API 任 何 来 自 运 行 时 或 数
数 。 如 果 未 通 过 显 式 调 任 何 显 式 调 用 都 将 无 效 函
cudaSetDevice() 随 后 对 0, 备
float* devPtr;
cudaMalloc((void**)&devPtr, 256 * sizeof(float));
// host code
float* devPtr;
int pitch;
点 元 素 的 数 组 因
cudaMallocPitch((void**)&devPtr, &pitch,
浮
width * sizeof(float), height);
myKernel(devPtr, pitch);
// device code
__global__ void myKernel(float* devPtr, int pitch)
{
for (int r = 0; r < height; ++r) {
float* row = (float*)((char*)devPtr + r * pitch);
for (int c = 0; c < width; ++c) {
float element = row[c];
}
}
}
CUDA
cudaCreateChannelDesc() 创 分 数
释
。 放
。cudaMallocArray() 需
cudaMalloc() 存 储 器 是 使 用 性 线
cudaMallocPitch()
cudaFree() , 使 用 的 配
256 示 例 代 码 将 在 线 性 存 储 器 中 分 配 一 个 包 含 下 以
议 在 分 配 二 维 数 组 时 使 用 cudaMallocPitch(), 建
5.1.2.1 能 确 保 合 理 填 充 已 分 配 的 存 储 器 , 满 足 第 它 为
绍 的 对 齐 要 求 , 从 而 确 保 访 问 行 地 址 或 执 行 二 维 数 组 与 设 备 存 储 器 的 其 他 区 域 之 间 的 复 制 ( 使 用
cudaMemcpy2D()) 时 获 得 最 优 性 能 。 所 返 回 的 间 距 ( 或 步 幅 ) 必 须 用 于 访 问 数 组 元 素 。 以 下 代 码 示 例 将 分 介
widthxheight 个 一 配
维 浮 点 值 数 组 , 并 显 示 如 何 在 设 备 代 码 中 循 环 遍 历 数 组 元 素 : 二
的
数
位
cudaChannelFormatDesc channelDesc =
cudaCreateChannelDesc();
cudaArray* cuArray;
cudaMallocArray(&cuArray, &channelDesc, width, height);
cudaGetSymbolAddress() 用
的 格 式 描 述 。 建
获
cudaMallocArray() 使 用 是 组
cudaFreeArray() , 使 用 的 配
放
使 用 要
考 手 册 列 举 了 用 于 配 的 线 性 存 储 器 组 和 为 全 局 或 常 量 存 储 器 空 间 中 声 明 的 变 量 分 配 的 存 储 器 之 间 复 制 存 储 器 的 所 有 函 数 。 参
widthxheight 代 码 示 例 分 配 了 一 个 下 以
CUDA
32 包 含 一 个 , 组
浮 点 组 件 : 的
cudaGetSymbolSize()
索 指 向 为 全 局 存 储 器 空 间 中 声 明 的 变 量 分 配 的 存 储 器 的 地 址 。 所 分 配 存 储 器 的 大 小 是 通 过 取 的 。
cudaMemcpy2DToArray(cuArray, 0, 0, devPtr, pitch,
检 于
width * sizeof(float), height,
cudaMemcpyDeviceToDevice);
CUDA 编
:
25
在 cudaMalloc()
配 的 线 性 存 储 器
float data[256];
代 码 示 例 将 一 些 宿 主 存 储 器 数 组 复 制 到 设 备 存 储 器 中 的 面 下
int size = sizeof(data);
float* devPtr;
cudaMalloc((void**)&devPtr, size);
CUDA 的 代 码 示 例 将 二 维 数 组 复 制 到 之 前 代 码 示 例 中 分 配 的 面 下
中 : 组
2.0 南 , 版 本 指 程

。hostPtr
cudaMemcpy(devPtr, data, size, cudaMemcpyHostToDevice);
__constant__ float constData[256];
float data[256];
cudaMemcpyToSymbol(constData, data, sizeof(data));
4.5.2.4 流 管 理
面 的 代 码 示 例 将 一 些 宿 主 存 储 器 数 组 复 制 到 常 量 存 储 器 中 : 下
cudaStream_t stream[2];
for (int i = 0; i < 2; ++i)
cudaStreamCreate(&stream[i]);
:
for (int i = 0; i < 2; ++i)
cudaMemcpyAsync(inputDevPtr + i * size, hostPtr + i * size,
size, cudaMemcpyHostToDevice, stream[i]);
for (int i = 0; i < 2; ++i)
myKernel
(outputDevPtr + i * size, inputDevPtr + i * size, size);
for (int i = 0; i < 2; ++i)
cudaMemcpyAsync(hostPtr + i * size, outputDevPtr + i * size,
size, cudaMemcpyDeviceToHost, stream[i]);
cudaThreadSynchronize();
数 的
下 代 码 示 例 创 建 两 个 流 这 些 流 均 通 过 以 下 代 码 示 例 定 义 为 一 个 任 务 序 列 , 包 括 一 次 从 宿 主 到 设 备 的 存 储 器 复 制 、 一 次 内 核 启 动 、 以
次 从 设 备 到 宿 主 的 存 储 器 复 制 : 一
myKernel()
允 处
复
必 的
float* hostPtr;
器 , 这 样 才 能 同 时 执 行 : 储 存 主
cudaMallocHost((void**)&hostPtr, 2 * size);
hostPtr 流 均 会 将 其 输 入 数 组 个 两
inputDevPtr 分 复 制 到 设 备 存 储 器 的 部 一
中 , 通 过 调 用 组
cudaStreamSynchronize()
cudaStreamDestroy() 可 可
并
目
设 备 上 的 inputDevPtr, 理
outputDevPtr 果 结 将
hostPtr 回 制
相 同 部 分 。 使 用 两 个 流
4.5.2.5 事 件 管 理
hostPtr 理 处
许 一 个 流 的 存 储 器 复 制 与 另 外 一 个 流 的 内 核 执 行 相 互 重 叠
须 指 向 分 页 锁 定 的 宿
cudaEvent_t start, stop;
cudaEventCreate(&start);
cudaEventCreate(&stop);
:
于 同 步 宿 主 与 特 定 流 , 允 许 其 他 流 继 续 在 该 设 备 上 执 行 。 通 过 调 用 释 放 流 。 用
后 调 用 了 cudaThreadSynchronize(), 最
的 是 在 进 一 步 处 理 之 前 确 定 所 有 流 均 已 完 成 。
cudaEventRecord(start, 0);
for (int i = 0; i < 2; ++i)
cudaMemcpyAsync(inputDev + i * size, inputHost + i * size,
size, cudaMemcpyHostToDevice, stream[i]);
for (int i = 0; i < 2; ++i)
myKernel
(outputDev + i * size, inputDev + i * size, size);
for (int i = 0; i < 2; ++i)
cudaMemcpyAsync(outputHost + i * size, outputDev + i * size,
size, cudaMemcpyDeviceToHost, stream[i]);
cudaEventRecord(stop, 0);
cudaEventSynchronize(stop);
float elapsedTime;
cudaEventElapsedTime(&elapsedTime, start, stop);
面 的 代 码 示 例 创 建 了 两 个 事 件 这 些 事 件 可 用 于 为 上 一 节 的 代 码 示 例 计 时 , 方 法 如 下 : 下
cudaEventDestroy(start);
cudaEventDestroy(stop);
26 CUDA 编
2.0 南 , 版 本 指 程

定
类
,cudaFilterModeLinear 是
在
cudaChannelFormatKindUnsigned, 在
(bit)
cudaChannelFormatKindSigned,
指
定
;channelDesc 的
为
类
;addressMode 是
(wrap)
或
;filterMode
)texel 的
的
:
和
4.5.2.6 纹 理 参 考 管 理
高
struct textureReference
{
int normalized;
enum cudaTextureFilterMode filterMode;
enum cudaTextureAddressMode addressMode[3];
struct cudaChannelFormatDesc channelDesc;
}
Normalized
纹 理 坐 标 寻 址 , 而 指
depth
filterMode
cudaFilterModePoint
指 是
纹 理 大 小 ; 定 过 滤 模 式 , 即 拾 取 根 据 输 入 的 纹 理 坐 标 计 算 的 纹 理 时 如 何 返 回 值 或 或
的 纹 理 , 如 下
1]
型
围 内 的 范
于 所 返 回 的 值 为 纹 理 等
级 API
texture 的 义
API 一 种 公 开 继 承 自 低 级 是 型
textureReference 的 义
其
[0, 理 坐 标 是 否 为 归 一 化 形 式 ; 如 果 非 零 , 纹 理 中 的 所 有 元 素 都 将 使 用 纹 定
非 [0,width-1]、[0,height-1]
[0,depth-1],
width、height 的 中
addressMode 指
如 输 入 纹 理 坐 标 的 两 个 ( 针 对 一 维 纹 理 )、 四 个 ( 针 对 二 维 纹 理 ) 或 八 个 ( 针 对 三 维 纹 理 如
组 , 其 第 一 个 、 第 二 个 和 第 三 个 元 素 分 别 指 定 第 一 个 、 第 二 个 和 第 三 个 纹 理 坐 标 的 寻 址 模 式 ; 寻 址 模
线 性
则 所 返 回 的 值 为 纹 理 坐 标 最 接 近 则
cudaFilterModeLinear;
等 于 cudaFilterModePoint, 果
标 最 接 近 输 入 纹 理 坐 标 的 texel; 坐
等 于 cudaFilterModeLinear, 果
channelDesc 描
struct cudaChannelFormatDesc {
int x, y, z, w;
enum cudaChannelFormatKind f;
};
值 ; 对 于 浮 点 型 的 返 回 值 插
此 此
和
等
述 拾 取 纹 理 时 所 返 回 的 值 的 格 式
型 如 下 : 类
一 的 有 效 值 。 惟
到 (clamp)
到
这 些 分 量 是 有 符 号 整 型 时 ; 这 些 分 量 是 无 符 号 整 型 时 ; :
定 寻 址 模 式 , 表 明 如 何 处 理 超 出 范 围 的 纹 理 坐 标
3 大 小 为 个 一
数
可 等 于 cudaAddressModeClamp, 式
时 超 出 范 围 的 纹 理 坐 标 将 被 调 整
有 效 范 围 之 内 , 也
等 于 cudaAddressModeWrap, 可
时 超 出 范 围 的 纹 理 坐 标 将 被 限 定
效 范 围 之 内 ; 有
于 规 范 化 的 纹 理 坐 标 , 仅 支 持 cudaAddressModeWrap。 对
些 分 量 是 浮 点 类 型 时 。 这
组 的 纹
cudaChannelFormatKindFloat,
normalized、addressMode 和 可 在
数
数
x、y、z 中 其
w
于 返 回 值 各 分 量 的 位
f 而 ,
texture texRef;
textureReference* texRefPtr;
cudaGetTextureReference(&texRefPtr, “texRef”);
cudaChannelFormatDesc channelDesc =
cudaCreateChannelDesc();
cudaBindTexture(0, texRefPtr, devPtr, &channelDesc, size);
参 考 。 在 内 核 使 用 纹 理 参 考 从 纹 理 存 储 器 中 读 取 之 前 , 必 须 使 将 纹 理 参 考 绑 定 到 纹 理 。 理
下 代 码 示 例 将 一 个 纹 理 参 考 绑 定 向 的 线 性 存 储 器 : 使 用 低 以
texture texRef;
cudaBindTexture(0, texRef, devPtr, size);
数
filterMode
CUDA 在 宿 主 代 码 中 修 改 。 它 们 仅 适 用 于 绑 定 到 接 直
级 API:
texture texRef;
textureReference* texRefPtr;
cudaGetTextureReference(&texRefPtr, “texRef”);
cudaChannelFormatDesc channelDesc;
CUDA 代 码 示 例 将 一 个 纹 理 参 考 绑 定 到 使 用 低 下 以
用 cudaBindTexture()
cudaBindTextureToArray()
CUDA 编
27
到 devPtr
组 cuArray:
用 高 级 API: 使
2.0 南 , 版 本 指 程
级 API:

cudaUnbindTexture() 用 。
填
完
及
cudaGetChannelDesc(&channelDesc, cuArray);
cudaBindTextureToArray(texRef, cuArray, &channelDesc);
texture texRef;
cudaBindTextureToArray(texRef, cuArray);
4.5.2.7 OpenGL 互 操 作 性
GLuint bufferObj;
cudaGLRegisterBufferObject(bufferObj);
返
用 高 级 API: 使
纹 理 绑 定 到 纹 理 参 考 时 指 定 的 格 式 必 须 与 声 明 纹 理 参 考 时 指 定 的 参 数 相 匹 配 ; 否 则 纹 理 拾 取 的 结 果 将 无 法 确 定 于 解 除 纹 理 参 考 的 绑 定 。 将
GLuint bufferObj;
float* devPtr;
cudaGLMapBufferObject((void**)&devPtr, bufferObj);
之
取 完
4.5.2.8 Direct3D 互 操 作 性
先 必 须 将 一 个 缓 冲 对 象 注 册 到 CUDA, 首
cudaGLRegisterBufferObject() 能 进 行 映 射 。 可 通 过 才 后
: 成
cudaGLMapBufferObject() 完 成 后 , 内 核 即 可 使 用 册 注
的 设 备 存 储 器 地 址 读 取 或 写 入 缓 冲 对 象 : 回
Direct3D
Direct3D 设 互
指
cudaGLUnmapBufferObject() 映 射 是 通 过 除 解
cudaGLUnregisterBufferObject() , 可 使 用 的 成
注 册 。 消
将
资
LPDIRECT3DVERTEXBUFFER9 buffer;
cudaD3D9RegisterResource(buffer, cudaD3D9RegisterFlagsNone);
LPDIRECT3DSURFACE9 surface;
cudaD3D9RegisterResource(surface, cudaD3D9RegisterFlagsNone);
cudaD3D9RegisterResource()
cudaD3D9UnregisterVertexBuffer()
cudaD3D9MapResources()
有 较 高 的 开 销 , 通 常 仅 为 每 个 资 源 调 用 一 次 。 使 用 可 之 后 , 即 可 在 需 要 时 分 和 任 返 和 具 能 可
。 备
cudaD3D9SetDirect3DDevice() 性 要 求 在 执 行 其 他 任 何 运 行 时 调 用 之 前 通 过 作 操
定
cudaD3D9RegisterResource() 即 可 使 用 后 随
Direct3D
cudaD3D9ResourceGetMappedSize()
cudaD3D9ResourceGetMappedPitchSlice() 返 访 、
回 的 设 备 存 储 器 地 址
注 册 到 CUDA: 源
意 多 次 地 映 射 和 解 除 映
CUDA 注 册 。 将 资 源 注 册 到 消 取
void* devPtr;
cudaD3D9ResourceGetMappedPointer(&devPtr, buffer);
size_t size;
cudaD3D9ResourceGetMappedSize(&size, buffer);
cudaMemset(devPtr, 0, size);
height) 的
cudaD3D9ResourceGetMappedPointer() 内 核 可 使 用 回 的 大 小 和 间 距 信 息 来 读 取 和 写 入 已 映 射 的 资 源 。 通 问 已 映 射 的 资 源 将 导 致 不 确 定 的 结 果 。 射 。
一 个 缓 冲 区 : 了 充
使 用 别
cudaD3D9UnmapResources()
cudaD3D9ResourceGetMappedPitch()
过 Direct3D
// host code
void* devPtr;
cudaD3D9ResourceGetMappedPointer(&devPtr, surface);
size_t pitch;
cudaD3D9ResourceGetMappedPitch(&pitch, surface);
dim3 Db = dim3(16, 16);
dim3 Dg = dim3((width+Db.x–1)/Db.x, (height+Db.y–1)/Db.y);
myKernel((unsigned char*)devPtr,
width, height, pitch);
// device code
维 表 面 的 一 个 像 素 , 像 素 格 式 为 二
28 CUDA 编
0 的 代 码 示 例 使 用 面 下
float4:
(width, 面 的 代 码 示 例 中 , 每 个 线 程 都 访 问 大 小 为 下 在
2.0 南 , 版 本 指 程

mode) emulation
是 用
(printf()
:
选
因 (simulating)。
(device
或
上
。
__global__ void myKernel(unsigned char* surface,
int width, int height, size_t pitch)
{
int x = blockIdx.x * blockDim.x + threadIdx.x;
int y = blockIdx.y * blockDim.y + threadIdx.y;
if (x >= width || y >= height) return;
float* pixel = (float*)(surface + y * pitch) + 4 * x;
}
4.5.2.9 使 用 设 备 模 拟 模 式 进 行 调 试
于 设 备 的 代 码 , 编 程 环 境 未 包 含 任 何 本 地 调 试 支 持 , 但 附 带 了 一 种 设 备 模 拟 模 式 译 , 并 在 宿 主 上 运 行 , 允 许 程 序 员 使 用 宿 主 的 本 地 调 试 支 持 来 调 试 应 用 程 序 , 就 像 调 试 宿 主 应 用 程 序 一 样 。 对
cudaErrorMixedDeviceExecution.
有 宿
KB 空
通
在 内 , 都 必 须 一 致 地 为 设 备 模 拟 或 设 备 执 行 而 编 译 。 将 为 设 备 模 拟 编 译 的 代 码 与 为 设 备 执 行 编 译 的 代 码 相 连 接 将 导 致 初 始 化 时 返 回 以 下 运 行 时 错 误 : 库
设 备 模 拟 模 式 中 运 行 应 用 程 序 时 运 行 时 将 模 拟 编 程 模 型 。 对 于 线 程 块 中 的 每 一 个 线 程 , 运 行 时 都 会 在 宿 主 上 创 建 一 个 线 程 。 程 序 员 需 要 确 保 : 主 能 够 运 行 每 个 块 的 最 大 线 程 数 , 此 外 还 有 一 个 针 对 主 线 程 线 程 。 间 。 在
备 模 拟 模 式 提 供 众 多 特 性 使 之 成 为 一 种 独 具 优 势 的 调 试 工 具 : 过 使 用 宿 主 的 本 地 调 试 支 持 , 程 序 员 即 可 利 用 调 试 程 序 支 持 的 所 有 特 性 , 例 如 设 置 断 点 和 检 查 数 据 。 设
等
出 操 作 或 打 印 到 屏 幕 )。 于 所 有 数 据 都 位 于 宿 主 上 , 因 而 可 从 设 备 或 宿 主 代 码 中 读 取 任 何 特 定 于 设 备 或 特 定 于 宿 主 的 数 据 ; 输
–deviceemu 试 。 在 此 模 式 中 编 译 应 用 程 序 时 ( 使 用 调 于
项 ), 设 备 代 码 将 为 宿 主 编
由
__DEVICE_EMULATION__ 理 宏 处 预
在 此 模 式 中 定 义 的 。 一 个 应 用 程 序 的 所 有 代 码 , 包 括 所 用 的 全 部
由 于 设 备 代 码 被 编 译 为 在 宿 主 上 运 行 , 因 而 可 通 过 无 法 在 设 备 上 运 行 的 代 码 扩 展 代 码 , 如 文 件 输 入 和
如
似 地 , 可 通 过 设 备 或 宿 主 代 码 调 用 任 何 设 备 或 宿 主 函 数 。 果 误 用 了 同 步 函 数 , 运 行 时 将 检 测 到 死 锁 情 况 。 程 序 员 必 须 牢 记 , 设 备 模 拟 模 式 的 目 的 在 于 模 拟 设 备 , 而 非 仿 真 类
而 , 设 备 模 拟 模 式 在 查
法 错 误 时 非 常 有 用 , 但 可 能 难 以 发 现 某 些 错 误 竞 算 找
256 大 的 存 储 器 可 用 于 运 行 所 有 线 程 , 已 知 每 个 线 程 都 要 占 据 堆 栈 中 的 够 足
使 用
条 件 在 设 备 模 拟 模 式 中 可 能 无 法 体 现 , 因 为 同 时 执 行 的 线 程 数 量 要 比 实 际 设 备 上 少 得 多 争
声 的 编 :
C++
上 编
编
解 除 指 针 对 宿 主 上 的 全 局 存 储 器 的 引 用 或 对 设 备 上 宿 主 存 储 器 的 引 用 时 , 设 备 执 行 几 乎 必 然 以 某 种 无 法 确 定 的 方 式 失 败 而 设 备 模 拟 可 能 会 得 到 正 确 。 大 多 数 时 候 , 相 同 的 浮 点 计 算 在 设 备 上 执 行 时 所 得 到 的 结 果 , 与 在 设 备 模 拟 模 式 在 宿 主 上 执 行 时 所 得 到 的 结 果 并 不 完 全 相 同 。 这 些 情 况 是 可 以 预 见 的 , 只 要 使 用 略 有 差 异 编 译 选 项 , 相 同 的 浮 点 计 在
就 会 得 到 不 同 的 结 果 , 更 不 用 说 不 同 的 编 译 器 、 不 同 的 指 令 集 或 不 同 的 架 构 了 。 具 体 来 说 某 些 宿 主 平 台 会 将 单 精 度 浮 点 计 算 的 中 间 结 果 存 储 在 一 个 扩 展 精 度 寄 存 器 中 在 设 备 模 拟 模 式 中 运 行 时 , 这 可 能 会 造 成 准 确 性 的 显 著 差 异 。 发 生 这 种 情 况 时 , 程 序 员 可 尝 试 以 下 方 法 , 但 没 有 任 何 一 种 算
CUDA 编
29
方 法 能 确 保 成 功
unsigned int originalCW;
_FPU_GETCW(originalCW);
unsigned int cw = (originalCW & ~0x300) | 0x000;
_FPU_SETCW(cw);
在
, 从 而 实 施 单 精 度 浮 点 计 算 : 码
使
volatile
一 些 浮 点 变 量 , 实 施 单 精 度 存 储 ; 明
用 gcc
-ffloat-store
器 选 项 ; 译
在 Linux
用 _FPU_GETCW()、 使
Windows
用 _controlfp(), 使
用 以 下 代 码 包 围 目 标 代
unsigned int originalCW = _controlfp(0, 0);
_controlfp(_PC_24, _MCW_PC);
: 用 使 可 也
个
用 Visual
/Op 的 器 译
/fp
器 选 项 ; 译
2.0 南 , 版 本 指 程
24 头 处 , 为 了 存 储 控 制 字 的 当 前 值 并 更 改 它 以 使 尾 数 存 储 在 开 在
中 , 可 使 用 : 位

汇
是
中
位
中
,warp 块
大 内 支
设
进 的
,warp
进
值
_FPU_SETCW(originalCW);
_controlfp(originalCW, 0xfffff);
(denormalized
vote 函
4.5.3 驱 动 程 序 API
在 结 尾 处 使 用 以 下 代 码 , 恢 复 原 始 控 制 字 : 或
设 备 模 拟 模 式 中 的 大 小 等 于 1。 因 而 同 。 在
数 产 生 的 结 果 将 与 设 备 执 行 模 式 中 不
number)。 这
样 , 对 于 单 精 度 浮 点 数 , 与 计 算 设 备 不 同 ( 请 参 见 附 录 A), 宿 主 平 台 通 常 支 持 反 向 规 格 化 数 可 能 会 导 致 设 备 模 拟 和 设 备 执 行 模 式 下 存 在 显 著 差 异 , 因 为 某 些 计 算 可 能 会 在 一 种 模 式 下 产 生 有 穷 的 结 果 , 而 在 另 一 种 模 式 下 产 生 无 穷 的 结 果 。 同
CUDA 驱
中
为 操 纵 对 象 的 函 数 。
大
对 象
句 柄
描 述
API 程 序 动 驱
种 基 于 句 柄 、 命 令 式 的 API: 一
多 数 对 象 都 通 过 不 透 明 的 句 柄 引 用 , 此 类 句 柄 可 指 定
表 4-1
CUDA 了 总
用 的 对 象 。 可
表 4-1.
序 驱 动 程 序 API
中 可 用 的 对 象
CUdeviceptr 储 器 存 堆
存 储 器 的 指 针 备
CUDA 数
描 设
CUdevice 备 设
持 CUDA
备 设
4.5.3.1 初 始 化
CUcontext 文 下 上
CPU 同 于 等 致
程
CUmodule 块 模
等 同 于 动 态 库 致
CUfunction 数 函
核
4.5.3.2 设 备 管 理
组 CUarray
上 一 维 或 二 维 数 据 的 不 透 明 容 器 , 可 通 过 纹 理 参 考 读 取 备
CUtexref 参 考 理 纹
如 何 解 释 纹 理 存 储 器 数 据 的 对 象 述
cuDeviceGetCount() 和
提
API 动 程 序 驱 在
cuInit() 任 何 函 数 之 前 , 都 必 须 使 用 用 调
初 始 化 。 行
int deviceCount;
cuDeviceGetCount(&deviceCount);
int device;
for (int device = 0; device < deviceCount; ++device) {
CUdevice cuDevice;
cuDeviceGet(&cuDevice, device);
int major, minor;
cuDeviceComputeCapability(&major, &minor, cuDevice);
}
: 性 属 其 索 检 便 以 ), 册
cuDeviceGet()
供 了 一 种 方 法 , 可 枚 举 这 些 设 备 和 其 他 功 能 ( 详 见 参 考 手
4.5.3.3 上 下 文 管 理
CUDA 上
进
中
上
在 该 上 下 文 被 销 毁 时 , 系 统 将 自 动 清 除 这 些 资 源 。 除 了 模 块 和 纹 理 参 考 之 类 的 对 象 之 外 , 每 个 上 下 文 还 有
30 CUDA 编
2.0 南 , 版 本 指 程
CPU 类 似 于 文 下
API 在 驱 动 程 序 。 程
CUDA 的 所 有 资 源 和 操 作 都 封 装 在 行 执
下 文 内 ,
32 独 有 的 己 自
Cudeviceptr 空 间 。 因 而 , 不 同 上 下 文 的 址 地
引 用 不 同 的 存 储 器 位 置 。 将

节
函
。cuCtxPopCurrent()
上
(usage
库
以
创
中
或
来
(floating)”
函
输
:
用
或
cuCtxPopCurrent() 都 有 一 个 当 前 上 下 文 堆 栈 将 为 任 意 宿 主 线 程 的 当 前 上 下 文 压 入 个 每
cuCtxDestroy() 使 将
。cuCtxCreate() 将
涉 及 设 备 模 拟 或 上 下 文 管 理 的 大 多 数 函 数 ) 将 返
cuCtxDetach() 来
此 外 还 会 为 每 个 上 下 文 维 护 一 个 使 用 计 数
文 。cuCtxAttach()
下 文 与 宿 主 线 程 分 离 开 来 。 随 后 此 上 下 文 将 成 为 “ 浮 动 还 可 恢 复 之 前 的 当 前 上 下 文 ( 如 果 存 在 )。 上
count)。cuCtxCreate()
则 将
主 线 程 的 当 前 上 下 文 。 如 果 有 效 上 下 文 未 成 为 线 程 的 当 前 上 下 文 , 在 一 个 上 下 文 中 操 作
cuCtxDetach() 用 计 数 递 增 , 而 使 使
回 CUDA_ERROR_INVALID_CONTEXT。
使 之 递 减 。 在 调
通 过 使 用 计
上 下 文 压 入 堆 栈 顶 端 。 可 调 上 下 文 , 可 作 创 新
的 CUDA
数 1
数 ( 不
建 一 个 上 下
cuCtxCreate() 宿 主 线 程 一 次 只 能 有 一 个 当 前 设 备 上 下 文 。 在 使 用 个 一
建 上 下 文 时 , 它 将 成 为 调 用 方 宿
用 cuCtxDetach()
使 用 计 数
时
客
为 0
用 相 同 的 上 下 文 , 则 每 个 库 都 将 调
上 下 文 将 被 销 毁 。 ,
用 计 数 促 进 了 在 同 一 上 下 文 中 操 作 第 三 授 权 代 码 之 间 的 互 操 作 。 举 例 来 说 , 如 果 载 入 了 三 个 库 使 递 减 使 用 计 数 。 对 于 大 多 数 来 说 , 应 用 程 序 将 在 载 入 或 初 始 化 库 之 前 创 建 一 个 上 下 文 , 通 过 这 种 方 式 , 应 用 程 序 即 可 使 用 自 己 的 启 发 式 方 法 来 创 建 上 下 文 , 库 只 需 在 传 递 给 它 的 上 下 文 中 操 作 即 可 。 使
用 cuCtxAttach()
来
和
如
所
递 增 使 用 计 数 , 并 在 库 不 再 使 用 该 上 下 文 时 调
用
希 望 创 建 自 己 的 上 下 文 的 库 (
其 API
户 端 并 不 了 解 这 种 情 况 , 并 且 可 能 已 经 创 建 或 未 创 建 自 己 的 上 下
cuCtxPushCurrent() 可 使 用 ) 文
cuCtxPopCurrent(),
图 4-1
。 示
4.5.3.4 模 块 管 理
图 4-1.
库 上 下 文 管 理
是
CUmodule cuModule;
cuModuleLoad(&cuModule, “myModule.cubin”);
CUfunction cuFunction;
作
cuModuleGetFunction(&cuFunction, cuModule, “myKernel”);
面 的 代 码 示 例 载 入 了 一 个 模 块 并 检 索 内 核 的 句 柄 : 下 。 操 互 行 进 中 文 下
(module)
4.5.3.5 执 行 控 制
是
参 见 第 4.2.5
)。 所 有 符 号 的 名 称 ( 包 括 函 数 、 全 局 变 量 和 纹 理 参 考 ) 均 在 模 块 范 围 内 维 护 , 从 而 使 独
模 块
Windows 态 加 载 的 设 备 代 码 和 数 据 包 , 类 似 于 动 可
的 DLL,
由 nvcc
出 的 ( 请
cuFuncSetBlockShape() 为
分 配 方 式 。 的
CUDA 编
31
的 第 二 个 参 数 指 定 参 数 在 参 数 堆 栈 中 的 偏 移 。 这 个 偏 移 量 必 须 与 参 数 一 种 可 迁 移 的 方 式 来 完 成 此 任 务 数
CUDA 第 三 方 编 写 的 模 块 可 在 相 同 的 的 立
cuFuncSetSharedSize() 为
cuParam*() 系
数 设 置 共 享 存 储 器 的 大 小 。 函
cuFuncSetBlockShape(cuFunction, blockWidth, blockHeight, 1);
__alignof()
参 数 。 类 型 的 对 齐 要 求 相 匹 配 。 可 通 过 使 用 的 供
2.0 南 , 版 本 指 程
threadID 函 数 设 置 每 个 块 的 线 程 数 , 同 时 还 会 设 置 其 定 给
cuLaunch()
各 cuParam*()
cuLaunchGrid() 数 用 于 指 定 在 下 一 次 调 用 函 列
启 动 内 核 时 为 内 核 提

中
的
个
、cuMemAllocPitch() 分
线 性 存 储 器 。 放
节
、CUDA
数
int offset = 0;
int i;
cuParamSeti(cuFunction, offset, i);
offset += sizeof(i);
float f;
cuParamSetf(cuFunction, offset, f);
offset += sizeof(f);
char data[32];
cuParamSetv(cuFunction, offset, (void*)data, sizeof(data));
offset += sizeof(data);
cuParamSetSize(cuFunction, offset);
cuFuncSetSharedSize(cuFunction, numElements * sizeof(float));
cuLaunchGrid(cuFunction, gridWidth, gridHeight);
4.5.3.6 存 储 器 管 理
或
分
释
CUdeviceptr devPtr;
cuMemAlloc(&devPtr, 256 * sizeof(float));
:
// host code
CUdeviceptr devPtr;
int pitch;
cuMemAllocPitch(&devPtr, &pitch,
因
浮 点 元 素 的 数 组
width * sizeof(float), height, 4);
cuModuleGetFunction(&cuFunction, cuModule, “myKernel”);
cuFuncSetBlockShape(cuFunction, 512, 1, 1);
cuParamSeti(cuFunction, 0, devPtr);
cuParamSetSize(cuFunction, sizeof(devPtr));
cuLaunchGrid(cuFunction, 100, 1);
// device code
__global__ void myKernel(float* devPtr)
{
for (int r = 0; r < height; ++r) {
float* row = (float*)((char*)devPtr + r * pitch);
for (int c = 0; c < width; ++c) {
float element = row[c];
}
}
}
CUDA 数
创
销
cuMemAlloc() 用 使 可
cuMemAllocPitch()
cuMemFree() 性 存 储 器 , 并 使 用 线 配
256 的 代 码 示 例 在 线 性 存 储 器 中 分 配 了 一 个 包 含 面 下
建 议 在 分 配 二 维 数 组 时 使
用 cudaMallocPitch(),
5.1.2.1 能 确 保 合 理 填 充 已 分 配 的 存 储 器 , 满 足 第 它 为
绍 的 对 齐 要 求 , 从 而 确 保 访 问 行 地 址 或 执 行 二 维 数 组 与 设 备 存 储 器 的 其 他 区 域 之 间 的 复 制 ( 使 用
cudaMemcpy2D()) 时 获 得 最 优 性 能 。 所 返 回 的 间 距 ( 或 步 幅 ) 必 须 用 于 访 问 数 组 元 素 。 以 下 代 码 示 例 将 分 介
widthxheight 个 一 配
维 浮 点 值 数 组 , 并 显 示 如 何 在 设 备 代 码 中 循 环 遍 历 数 组 元 素 : 二
。 毁
的
数
位
浮 点 组 件 : 的
CUDA_ARRAY_DESCRIPTOR desc;
desc.Format = CU_AD_FORMAT_FLOAT;
desc.NumChannels = 1;
desc.Width = width;
desc.Height = height;
CUarray cuArray;
cuArrayCreate(&cuArray, &desc);
分
组
32 CUDA 编
cuArrayCreate() 使 用 是 组
cuArrayDestroy() , 使 用 的 建
配 的 线 性 存 储 器
widthxheight 代 码 示 例 分 配 了 一 个 下 以
CUDA
32 包 含 一 个 , 组
CUDA_MEMCPY2D copyParam;
memset(&copyParam, 0, sizeof(copyParam));
存 储 器 : 性 线 的 配
copyParam.dstMemoryType = CU_MEMORYTYPE_ARRAY;
copyParam.dstArray = cuArray;
copyParam.srcMemoryType = CU_MEMORYTYPE_DEVICE;
cuMemAlloc() 手 册 列 举 了 用 于 在 考 参
2.0 南 , 版 本 指 程
CUDA 之 间 复 制 存 储 器 的 所 有 函 数 。 下 面 的 代 码 示 例 将 二 维 数 组 复 制 到 之 前 代 码 示 例 中 分 配 的 组 数

。hostPtr
copyParam.srcDevice = devPtr;
copyParam.srcPitch = pitch;
copyParam.WidthInBytes = width * sizeof(float);
copyParam.Height = height;
cuMemcpy2D(&copyParam);
float data[256];
int size = sizeof(data);
CUdeviceptr devPtr;
cuMemAlloc(&devPtr, size);
cuMemcpyHtoD(devPtr, data, size);
4.5.3.7 流 管 理
面 的 代 码 示 例 将 一 些 宿 主 存 储 器 数 组 复 制 到 设 备 存 储 器 中 : 下
CUstream stream[2];
for (int i = 0; i < 2; ++i)
cuStreamCreate(&stream[i], 0);
for (int i = 0; i < 2; ++i)
cuMemcpyHtoDAsync(inputDevPtr + i * size, hostPtr + i * size,
size, stream[i]);
for (int i = 0; i < 2; ++i) {
cuFuncSetBlockShape(cuFunction, 512, 1, 1);
int offset = 0;
cuParamSeti(cuFunction, offset, outputDevPtr);
offset += sizeof(int);
cuParamSeti(cuFunction, offset, inputDevPtr);
offset += sizeof(int);
cuParamSeti(cuFunction, offset, size);
offset += sizeof(int);
cuParamSetSize(cuFunction, offset);
cuLaunchGridAsync(cuFunction, 100, 1, stream[i]);
面 的 代 码 示 例 创 建 了 两 个 流 : 这 些 流 均 通 过 以 下 代 码 示 例 定 义 为 一 个 任 务 序 列 , 包 括 一 次 从 宿 主 到 设 备 的 存 储 器 复 制 、 一 次 内 核 启 动 、 下
次 从 设 备 到 宿 主 的 存 储 器 复 制 : 一
}
for (int i = 0; i < 2; ++i)
cuMemcpyDtoHAsync(hostPtr + i * size, outputDevPtr + i * size,
size, stream[i]);
cudaCtxSynchronize();
的
数
cuFunction
允 处
复
必 的
处 理 hostPtr
许 一 个 流 的 存 储 器 复 制 与 另 外 一 个 流 的 内 核 执 行 相 互 重 叠
须 指 向 分 页 锁 定 的 宿
float* hostPtr;
器 , 这 样 才 能 同 时 执 行 : 储 存 主
cuMemAllocHost((void**)&hostPtr, 2 * size);
hostPtr 流 均 会 将 其 输 入 数 组 个 两
inputDevPtr 分 复 制 到 设 备 存 储 器 中 的 部 一
中 , 通 过 调 用 组
并
设 备 上 的 inputDevPtr, 理
outputDevPtr 果 结 将
hostPtr 回 制
相 同 部 分 。 使 用 两 个 流
cuStreamSynchronize() 可
4.5.3.8 事 件 管 理
目
事 件 管 理
CUevent start, stop;
cuEventCreate(&start);
cuEventCreate(&stop);
后 调 用 的 是 在 进 一 步 处 理 之 前 确 定 所 有 流 均 已 完 成 。 用 于 同 步 宿 主 与 特 定 流 , 允 许 其 他 流 继 续 在 该 设 备 上 执 行 。 最
面 的 代 码 示 例 创 建 了 两 个 事 件 : 下
CUDA 编
33
了 cuCtxSynchronize(),
cuEventRecord(start, 0);
for (int i = 0; i < 2; ++i)
cuMemcpyHtoDAsync(inputDevPtr + i * size, hostPtr + i * size,
些 事 件 可 用 于 为 上 一 节 的 代 码 示 例 计 时 , 方 法 如 下 : 这
2.0 南 , 版 本 指 程

注 册 。 消
包
初
的
返
或
size, stream[i]);
for (int i = 0; i < 2; ++i) {
cuFuncSetBlockShape(cuFunction, 512, 1, 1);
int offset = 0;
cuParamSeti(cuFunction, offset, outputDevPtr);
offset += sizeof(outputDevPtr);
cuParamSeti(cuFunction, offset, inputDevPtr);
offset += sizeof(inputDevPtr);
cuParamSeti(cuFunction, offset, size);
offset += sizeof(size);
cuParamSetSize(cuFunction, offset);
cuLaunchGridAsync(cuFunction, 100, 1, stream[i]);
}
for (int i = 0; i < 2; ++i)
cuMemcpyDtoHAsync(hostPtr + i * size, outputDevPtr + i * size,
size, stream[i]);
cuEventRecord(stop, 0);
cuEventSynchronize(stop);
float elapsedTime;
cuEventElapsedTime(&elapsedTime, start, stop);
cuEventDestroy(start);
cuEventDestroy(stop);
4.5.3.9 纹 理 参 考 管 理
cuTexRefSetArray() 将
texture texRef;
的
CUtexref cuTexRef;
cuModuleGetTexRef(&cuTexRef, cuModule, “texRef”);
指 绑
cuTexRefSetAddress() 核 使 用 纹 理 参 考 从 纹 理 存 储 器 中 读 取 之 前 , 必 须 使 用 内 在
理 参 考 绑 定 到 纹 理 。 纹
块 cuModule
定 义 如 下 的 纹 理 参 考 texRef: 含
如 果 模
cuTexRefSetAddress(NULL, cuTexRef, devPtr, size);
数 绑
texRef 面 的 代 码 示 例 将 检 索 下 则
柄 : 句
cuTexRefSetArray(cuTexRef, cuArray, CU_TRSA_OVERRIDE_FORMAT);
4.5.3.10 OpenGL 互 操 作 性
texRef 的 代 码 示 例 将 面 下
devPtr 到 定
的 线 性 存 储 器 : 向
texRef 的 代 码 示 例 将 面 下
CUDA 到 定
组 cuArray:
考 手 册 列 举 了 用 于 设 置 寻 址 模 式 、 过 滤 模 式 和 其 他 针 对 纹 理 参 考 的 标 记 的 各 种 函 数 。 在 将 纹 理 绑 定 到 纹 理 参 考 时 所 指 定 的 格 式 必 须 与 声 明 纹 理 参 考 时 指 定 的 参 数 相 匹 配 ; 否 则 纹 理 拾 取 的 结 果 将 无 法 确 定 。 参
GLuint bufferObj;
cuGLRegisterBufferObject(bufferObj);
GLuint bufferObj;
CUdeviceptr devPtr;
int size;
cuGLMapBufferObject(&devPtr, &size, bufferObj);
成 : 完
除 映 射 是 通 解
操 作 性 。 之 互
完
的 设 备 存 储 器 地 址 读 取 或 写 入 缓 冲 对 象 : 回
取
34 CUDA 编
cuGLInit() 使 用 须 必
OpenGL 与 化 始
先 必 须 将 一 个 缓 冲 对 象 注 册 到 CUDA, 首
cuGLRegisterBufferObject() 能 进 行 映 射 。 可 通 过 才 后
cuGLMapBufferObject() 完 成 后 , 内 核 即 可 使 用 册 注
cuGLUnregisterBufferObject() , 可 使 用 的 成
2.0 南 , 版 本 指 程
过 cuGLUnmapBufferObject()

创
填
程 指 南 , 版
上 上
将
资
设
用
为
4.5.3.11 Direct3D 互 操 作 性
Direct3D 互
LPDIRECT3DVERTEXBUFFER9 buffer;
cuD3D9RegisterResource(buffer, CU_D3D9_REGISTER_FLAGS_NONE);
LPDIRECT3DSURFACE9 surface;
cuD3D9RegisterResource(surface, CU_D3D9_REGISTER_FLAGS_NONE);
cuD3D9RegisterResource()
cuD3D9UnregisterVertexBuffer() 可 可
CUDA 性 要 求 在 创 建 作 操
Direct3D 时 指 定 文 下
cuD3D9CtxCreate() 通 过 使 用 。 备
cuCtxCreate() 非 而
建 CUDA
下 文 即 可 实 现 此 目 标 。。
cuD3D9UnmapResources()
有 较 高 的 开 销 , 通 常 仅 为 每 个 资 源 调 用 一 次 。 使 取 消 注 册 。 之 和 任 意 多 次 地 映 射 和 解 除 映 射 。 内 核 可 使 用 具 能
cuD3D9ResourceGetMappedPointer()
cuD3D9ResourceGetMappedSize()、cuD3D9ResourceGetMappedPitch()
cuD3D9ResourceGetMappedPitchSlice() 返 访 及 返
cuD3D9RegisterResource() 即 可 使 用 后 随
Direct3D
注 册 到 CUDA: 源
0
CUdeviceptr devPtr;
cuD3D9ResourceGetMappedPointer(&devPtr, buffer);
size_t size;
cuD3D9ResourceGetMappedSize(&size, buffer);
cuMemset(devPtr, 0, size);
用
height) 的
设 备 存 储 器 地 址 和 回 的 大 小 和 间 距 信 息 来 读 取 和 写 入 已 映 射 的 资 源 。 通 问 已 映 射 的 资 源 将 导 致 不 确 定 的 结 果 。 回
面 的 代 码 示 例 使 充 了 一 个 缓 冲 区 : 下
CUDA 源 注 册 到 资 将
cuD3D9MapResources() 即 可 在 需 要 时 分 别 使 用 , 后
// host code
代 码 示 例 中 , 每 个 线 程 都 访 问 大 小 的 面 下 在
CUdeviceptr devPtr;
cuD3D9ResourceGetMappedPointer(&devPtr, surface);
size_t pitch;
cuD3D9ResourceGetMappedPitch(&pitch, surface);
cuModuleGetFunction(&cuFunction, cuModule, “myKernel”);
cuFuncSetBlockShape(cuFunction, 16, 16, 1);
int offset = 0;
cuParamSeti(cuFunction, offset, devPtr);
offset += sizeof(devPtr);
cuParamSeti(cuFunction, 0, width);
offset += sizeof(width);
cuParamSeti(cuFunction, 0, height);
offset += sizeof(height);
cuParamSeti(cuFunction, 0, pitch);
offset += sizeof(pitch);
cuParamSetSize(cuFunction, offset);
cuLaunchGrid(cuFunction,
(width+Db.x–1)/Db.x, (height+Db.y–1)/Db.y);
// device code
__global__ void myKernel(unsigned char* surface,
int width, int height, size_t pitch)
{
int x = blockIdx.x * blockDim.x + threadIdx.x;
int y = blockIdx.y * blockDim.y + threadIdx.y;
if (x >= width || y >= height) return;
float* pixel = (float*)(surface + y * pitch) + 4 * x;
}
二 维 表 面 的 一 个 像 素 , 像 素 格 式
过 Direct3D
为 (width,
float4:
CUDA 编
35
本 2.0

,(i/n) 等
和
块
块
位 个
个
。
而
;:
节
、__logf(x)(
等
(arithmetic
和
节
,__[u]mul24 将
个
位 位
是
个
个
第 5 章 性 能 指 南
5.1 指 令 性 能
执 读
行 指 令 ; 块
为
块
理 指 令 , 多 处 理 器 必 须 中 各 线 程 的 指 令 操 作 数 处
中 各 线 程 写 入 结 果
最 量
允 最
warp
节
intensity), 也
warp 线 程 为 要
许 线 程 调 度 程 序 尽 可 能 地 同 时 进 行 存 储 器 事 务 处 理 与 数 学 计 算 , 这 要 求
取 warp
而 , 有 效 的 指 令 吞 吐 量 取 决 于 额 定 指 令 吞 吐 量 以 及 存 储 器 延 迟 和 带 宽 。 可 通 过 以 下 方 法 最 大 化 指 令 吞 吐
因
每
5.1.1 指 令 吞 吐 量
小 化 吞 吐 量 较 低 的 指 令 的 使 用 ( 参 见 :
);
5.1.1
线 程 执 行 的 程 序 具 有 较 高 的 运 算 强 度 第
数 学 操 作 ; 量
5.1.1.1 数 学 指 令
就 是 说 , 让 每 个 存 储 器 操 作 对 应 大 :
5.1.2 用 于 每 一 类 存 储 器 的 可 用 存 储 器 带 宽 的 使 用 ( 参 见 第 化 大
);
4
16
位 32
单 整 位 个
加
节
5.2 处 理 器 上 具 有 多 个 活 动 线 程 , 如 第 多 个
述 。 所
钟 周 期 , 用 于 : 型 加 法 ; 运 算 、 比 较 、 最 小 值 、 最 大 值 、 类 型 转 换 指 令 ; 时
供 有 符 号 和 无 符 号 24
整 型 乘 法 。 而 在 未 来 的 架 构 中
型 乘 法 的 速 度 更 慢 , 因 整 型 乘 法 , 由 应 用 程 序 合 理 整
warp 一 个 为 要
出 一 条 指 令 , 多 处 理 器 需 占 用 : 发
- 浮 点 加 法 、 乘 法 和 乘 度 精
;
另
是
的
)。 请 参 见 附 录 B) 可 请
时 钟 周 期 内 提
这 些 转 换 。
36 CUDA 编
时 钟 周 期 ,
时 钟 周 期 , 用 于 倒 数 、 平 方 根 倒 数
B.2 第 见 参
。
16 乘 法 占 用 型 整
但 __mul24
__umul24(
2
在 4
y) 提 块
比 32
我 们 建 议 您 设 计 两 套 内 核 , 一 个 使 用 __[u]mul24, 此
32 使 用 普 通 的 个 一
__sinf(x)、__cosf(x)、__expf(x) 占 B)。 录
个
。sinf(x)、cosf(x)、tanf(x)、sincosf(x)
用 整 型 除 法 和 求 模 运 算 的 成 本 极 高 , 应 尽 可 能 避 免 使 用 , 或 在 可 能 的 情 况 下 替 换 为 位 运 算 : 如 如 调
果 n
他 函 数 要 占 用 更 多 的 时 钟 周 期 , 因 为 它 们 是 作 为 多 种 指 令 的 混 合 体 实 现 的 。 单 精 度 浮 点 平 方 根 是 作 为 倒 数 平 方 根 再 求 倒 数 实 现 的 , 而 非 先 求 倒 数 平 方 根 再 求 乘 积 , 因 为 只 有 这 样 才 能 其
期 ( 请 参 见 附 周
于 (i>>log2(n)), 价
(i%n)
于 (i&(n-1)); 价
果 n
常 量 , 则 编 译 器 将 执 行
幂
36 度 浮 点 除 法 要 占 用 精 单
__fdividef(x, 周 期 , 但 钟 时
20 速 度 更 快 的 版 本 , 只 需 占 用 了 供
时 钟
2.0 南 , 版 本 指 程
为 0
warp 大 给 出 正 确 结 果 。 因 而 , 一 个 穷 无
32 用 占 将
钟 周 期 。 时
用 32
时 钟 周 期

块
器 延 迟 。
的
(if、switch、do、for、while)
的
为
块
块
谓
了
、4
块
是
节
块
块
果 x
对 值 大 于 48039( 绝
见 math_functions.h
5.1.2.2 低 性 能 , 因 为 本 地 存 储 器 的 延 迟 较 高 , 也 存 在 带 宽 问 题 ( 请 参 见 第 降 步
)。
单 节 可 通 过 以 下 方 法 避 免 上 述 的 后 两 种 情 况 : 双
成 本 更 高 , 如 参 解 更 多 细 节 ), 则 成 本 还 要 更 高 ( 也 就 是 说 , 速 度 降 低 约 一 个 数 量 级 )。 此 外 , 在 这 种 情 况 下 , 参 数 约 减 代 码 使 用 本 地 存 储 器 , 这 可 能 会 进 一 有 些 时 候 , 编 译 器 必 须 插 入 转 换 指 令 , 这 又 带 来 了 额 外 的 执 行 周 期 。 可 能 导 致 此 类 情 况 的 条 件 包 括 : 的
类 精 度 浮 点 常 量 ( 定 义 时 不 带 任 何 类 型 后 缀 ) 用 作 单 精 度 浮 点 计 算 的 输 入 ; 或
5.1.1.2 控 制 流 指 令
力 能 算 计 如
后 类 或 更 低 的 设 备 , 应 将 双 精 度 算 法 替 换 为 单 精 度 算 法 。 后
控 制 流 指 令
对 char
short
进 行 操 作 的 函 数 , 其 操 作 数 通 常 需 要 转 换 为 int; 型
B.1.2 浮 点 变 量 用 作 度 精
定 义 的 数 学 函 数 的 双 精 度 版 本 的 输 入 参 数 。 所
的 线 程 分 支 , 从 而 显 著 影 响 有 效 的
型 和 单 精 度 数 学 函 数 。 在 为 不 具 备 本 地 双 精 度 支 持 的 设 备 编 译 时 ,
f 单 精 度 浮 点 常 量 , 在 定 义 时 带 用 使
, 如 3.141592653589793f、1.0f、0.5f; 缀
/ WSIZE) 时 块 块
节
f 数 学 函 数 的 单 精 度 版 本 , 定 义 时 同 样 带 用 使
, 如 sinf()、logf()、expf()。 缀
float 单 精 度 代 码 , 强 烈 建 议 使 用 于 对
为 1.2
任 何 流 控 制 指 令
warp 致 同 一 导 会
节
块
(branch
unroll
或 语 指 来 predication)
令 吞 吐 量 , 也 就 是 说 , 这 些 指 令 会 导 致 线 程 采 用 不 同 的 执 行 路 径 。 如 果 出 现 这 种 情 况 , 就 必 须 序 列 化
(serialize) 不 将 重 新 汇 聚 到 同 一 执 行 路 径 。 指
warp 执 行 路 径 , 因 而 增 加 了 该 的 同
执 行 的 指 令 总 数 。 完 成 所 有 不 同 的 执 行 路 径 时 , 线 程
都
ID 在 控 制 流 以 线 程 了 为
warp 的 情 况 下 获 得 最 佳 性 能 , 应 编 写 控 制 条 件 , 最 小 化 分 支 据 依
的 数 量 。
warp 完 全 可 行 的 , 因 为 是 这
3.1 内 的 分 布 情 况 是 确 定 的 , 如 块 在
所 述 。 以 一 个 简 单 的 情 况 为 例 , 当
或
的
(threadIdx 条 件 仅 依 赖 于 制 控
WSIZE 如 此 , 其 中 的 是 就
warp
的 大 小 。 此 时 不 会 出 现 任
在 使 用 转 移 猜 测 时 , 依 靠 控 制 条 件 执 行 的 任 何 指 令 都 不 会 被 跳 过 。 而 是 分 别 与 一 个 每 线 程 条 件 代 码 或 根 据
何 warp
warp , 因 为 控 制 条 件 与 支 分
美 对 齐 。 完
相 (predicate)
5.1.1.3 存 储 器 指 令
有 些 时 候 , 控 制 器 可 能 会 展 开 循 环 , 或 通 过 使 用 转 移 猜 测
if 化 优
switch
句 ,
warp 将 加 以 介 绍 。 在 这 些 情 况 下 , 不 会 有 任 何 文 下
#pragma 。 程 序 员 还 可 使 用 支 分
令 控 制 循
4.2.5.2 展 开 ( 请 参 见 第 的 环
)。
warp
。 只 有 在 分 支 条 件 控 制 的 指 令 数 量 小 于 或 等 于 特 定 阈 值 时 , 编 译 器 才 会 使 用 猜 测 的 指 令 替 换 分 支 指 令 : 如 果 编 译 确 定 出 有 可 能 产 生 大 量 分 支 的 条 件 , 则 此 阈 值 为 7, 否 则 为 4。 作 数
器 指 令 包 含 读 取 或 写 入 共 享 、 本 地 或 全 局 存 储 器 的 任 何 指 令 。 只 有 在 使 用 某 些 自 动 变 量 时 才 会 发 生 本 节 储 存
到
个
个
块
true 条 件 设 置 为 制 控
false
谓 词
关 联 , 尽 管 每 一 条 指 令 都 为 执 行 而 进 行 了 调 度 , 但 只
true 词 为 谓 有
false 才 会 被 实 际 执 行 。 带 有 令 指
词 的 指 令 不 会 写 入 结 果 , 也 不 会 计 算 地 址 或 读 取 操
__shared__ float shared[32];
__device__ float device[32];
shared[threadIdx.x] = device[threadIdx.x];
个 个
到
个
CUDA 编
37
果 在 等 待 全 局 存 储 器 访 问 完 成 时 有 足 够 的 独 立 算 数 指 令 可 发 出 , 则 线 程 调 度 程 序 可 隐 藏 这 样 的 全 局 存 储 如
例 说 明 , 注 意 以 下 示 例 代 码 中 的 赋 值 运 算 符 : 举
4.2.2.4 储 器 访 问 , 详 见 第 存 地
。
4 理 器 要 占 用 处 多
warp 周 期 来 为 一 个 钟 时
发 出 一 条 存 储 器 指 令 。 在 访 问 本 地 或 全 局 存 储 器 时 , 还
400 额 外 的 在 存
600
钟 周 期 的 存 储 器 延 迟 。 时
4 占 用 将 它
时 钟 周 期 来 发 送 全 局 存 储 器 的 读 取 指 令
时 钟 周 期 来 发 送 共 享 存 储 器 的 写 入 指 令 , 但
2.0 南 , 版 本 指 程
400 需 要 共 总
600
钟 周 期 来 从 全 局 存 储 器 读 取 一 个 浮 点 数 。 时

个
,type
位
、64 位
个
或
条
位
的
位
块
出 指 令 。 发
5.1.1.4 同 步 指 令
,__syncthreads 将
5.1.2 存 储 器 带 宽
程 需 要 等 待 其 他 线 程 线 何 任 有 没 果 如
存 储 器 带 宽
若 在 与 将
存 储 器 空 间 的 有 效 带 宽 主 要 取 决 于 访 问 模 式 下 面 几 节 将 介 绍 相 关 内 容 由 于 设 备 存 储 器 比 片 上 存 储 器 的 延 迟 更 高 、 带 宽 更 低 , 因 此 应 尽 量 减 少 设 备 存 储 器 访 问 。 典 型 的 编 程 模 式 是 将 来 自 设 备 存 储 器 的 数 据 转 入 共 享 存 储 器 , 也 就 是 说 , 使 一 个 块 的 所 有 线 程 各
自 设 备 存 储 器 的 载 入 共 享 存 储 器 共 享 存 储 器 中 处 理 数 据 ; 来
4 用 占
warp 周 期 来 为 一 个 钟 时
5.1.2.1 全 局 存 储 器
:。
块 中 的 其 他 所 有 线 程 同 步 , 使 各 线 程 可 安 全 地 读 取 由 其 他 线 程 写 入 的 共 享 存 储 器 位 置 ; 有 必 要 , 再 次 进 行 同 步 , 确 保 使 用 结 果 更 新 了 共 享 存 储 器 ; ;
值 : 赋
果 写 回 设 备 存 储 器 。 结
__device__ type device[32];
问 的 高 昂 成 本 时 更 是 如 此 。 访 器 储 存
type data = device[tid];
sizeof(type) 字 必
的 等
的
全 局 存 储 器 空 间 不 会 被 缓 存 , 因 而 采 用 正 确 的 访 问 模 式 来 实 现 最 大 化 的 存 储 器 带 宽 尤 为 重 要 , 考 虑 到 设 备
节
或
32 , 设 备 能 够 通 过 一 条 指 令 将 全 局 存 储 器 中 的 先 首
或 128
读 入 寄 存 器 。 对 于 下 面 这 样 的
类
或
来
struct __align__(8) {
float a;
float b;
};
对
将 其 编 译 为 一 条 加 载 指 令
sizeof(type) 使 须
于 4、8
16,
type 为 型
量 必 须 与 变
sizeof(type) 致 ( 也 就 是 说 , 它 的 地 址 必 须 是 一 节
倍 数 )。
齐 要 求 , 举 例 如 下 :
struct __align__(16) {
对
};
float a;
float b;
float c;
个
4.3.1.1 于 对
float2 的 内 置 类 型 , 如 绍 介
float4,
要 求 可 自 动 满 足 。 齐
__align__(8) 结 构 体 来 说 , 可 通 过 使 用 对 齐 说 明 符 于 对
__align__(16)
使 编 译 器 实 施 大 小 和
节 的 结 构 体 来 说 , 编 译 器 会 生 成 多 条 加 载 指 令 。 为 了 确 保 生 成 的 指 令 数 量 最 少 , 应 使 用 字
__align__(16)
struct __align__(16) {
float a;
float b;
float c;
float d;
float e;
};
定
: 或
于 超 对
条
此 类 结 构 体 , 举 例 如 下 义
位
38 CUDA 编
过 16
加 载 指 令 , 而 的 加 载 指 令 。 位 于 全 局 存 储 器 中 的 变 量 的 地 址 , 或 由 驱 动 程 序 或 运 行 存 储 器 分 配 例 程 返 回 的 变 量 地 址 总 是 会 字 节 。
:
2 编 译 为 将 这
非 5
2.0 南 , 版 本 指 程
256 到 至 少 齐 对
时 API
128
32

warp , 当 半 块 中 的 线 程 同 时 进 行 的 存 储 器 访 问 ( 在 单 独 一 条 读 取 或 写 入 指 令 执 行 的 过 程 中 ) 可 合 并 一 个 存 储 器 事 务 , 全 局 存 储 器 带 宽 的 使 用 效 率 将 达 到 最 高 。 存 储 器 次 其
(memory transaction)
32 1.2 )、64 128
warp
大 小 可 为 字 节 ( 仅 针 对 为 或 更 高 设 备 位 或 位 本 节 的 后 续 内 容 将 介 绍 根 据 设 备 的 计 算 能 力 合 并 存 储 器 访 问 的 各 种 需 求 。 如 果 半 务 事 时 (coalesce)
warp
能 够 满 足 这 些 需 求 , 即 便 在 块 分 支 、 块 的 某 些 线 程 并 未 实 际 访 问 存 储 器 的 情 况 下 , 也 可 实 现 合 并 。 。
下 面 的 讨 论 中 , 全 局 存 储 器 将 被 视 为 分 区 成 大 小 等 或 字 节 的 部 分 , 并 且 对 齐 到 此 大 小 。 块 在
warp
warp
半
满 足 以 下 三 个 条 件 , 半 的 线 程 必 须 访 问 果 如
在 计 算 能 力 为 1.0 和 1.1 的 设 备 上 进 行 存 储 器 合 并
32、64 128 于
32 64
64 128
128 128
储 器 访 问 都 会 合 并 为 一 个 或 两 个 存 储 器 事 务 : 位 , 得 到 一 个 字 节 的 存 储 器 事 务 ,
一 , 所 有
16
线
128
程 进 行 的 全 局 存
存 储 器 事 务 ; 全 部 个 字 必 须 位 于 大 小 等 于 存 储 器 事 务 大 小 的 同 一 个 存 储 器 段 (segment) 中 ( 在 访 问 位 字 的 情 况 下 , 位 于 存 储 器 事 务 大 小 两 倍 的 分 段 中 ); 的 节 字 个 两 到 得 , 字 或 必 须 按 顺 序 访 问 字 : 块 中 的 个 线 程 必 须 访 问 个 字 。 如 果 块 不 满 足 上 述 所 有 需 求 , 将 为 各 线 程 发 出 一 个 独 立 的 存 储 器 事 务 , 而 吞 吐 量 将 显 著 降 低 。 显 示 了 接 合 后 的 存 储 器 访 问 的 示 例 , 而 和 显 示 了 未 为 计 算 能 力 或 的 设 备 进 行 存 储 器 合 并 的 存 储 器 访 问 示 例 。 程
线
warp k k
warp
5-1 5-2 5-3 1.0 1.1
第
64
第
32 128
32 32
64 4 ,128
半
2
半
的 位 访 问 带 宽 比 存 储 器 合 并 后 的 位 访 问 相 比 略 低 而 存 储 器 合 并 后 的 位 访 问 则 位 访 问 带 宽 低 出 许 多 。 然 而 , 同 为 位 访 存 时 , 尽 管 未 存 储 器 合 并 的 访 问 的 带 图 图 图 是
器 合 并 后 的 访 问 带 宽 要 低 一 个 数 量 级 , 但 同 为 位 情 况 下 , 前 者 带 宽 比 后 者 低 倍 位 情 况 下 , 前 者 带 宽 比 后 者 低 倍 。 后 并 储 存 比 宽 合 器 储 存
在 计 算 能 力 为 1.2 或 更 高 的 设 备 上 进 行 存 储 器 合 并
warp 所 有 半 块 的 所 有 线 程 访 问 的 字 位 于 大 小 满 足 以 下 条 件 的 同 一 个 存 储 器 段 内 , 所 有 线 程 进 行 的 全 局 存 储 器 访 问 都 会 合 并 为 一 个 或 两 个 存 储 器 事 务 : 要 只
如 块
块
位 字 8 32
16 64
32 64 128
warp warp n n 字 , 则 为 节 ;
n 1 16 128
果 所 有 线 程 都 访 问 或 字 , 则 为 节 。 半 所 请 求 的 任 何 地 址 模 式 都 会 实 现 存 储 器 合 并 包 括 多 个 线 程 同 一 个 地 址 的 模 式 。 这 与 具 有
能 力 的 设 备 的 情 况 截 然 不 同 , 在 那 种 情 况 下 , 线 程 需 要 串 行 地 访 问 字 。
128 64
如 果 半 在 不 同 的 存 储 器 段 内 对 字 进 行 寻 址 , 则 发 出 存 储 器 事 务 ( 每 个 事 务 针 对 一 个 存 储 器 段 ), 而 计 算 能 力 较 低 的 设 备 将 在 于 发 出 事 务 。 具 体 来 说 , 如 果 线 程 访 问 , 则 至 少 发 出 两 个 存 储 器 事 务 。
warp
较 低 计 算
事 务 中 , 无 用 字 也 会 被 读 取 , 这 将 浪 费 带 宽 。 为 减 少 浪 费 , 硬 件 将 自 动 发 出 包 含 所 请 求 的 字 的
8 32
最 小 的 存 储 器 事 务 。 举 例 来 说 , 如 果 全 部 字 都 位 于 一 个 字 节 分 区 的 一 半 , 则 发 出 一 个 位
16 64 32 、64 128 128
的 事 务 。
更 精 确 地 来 说 , 以 下 协 议 用 于 为 半 块 发 出 存 储 器 事 务 : 在
存
128
储
64
器
编 号 最 的 活 动 线 程 所 请 求 地 址 的 存 储 器 段 。 对 于 位 数 据 来 说 , 段 大 小 是 字 节 , 对 于 数 据 是 字 节 , 对 于 位 位 和 位 数 据 是 字 节 。
CUDA 2.0 39
求 位 于 同 一 存 储 器 段 内 的 地 址 的 其 他 所 有 活 动 线 程 。 尽 可 能 减 小 事 务 的 大 小 :
包 含
大 小 为 字 节 , 而 且 仅 使 用 了 下 半 或 上 半 , 则 将 事 务 大 小 缩 减 为 字 节 ; 务 事 果 如 请 找 查
本 版 , 南 指 程 编
个
位
大
时
字
个
个
位

字
存
存
或 块
(inactive)。
。
。
得 到 一 个 存 储 器 事 务 。
存 储 器 合 并 后 的 存 储 器 访 问 模 式 示 例 。
字
。 节
重
如
展
64 务 大 小 为 事 果
32 而 且 仅 使 用 了 下 半 或 上 半 , 则 将 事 务 大 小 缩 减 为 , 节
执 行 事 务 , 并 将 得 到 服 务 的 线 程 标 记 为 不 活 动
1.2 计 算 能 力 为 了 示
更 高 的 设 备 的 全 局 存 储 器 访 问 示 例
warp 述 操 作 , 直 至 为 半 上 复
中 的 所 有 线 程 提 供 了 服 务
图 5-4
储 器 访 问 , 得 到 一 个 存 储 器 事 务
40 CUDA 编
float : 存 储 器 合 并 后 的 侧 左
float : 存 储 器 合 并 后 的 侧 右
器 访 问 ( 分 支 warp), 储
图 5-1.
2.0 南 , 版 本 指 程

存
未 为 计
程 指 南 , 版
个
个
或
务
的 设 备 进 行 存 储 器 合 并 的 全 局 存 储 器 访 问 模 式 示 例 。
储 器 事 务 存 储 器 事 存
CUDA 编
41
float : 非 连 续 的 侧 左
16 访 问 , 得 到 器 储
16 : 使 用 未 对 齐 的 起 始 地 址 , 得 到 侧 右
图 5-2.
为 计 是 算 能 力 未
是 1.0
1.1
本 2.0

存
存
未
个
或
个
。
的 设 备 进 行 存 储 器 合 并 的 全 局 存 储 器 访 问 模 式 示 例
存 储 器 事 务 42 CUDA 编
float : 不 相 邻 的 侧 左
16 访 问 , 得 到 器 储
float3 : 不 相 邻 的 侧 右
16 访 问 , 得 到 器 储
图 5-3.
是 未 为 计 算 能 力 是 1.0
1.1
2.0 南 , 版 本 指 程

字
字
存
存
,type
计
(Common
南 , 版 指 程
存
或
类
为
的
。
是
节 的 存 储 器 段 内 的 随
一 般 访 问 模 式
间 右 侧 : 未 对 齐 中
CUDA 编
type*
43
组 存 储 于 存 储 器 之 中 , 而 不 是 单 独 一 个 型 的 数 组 。 数 个
64 : 在 一 个 侧 左
float
Access
机
是 处
Pattern)
一 个 数 组 的 一 个 元 素 : 的
每 个 线 程 使 用 以 下 地 址 访
储 器 访 问 , 得 到 一 个 存 储 器 事 务
的 float
的 float
图 5-4.
为 计 算 能 力 为 1.2
或 更 高 的 设 备 的 全 局 存 储 器 访 问 示 例
BaseAddress + tid
必
器 访 问 , 得 到 一 个 事 务 。 储
器 访 问 , 得 到 两 个 事 务 。 储
局 存 储 器 的 一 般 访 问 模 式 全
为 了 实 现 存 储 器 合 并
须 满 足 上 文 介 绍 的 大 小 和 对 齐 要 求 。 具 体 来 说 , 这 也 就 意 味 着 , 如
问 类 型 为 type*、
位
本 2.0
ID 线 程 : 指
tid
BaseAddress 址 地 于
果 type
16 大 于 个 一
节 的 结 构 体 , 就 应 将 其 分 割 为 多 个 满 足 这 些 需 求 的 结 构 体 , 而 数 据 应 作 为 此 类 结 构 体 的 多

(local
(padding),
块
块
是
的
块
节
个
块
:
倍 个
块
的
块
(bank 访 conflict),
(bank),
址
和
块
路
BaseAddress 处
的
BaseAddress + width * ty + tx
ty) 的
Width
线
(tx, 一 种 全 局 存 储 器 一 般 访 问 模 式 是 索 引 为 外 另
于 地
cuMemAllocPitch() 函
5.1.2.2 本 地 存 储 器
维 数 组 中 的 一 个 元 素 大 小 的 倍 数 ; 二
数 。
么 对 于 该 数 组 的 访 问 就 越 有 效 率 。 参 考 手 册 中 介 绍 倍
memory) 访
应 的 填 充 那 数 和 相 关 的 存 储 器 复 制 函 数 使 程 序 员 能 够 编 写 不 依 赖 于 硬 件 的 代 码 , 以 分 配 符 合 这 些 限 制 条 件 的 数 组 。 相
节
实 现 存 储 器 合 并 : 位
数 , 并 且 行 得 到 了 倍
线 程 使 用 以 下 地 址 访 问 类 型 为 type*、 各
width 度 为 宽 、
warp 种 情 况 下 , 只 有 满 足 了 以 下 条 件 , 才 能 为 线 程 块 的 所 有 半 这 在
warp 的 宽 度 是 半 块 程
16
16 来 说 , 这 也 就 意 味 着 , 宽 度 不 是 体 具
16 的 数 组 在 分 配 时 的 宽 度 越 接 近 数 倍
所 述 与 全 局 存 储 器 空 间 相 似 , 本 地 存 储 器 空 间 不 会 被 缓 存 , 因 此 本 地 存 储 器 的 访 问 成 本 与 全 局 存 储 器 一 样 高 。 但 由 于 它 们 在 定 义 上 是 基
的 cudaMallocPitch()
5.1.2.3 常 量 存 储 器
4.2.2.4 由 某 些 自 动 变 量 分 配 , 如 第 仅 问
每 个 线 程 的 , 因 而 访 问 总 是 会 合 并 。 于 存 储 器 空 间 会 被 缓 存 , 因 此 常 量 存 储 器 的 读 取 仅 需 在 缓 存 丢 失 时 读 取 一 次 设 备 存 储 器 , 否 则 只 需 读 取 常 量 缓 存 即 可 。
warp
warp
度 一 样 快 。 成 本 随 着 所 有 线 程 读 取 的 不 同 地 址 的 数 量 增 加 而 线 性 增 加 。 我 们 建 议 , 使 整 个 的 所 有 线 程 都 读 取 相 同 的 地 址 , 而 不 仅 仅 是 保 证 各 半 中 的 所 有 线 程 都 读 取 相 同 的 地 址 , 因 为 未 来 速 的 器
5.1.2.4 纹 理 存 储 器
设 备 可 能 要 求 全 速 读 取 。 的
warp 半 于 对
的 所 有 线 程 来 说 , 只 要 所 有 线 程 都 读 取 同 一 个 地 址 , 从 常 量 缓 存 读 取 的 速 度 就 与 读 取 寄 存
宽 要 求 , 但 不 涉 及 拾 取 延 迟 。 带
(streaming 也 fetch),
5.1.2.5 共 享 存 储 器
理 存 储 器 空 间 会 被 缓 , 因 此 纹 理 拾 取 仅 需 在 缓 存 丢 失 时 读 取 一 次 设 备 存 储 器 , 否 则 只 需 读 取 纹 理 缓 存 纹
从 全 局 存 储 器 或 常 量 存 储 器 读 取 设 备 存 储 器 的 方 法 相 比 , 通 过 纹 理 拾 取 读 取 设 备 存 储 器 可 能 是 一 种 更 有 与
warp 。 纹 理 缓 存 已 为 二 维 空 间 位 置 而 优 化 , 因 此 读 取 相 邻 纹 理 地 址 的 同 一 个 可 即
的 线 程 将 实 现 最 高 性
于 共 享 存 储 位 于 芯 片 上 , 因 而 共 享 存 储 器 空 间 比 本 地 和 全 局 存 储 器 空 间 的 速 度 都 要 快 得 多 。 实 际 上 , 对 中 的 所 有 线 程 来 说 , 只 要 线 程 间 不 存 在 存 储 体 冲 突 问 共 享 存 储 器 的 速 度 就 与 访 问 寄 存 器 一 样 快 , 下 面 将 详 细 介 绍 相 关 内 容 。 由
于 warp
能 。 此 外 , 它 设 计 用 于 以 固 定 的 延 迟 执 行 流 式 拾 取
DRAM 说 , 一 次 缓 存 命 中 将 减 少 是 就
44 CUDA
但 若 一 个 储 器 请 求 的 两 个 地 址 落 入 同 一 个 存 储 体 内 , 就 会 出 现 存 储 体 冲 突 , 访 问 必 须 串 行 化 。 硬 件 会 在 必 要 时 将 存 在 存 储 体 冲 突 的 存 储 器 请 求 分 割 为 多 个 不 冲 突 的 请 求 , 此 时 有 效 带 宽 将 降 低 为 原 带 宽 除 以 分 离
编
5.4 的 替 代 方 法 , 详 见 第 势 优
。
实 现 , 得 到 更 高 效 的 带 宽 , 可 达 到 单 独 一 个 模 块 的 带 宽 的 n
。
这
2.0 南 , 版 本 指 程
为 了 获 得 较 高 的 存 储 器 带 宽 , 共 享 存 储 器 被 划 分 为 多 个 大 小 相 等 的 存 储 器 模 块 , 称 为 存 储 体
n 储 体 可 同 时 访 问 。 因 此 , 对 落 入 存 些
n 存 储 体 的 同 不
地 址 的 任 何 存 储 器 读 取 或 写 入 请 求 都 可 同 时
n 存 储 器 请 求 的 数 量 。 如 果 分 离 后 的 存 储 器 请 求 数 量 为 n, 就 可 以 说 初 始 存 储 器 请 求 导 致 了 的 后

块
和
展
个 的 位
,warp
块 块 块
位
位
是
展
块
等
时
节
是
(stride)
位
块
和
是 时
__shared__ float shared[32];
float data = shared[BaseIndex + s * tid];
存
的 和 访 的 是
位
tid 进
的
块
的
突 。
存 储 体 冲 突 。 为 了 获 得 最 大 化 的 性 能 , 有 必 要 理 解 存 储 器 地 址 如 何 映 射 到 存 储 体 以 调 度 存 储 器 请 求 , 以 最 小 化 存 储 体 冲
(n-way)
32 共 享 存 储 器 空 间 , 存 储 体 采 用 了 这 样 一 种 组 织 方 式 : 为 连 续 的 存 储 体 分 配 连 续 的 于 对
字 , 每 个 存 储
32 带 宽 都 是 的 体
/2
钟 周 期 。 时
1.x 计 算 能 力 为 于 对
设 备
大 小 是 32, 的
体 的 数 量 为 16( 储
5.1 第 见
);warp
的 共
参
为
warp 储 器 请 求 将 分 割 为 一 个 针 对 存 享
warp 部 分 的 请 求 和 一 个 针 对 半 上
下 半 部 分 的 请 求 。 因 而 , 属
于 warp
warp 部 分 的 线 程 和 属 于 一 第
二 部 分 的 线 程 之 间 不 可 能 出 现 存 储 体 冲 突 。 第
32 常 见 的 情 况 就 是 各 线 程 访 问 数 组 中 的 种 一
ID 使 用 线 程 , 字
行 索 引 , 步 幅
s:
是
的
s*n 例 中 , 只 要 本 在
m 体 储 存
n , 或 者 说 只 要 数 倍
m/d
d ( 其 中 数 倍
m
s
最 大 公
char 数
__shared__ char shared[32];
char data = shared[BaseIndex + tid];
, 则 将 出 现 存 储 体 冲 突 : 组
和
位
属
tid ), 线 程 数 约
tid+n
warp 就 是 同 一 个 存 储 体 。 因 而 , 只 有 在 的 问
m/d 半 大 小 小 于 等 于 一 的
,
1.x 会 存 在 存 储 体 冲 突 。 对 于 计 算 能 力 是 不 才
d , 可 以 说 只 有 在 备 设
于 1
s 者 说 只 有 在 或 ,
图 5-5
图 5-6
5-7 无 冲 突 存 储 器 访 问 的 示 例 , 图 了 示
了 导 致 存 储 体 冲 突 的 存 储 器 访 问 示 例 。 示
char data = shared[BaseIndex + 4 * tid];
double
__shared__ double shared[32];
double data = shared[BaseIndex + tid];
位 数
突 , 但 若 通 过 以 下 方 式 访 问 同 一 个 数 组 : 路 冲
操
m 时 , 才 不 会 存 在 存 储 体 冲 突 , 因 为 数 奇
2
。 幂
shared[0]、shared[1]、shared[2] 来 说 , 由 于 例 举
shared[3]
于 同 一 个 存 储 体 。 因 此 不 存 在 存 储 体
32 值 得 注 意 的 情 况 还 包 括 在 各 线 程 访 问 小 于 或 大 于 他 其
元 素 时 。 举 例 来 说 , 如 果 通 过 以 下 方 式 访 问 的
__shared__ int shared_lo[32];
__shared__ int shared_hi[32];
double dataIn;
shared_lo[BaseIndex + tid] = __double2loint(dataIn);
shared_hi[BaseIndex + tid] = __double2hiint(dataIn);
double dataOut =
__hiloint2double(shared_hi[BaseIndex + tid],
shared_lo[BaseIndex + tid]);
数 分 割 为 两 部 分 , 如 以 下 示 例 代 码 所 示 : 作
2 存 在 将 组
储 体 冲 突 : 存
__shared__ struct type shared[32];
struct type data = shared[BaseIndex + tid];
这 种 做 法 并 非 总 是 能 够 提 高 性 能 , 在 未 来 的 架 构 中 可 能 表 现 更 差 。 结 构 体 赋 值 将 在 必 要 时 编 译 为 针 对 结 构 体 中 各 成 员 的 多 个 存 储 器 请 求 , 因 此 , 以 下 代 码 : 但
32 存 储 器 请 求 将 编 译 为 两 个 独 立 的 于 由
double 。 在 本 例 中 避 免 存 储 体 冲 突 的 方 法 之 一 就 是 将 求 请
如
定
struct type {
:
};
float x, y, z;
如
得 到 以 下 结 果 将
定
struct type {
float x, y;
};
如
定
struct type {
CUDA 编
45
果 type
如 下 , 则 进 行 两 次 有 存 储 体 冲 突 的 存 储 器 读 取 : 义
果 type
如 下 , 则 进 行 三 次 无 存 储 体 冲 突 的 存 储 器 读 取 : 义
32 因 为 每 个 成 员 都 是 使 用 三 个 是 这
作 为 步 幅 访 问 的 。 字
32 因 为 每 个 成 员 都 是 使 用 两 个 是 这
作 为 步 幅 访 问 的 。 字
2.0 南 , 版 本 指 程
果 type
如 下 , 则 进 行 两 次 有 存 储 体 冲 突 的 存 储 器 读 取 : 义

展
位
(step),
个
块
(random
无
permutation)。
块
(subset)
位
位
位
字 内 的 地 址 时 , 这 会
};
float f;
char c;
字 的 存 储 器 读 取 请 求 提 供
5 因 为 每 个 成 员 都 是 使 用 是 这
选
终 , 共 享 存 储 器 也 会 运 用 一 种 广 播 服 务 时 同 步 将 其 读 取 并 广 播 给 多 个 线 程 。 在 最
半 warp
32 从 而 能 够 在 对 一 个 , 制
子
节 作 为 步 幅 访 问 的 。 机 减 少 存 储 体 冲 突 的 数 量 。 更 精 确 地 来 说 , 包 含 多 个 地 址 的 存 储 器 读 取 请 求 是 通 过 几 个 步 骤 逐 渐 完 成 的 —— 字
提
(broadcas)
广
每
32 个 线 程 读 取 同 一 个 多 的
剩
两 个 时 钟 周 期 一 步 为 一 个 无 存 储 体 冲 突 子 集 提 供 服 务 ; 在 每 个 步 骤 中 都 通 过 以 下 步 骤 在 尚 未 被 服 务 的 地 址 中 建 立 子 集 : 每
供 服 务 , 直 至 为 所 有 地 址
剩 一 个 字 作 为 广 播 字 ; 集 中 包 括 : 播 字 内 的 所 有 地 址 ; 择
地 址 指 向 的 各 存 储 体 的 地 址 。 不 指 定 在 每 个 周 期 选 择 哪 个 字 作 为 广 播 字 以 及 为 各 存 储 体 选 择 哪 个 地 址 。 余
图 5-8
了 包 括 广 播 机 制 在 内 的 存 储 器 读 取 访 问 的 示 例 。 示
warp 常 见 的 无 冲 突 情 况 就 是 半 种 一
32 所 有 线 程 都 读 取 同 一 个 的 中
内 的 地 址 。 字
右 侧 : 随 机 排 列
无 存 储 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 例
的 线 性 寻 址 。 字
46 CUDA 编
2.0 南 , 版 本 指 程
32 : 步 幅 为 一 个 侧 左
图 5-5.

位
的 线 性 寻 址 。 字
程 指 南 , 版
无 存 储 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 例
CUDA 编
47
32 为 三 个 幅 步
图 5-6.
本 2.0

个 位
位
有
例
二 字 的 线 性 寻 址 将 导 致 八 路 存 储 体 冲 突 。
例 有 存 储 体 冲 突 的 共 享 存 储 器 访 问 模 式 示 2 : 步 幅 为 侧 左
图 5-7.
32
48 CUDA 编
8 : 步 幅 为 侧 右
32
2.0 南 , 版 本 指 程

的
。
个
使 用 广 播 机 制 的 共 享 存 储 器 读 取 访 问 模 式 示 例
或
类
内
内 的 地 址 。 的 字 在 第 一 个 步 中 被 选 作 广 播 字 ), 要 么 位
5.1.2.6 寄 存 器
存 储 体 冲 突 路 二 致 导 会
寄 存 器
CUDA 编
49
32 : 这 种 访 问 模 式 不 存 在 冲 突 , 因 为 所 有 线 程 都 读 取 同 一 个 侧 左
5 : 这 种 访 问 模 式 要 么 不 会 导 致 存 储 体 冲 突 ( 如 果 存 储 体 侧 右
图 5-8.
般 而 言 , 访 问 寄 存 器 不 会 给 每 条 指 令 带 来 额 外 的 时 钟 周 期 , 但 写 入 后 读 取 依 赖 关 系 和 寄 存 器 的 存 储 体 冲 突 可 能 会 导 致 延 迟 。 一
译 器 和 线 程 调 度 程 序 将 尽 可 能 以 最 优 方 式 调 度 指 令 , 避 免 出 现 寄 存 器 的 存 储 体 冲 突 。 当 每 个 块 的 线 程 数 编
float4 来 说 , 无 需 将 数 据 转 换 成 体 具
int4
。 型
2.0 南 , 版 本 指 程
192 每 个 多 处 理 器 至 少 有 果 如
动 线 程 , 写 入 后 读 取 依 赖 关 系 带 来 的 延 迟 可 忽 略 不 计 。 活
64 是 量
倍 数 时 , 这 种 方 法 的 效 果 最 优 。 除 了 遵 从 此 规 则 之 外 , 应 用 程 序 无 法 直 接 控 制 这 些 存 储 体 冲 突 。

,ceil(T,
节
的
个
的
选
块
或
块
块
或
,B
或
所
个
节
块
或
。CUDA
,T
或
个
5.2 每 个 块 的 线 程 数 量
定 每 个 网 格 的 线 程 总 数 、 每 线 程 总 数 ( 网 格 包 含 的 块 数 ), 应 选 择 最 大 化 可 用 计 算 资 源 的 利 用 率 。 这 意 味 着 块 的 数 量 至 少 应 与 设 备 中 的 多 处 理 器 数 量 相 同 。 此 外 , 每 个 多 处 理 器 仅 运 行 一 个 块 将 使 多 处 理 器 在 线 程 同 步 过 程 中 出 现 空 闲 , 如 果 每 个 块 中 没 有 足 够 的 线 给
程 可 容 纳 负 载 延 迟 , 则 在 设 备 存 储 器 读 取 过 程 中 也 会 出 现 空 闲 。 因 而 , 最 好 允 许 在 每 个 多 处 理 器 上 存 在 两
或 多 个 活 动 块 , 从 而 允 许 等 待 块 与 运 行 的 块 间 存 在 重 叠 。 为 此 , 块 的 数 量 至 少 应 为 设 备 中 多 处 理 器 数 量 的 二 倍 , 而 且 为 每 个 块 所 分 配 的 共 享 存 储 器 也 至 少 应 为 每 个 多 处 理 器 可 用 的 共 享 存 储 器 总 量 的 一 半 ( 请 参 见 )。 如 果 有 更 多 的 线 程 块 以 流 水 线 的 形 式 通 过 设 备 , 则 开 销 将 进 一 步 降 低 。 个
代 的 设 备 上 。 的 节 数
每 个 块 分 配 更 多 线 程 可 实 现 有 效 的 时 间 分 割 , 但 每 个 块 的 线 程 越 多 , 每 个 线 程 可 用 的 寄 存 器 就 越 少 。 如 为
第 3.1
线 程 数
附
出 的 各 多 处 理 器 的 寄 存 器 总 数 每 个 多 处 理 器 的 活 动 块 数 量 倍 数 。 给
每 个 块 的
32) 是 中 是
四
的
是
是
100;1000 希 望 网 格 有 能 力 扩 展 到 未 来 的 设 备 , 每 个 网 格 的 块 数 量 至 少 应 为 果 如
块 将 能 够 扩 展 到 此 后
内 核 编 译 时 使 用 了 超 过 执 行 配 置 允 许 数 量 的 寄 存 器 , 这 可 能 会 妨 碍 内 核 调 用 。 果
warp 的 数 量 足 够 多 后 , 每 个 块 的 线 程 数 量 应 为 块 在
warp 的 倍 数 , 避 免 因 小 大
填 充 不 足 而 造 成 的 计
64 源 浪 费 , 最 好 使 线 程 数 量 是 资 算
5.1.2.6 , 详 见 第 数 倍
述 。 所
1.x 计 算 能 力 为 于 对
备 来 说 , 每 个 线 程 可 用 的 寄 存 器 数 量 等 于 : 设
long
long, 计 变
R 中 其
录 A
将 T
32 入 为 最 接 近 的 五 舍
–ptxas-options=-v 在 编 译 时 使 用 果 如
, 编 译 器 将 报 告 内 核 编 译 所 使 用 的 寄 存 器 数 量 ( 以 及 本 地 、 共 享 更 高 的 设 备 的 每 个 多 处 理 器 的 寄 存 器 数 量 都 是 项
double 量 存 储 器 使 用 情 况 )。 请 注 意 , 每 个 常 和
long
量 都 为 本 地 支 持 这 些 类 型 的 设 备 使 用 两 个
最 大 化 占 用 率 , 编 译 器 会 尝 试 最 小 化 寄 存 器 的 使 用 , 程 序 员 需 要 谨 慎 选 择 执 行 配 置 供 了 一 份 电 子 表 格 , 可 帮 助 程 序 员 根 据 共 享 存 储 器 和 寄 存 器 要 求 选 择 线 程 块 的 大 小 。 为
1.2 器 , 也 就 是 计 算 能 力 为 存 寄
更 高 的 设 备 对 应
高 的 设 备 对 应 于 更
Development Kit 提
Software
线
于 long
1.3 力 为 能 算
但 计 算 能 力 低
double。
1.2 算 能 力 较 低 的 设 备 相 比 , 计 算 能 力 为 计 与
于 1.2
5.3 宿 主 和 设 备 间 的 数 据 传 输
备 的 二 倍 。 程 是 更 理 想 的 情 况 , 允 许 使 用 足 够 的 寄 存 器 进 行 编 译 。 设
64 块 最 少 有 个 每
192 , 这 仅 在 每 个 多 处 理 器 有 多 个 活 动 块 时 才 是 有 意 义 的 。 每 个 块 程 线
256
warp 多 处 理 器 活 动 个 每
warp 与 活 动 量 数
A 数 量 ( 如 附 录 大 最
示 ) 的 比 率 称 为 多 处 理 器 占 用 率 。
和 设 备 存 储 器 之 间 的 带 宽 比 设 备 存 储 器 和 宿 主 存 储 器 之 间 的 带 宽 高 得 多 。 因 而 , 应 尽 力 最 小 化 宿 主 和 设 备 之 间 的 数 据 传 输 , 例 如 , 将 更 多 代 码 从 宿 主 迁 移 到 设 备 —— 即 便 这 意 味 着 以 并 行 性 更 低 的 计 算 方 式 运 行 内 核 。 设 备 存 储 器 中 可 能 会 创 建 中 间 数 据 结 构 , 由 设 备 , 而 且 在 销 毁 时 不 会 被 宿 主 映 射 , 也 不 会 复 制 到 宿 主 存 储 器 。
外 , 考 虑 到 与 每 相 关 的 开 销 , 将 多 个 较 小 的 传 输 操 作 整 合 为 一 次 较 大 的 成 批 传 输 操 作 的 性 能 总 是 优 于 分 别 进 行 每 一 次 传 输 。 此
50 CUDA 编
4.5.1.2 , 在 使 用 分 页 锁 定 存 储 器 时 , 宿 主 和 设 备 间 的 带 宽 更 高 , 如 第 后 最
述 。 所
2.0 南 , 版 本 指 程

节
位
数
之
节
节
或
(locality),
数
位
节
节
5.4 纹 理 拾 取 与 全 局 或 常 量 存 储 器 读 取 的 对 比
它
节
节
寻
打
8
4.3.4.1 节 位
1.0]
;
1.0] 区
是 缓 存 的 , 因 而 假 如 纹 理 拾 取 中 存 在 数 据 局 部 性 理 拾 取 将 表 现 出 更 高 的 带 宽 ; 它 们 不 受 制 于 存 储 器 访 问 模 式 的 限 制 , 而 全 局 或 常 量 存 储 器 读 取 必 须 遵 从 此 类 限 制 以 获 得 较 好 的 性 能
读 取 全 局 或 常 量 存 储 器 相 比 , 通 过 纹 理 拾 取 实 现 设 备 存 储 器 读 取 有 着 一 些 优 势 : 纹 与
计 算 的 延 迟 得 到 了 更 好 的 隐 藏 , 可 能 改 进 执 行 随 机 数 据 访 问 的 应 用 程 序 的 性 能 ; 址
包 的 数 据 可 通 过 一 次 操 作 广 播 给 不 同 的 变 量
5.1.2.1 参 见 第 请 (
和 5.1.2.3
);
)。
和 16
[0.0, 输 入 数 据 可 转 换 为 型 整
[-1.0,
32 的 内 间
点 值 ( 请 参 见 第 浮
, 特 别 是 图 像 处 理 :
特 性
适 用 场 景 用
提 示
5.5 整 体 性 能 优 化 策 略
一 的 纹 理 坐 标 独 立 于 分 辨 率 的 编 码 寻 址 模 式 自 动 处 边 界 情 况 仅 适 用 于 归 一 化 坐 标 但 在 个 内 核 调 用 中 , 纹 理 缓 存 不 会 在 全 局 存 储 器 写 入 方 面 保 持 连 贯 性 , 因 此 如 果 纹 理 拾 取 针 对 的 是 通 归
CUDA
化
一 内 核 调 用 的 全 局 写 入 操 作 写 入 的 地 址 , 则 将 返 回 不 确 定 的 数 据 。 换 句 话 说 仅 在 存 储 器 位 置 已 由 之 前 内 核 调 用 存 储 器 复 制 更 新 时 , 线 程 才 能 通 过 纹 理 安 全 读 取 某 些 存 储 器 位 置 , 但 如 果 已 由 同 一 内 核 调 用 的 同 一 线 程 或 其 他 线 程 更 新 , 则 并 非 如 此 。 二 者 仅 在 使 用 无 法 写 入 组 的 内 核 从 线 性 存 储 器 拾 取 时 才 有 所 相 关 。 同 过
CUDA 纹 理 是 一 个 果 如
4.3.4.2 请 参 见 第 ( 组
), 硬 件 提 供 的 其 他 功 能 可 能 对 不 同 的 应 用 程 序 非 常 有
Texel 滤 过
的 快 速 、 低 精 度 的 插 值 仅 在 纹 理 参 考 返 回 浮 点 数 据 时 有 效 间
最
能 优 化 是 以 三 项 基 本 策 略 为 基 础 演 化 出 来 的 : 大 化 并 行 执 行 ; 性
优
优
__syncthreads(), 在
需 要 同 步 以 彼 此 共 享 数 据 而 被 打 破 时 可 能 出 现 两 种 情 况 : 这 些 线 程 可 能 属 于 同 一 个 块 , 此 时 应 使 用 同 一 个 内 核 调 用 中 同 步 共 享 存 储 器 共 享 数 据 ; 如 果 属 于 不 同 的 块 , 此 时 必 须 使 用 两 个 独 立 的 内 核 调 用 通 过 全 局 存 储 器 共 享 数 据 , 一 个 用 于 写 入 全 局 存 储 器 , 一 个 用 于 读 取 全 局 存 储 器 。 程
存 储 器 利 用 率 , 实 现 最 大 的 存 储 器 带 宽 ; 化 指 令 利 用 率 , 实 现 最 大 化 的 指 令 吞 吐 量 。 最 大 化 并 行 执 行 的 第 一 步 就 是 结 构 化 算 法 , 尽 可 能 地 寻 找 到 更 多 的 数 据 并 行 性 。 当 算 法 的 并 行 性 因 某 些 线
一 旦 算 法 的 并 行 性 被 找 到 , 就 需 要 尽 可 能 有 效 地 在 硬 件 实 现 。 这 是 通 过 谨 慎 选 择 各 内 核 调 用 的 执 行 配 置 完
节 现 数 量 级 的 变 化 。 优 化 存 储 器 利 用 率 的 下 一 步 骤 是 根 据 最 优 的 存 储 器 访 问 模 式 , 尽 可 能 以 最 优 方 式 组 织 存 和
用 程 序 还 应 最 大 化 宿 主 和 设 备 间 的 并 发 执 行 。 优 化 存 储 器 利 用 率 的 第 一 步 是 最 小 化 低 带 宽 的 数 据 传 输 。 这 也 就 意 味 着 最 小 化 宿 主 和 设 备 之 间 的 数 据 传 应
CUDA 编
51
4.5.1.5 程 序 还 应 在 较 高 的 层 面 最 大 化 并 行 执 行 , 通 过 流 在 设 备 上 显 式 寻 找 并 发 执 行 , 如 第 用 应
所 述 ,
5.2 , 详 细 内 容 请 参 见 第 的 成
。
佳 优 化 方 法 可 能 是 首 先 避 免 进 行 任 何 数 据 传 输 , 直 接 在 需 要 的 位 置 重 新 计 算 数 据 。 最
5.1.2.1、5.1.2.3、5.1.2.4 第 如
5.1.2.5
所 述 , 根 据 各 类 存 储 器 的 访 问 模 式 的 不 同 , 有 效 带 宽 可 能 会 出
2.0 南 , 版 本 指 程
5.3 如 第 , 输
所 述 , 因 为 此 类 传 输 比 设 备 和 全 局 存 储 器 之 间 的 数 据 传 输 带 宽 低 得 多 。 这 也 意 味 着 通 过 最
5.1.2 设 备 共 享 存 储 器 的 使 用 来 尽 可 能 地 减 少 设 备 和 全 局 存 储 器 之 间 的 数 据 传 输 , 如 第 化 大
所 述 。 有 时 ,

节
特
(B.2 节 节 器 访 问 。 这 种 优 化 对 于 全 局 存 储 器 访 问 尤 为 重 要 , 因 为 全 局 存 储 器 的 带 宽 较 低 , 其 延 迟 可 能 达 到 百 个 进 行 共 享 存 储 器 访 问 优 化 。 储
, 在 不 影 响 最 终 结 果 的 前 提 下 提 高 速 度 , 例 如 使 用 内 建 函 数 而 非 一 般 函 数 列 举 了 内 建 函 数 )、 度
5.1.1.3 周 期 ( 请 参 见 第 钟 时
)。 另 一 方 面 , 通 常 只 有 在 共 享 存 储 器 访 问 中 存 在 严 重 的 存 储 体 冲 突 时 才
5.1.1.1 指 令 利 用 率 的 优 化 , 应 最 小 化 低 吞 吐 量 的 数 学 指 令 的 使 用 ( 请 参 见 第 于 对
)。 这 包 括 权 衡 计 算 精
SIMT 单 精 度 而 非 双 精 度 。 由 于 设 备 的 用 使
5.1.1.2 应 特 别 注 意 控 制 流 指 令 , 如 第 , 性
述 。 所
52 CUDA 编
2.0 南 , 版 本 指 程

相
所
选
,Csub 等
更 高 的 通 用 矩 阵 乘 法 实 现 。 能
的
和
的
的
程 指 南 , 版
和
的 的 的
编
矩
的
块
的
的
节
同 时 保 的 子 阵 , 它 的 行 索 引 ),
第 6 章 矩 阵 乘 法 示 例
6.1 概 述
hA)
wA) 的
块
程
Csub
线
的
为 (wA,
(wB,
wA)
一 个 子 方 矩
录 A)。 使
block_size)
积 C, 此 任 务 将 以 如 下 方 法 划 分 为 几 个 乘
小 的 倍 数 ( 请 参 见 具 大
阵 A
B 阵 矩
C 线 程 块 均 负 责 计 算 个 每
计 算 维 度 分 别
阵 Csub;
:
证 不 超 过 每 个 块 的 最 大 线 程 数 ( 附 示 维
Csub 每 个 线 程 负 责 计 算 的 内
一 个 元 素
度 block_size
。
为 16,
warp 块 的 线 程 数 是 个 每
第 5.2
如
和
的
/ block_size)。
为 block_size
图 6-1
通 过 这 种 方 法 安 排 计 算 , 我 们 就 利 用 了 速 度 较 快 的 共 享 存 储 器 , 节 省 了 大 量 全 局 存 储 器 带 宽 , 这 是 因 为 从
(wA, 下 两 个 长 方 矩 阵 的 乘 积 : 维 度 为 以 于
A
方 阵 , 通 过 计 算 这 些 方 阵 的 乘 积 和 来 计
源 , 这 两 个 长 方 矩 阵 被 分 割 为 多 维 度 每 个 乘 积 首 先 都 从 全 局 存 储 器 将 两 个 对 应 的 方 阵 载 入 共 享 存 储 器 , 使 用 一 个 线 程 载 入 各 矩 阵 的 一 个 元 素 , 然 后 由 各 线 程 来 计 算 乘 积 的 一 个 元 素 。 各 线 程 将 所 有 这 些 乘 积 的 结 果 汇 总 到 一 个 寄 存 器 中 , 完 成 后 , 将 结 果 写 入 全 局 存 储 器 。 资
算 Csub。
与 Csub
(block_size, 维 度 为 ; 同
B
Csub , 它 与 阵 子
有 相 同 的 列 索 引 。 为 了 适 应 设 备 的
A 存 储 器 中 读 取 局 全
B
(wA 仅 为 数 次
CUDA 编 写 本 示 例 时 , 我 们 仅 以 展 示 各 种 在 而
程 原 则 为 目 标 , 所 以 在 实 际 应 用 中 , 请 探 索 比 本 示 例 性
每 个 线 程 块 计
一 个 子 矩
内 的 每 个 线 程 计
个 元 素 。 一
CUDA 编
53
矩 阵 乘 法 块
本 2.0
算 C
阵 Csub。
算 Csub
图 6-1.

6.2 源 代 码 清 单
// Thread block size
#define BLOCK_SIZE 16
// Forward declaration of the device multiplication function
__global__ void Muld(float*, float*, int, int, float*);
// Host multiplication function
// Compute C = A * B
// hA is the height of A
// wA is the width of A
// wB is the width of B
void Mul(const float* A, const float* B, int hA, int wA, int wB,
float* C)
{
int size;
// Load A and B to the device
float* Ad;
size = hA * wA * sizeof(float);
cudaMalloc((void**)&Ad, size);
cudaMemcpy(Ad, A, size, cudaMemcpyHostToDevice);
float* Bd;
size = wA * wB * sizeof(float);
cudaMalloc((void**)&Bd, size);
cudaMemcpy(Bd, B, size, cudaMemcpyHostToDevice);
// Allocate C on the device
float* Cd;
size = hA * wB * sizeof(float);
cudaMalloc((void**)&Cd, size);
// Compute the execution configuration assuming
// the matrix dimensions are multiples of BLOCK_SIZE
dim3 dimBlock(BLOCK_SIZE, BLOCK_SIZE);
dim3 dimGrid(wB / dimBlock.x, hA / dimBlock.y);
// Launch the device computation
Muld(Ad, Bd, wA, wB, Cd);
// Read C from the device
cudaMemcpy(C, Cd, size, cudaMemcpyDeviceToHost);
// Free device memory
cudaFree(Ad);
cudaFree(Bd);
cudaFree(Cd);
}
// Device multiplication function called by Mul()
// Compute C = A * B
// wA is the width of A
// wB is the width of B
__global__ void Muld(float* A, float* B, int wA, int wB, float* C)
{
// Block index
int bx = blockIdx.x;
int by = blockIdx.y;
// Thread index
int tx = threadIdx.x;
int ty = threadIdx.y;
// Index of the first sub-matrix of A processed by the block
int aBegin = wA * BLOCK_SIZE * by;
// Index of the last sub-matrix of A processed by the block
int aEnd = aBegin + wA - 1;
// Step size used to iterate through the sub-matrices of A
int aStep = BLOCK_SIZE;
// Index of the first sub-matrix of B processed by the block
int bBegin = BLOCK_SIZE * bx;
// Step size used to iterate through the sub-matrices of B
int bStep = BLOCK_SIZE * wB;
// The element of the block sub-matrix that is computed
// by the thread
float Csub = 0;
// Loop over all the sub-matrices of A and B required to
// compute the block sub-matrix
54 CUDA 编
2.0 南 , 版 本 指 程

,Muld() 将
的
将 相
的
程 指 南 , 版
的
和
中
分
所
(wrapper);
C; ; ; 和
。
}
for (int a = aBegin, b = bBegin;
a

,Csub 计
是
和
都
的
,Muld() 会
节
,ty
节
节
。
,tx 在
至
再 计
Muld() 的
b
和
这 里 也 不 存 在 任 何 存 储 体 冲 突 , 因 为 在 每 个
中
15 之
实 际 上 , 假
存 等
。
块 对 于 所 有 线 程 都 是 相 同 的 和 存 储 器 访 问 时 都 会 访 问 不 同 储 器 访 问 时 访 问 相 同 的 存 储 体 。 的
为 a、
两 个 子 阵 的 乘 积 , 并 将 其 与 上 一 次 循 环 获 得 的 乘 积 相 加 ; 次 进 行 同 步 , 以 确 保 两 个 子 阵 的 乘 积 运 算 已 完 成 , 之 后 才 开 始 下 一 次 循 环 处 理 所 有 子 阵 之 后 算 完 成 将 结 果 写 入 全 局 存 储 器 。 算
述 , 此 时 将 能 够 确 保 全 局 存 储 器 合 并 , 因 倍 数 。 所
5.1.2.1 目 的 是 为 了 最 大 化 存 储 器 性 能 , 请 参 见 第 写 编
5.1.2.5 第 和
设 wA
wB
16
5.1.2.1 , 如 第 数 倍
c
是 BLOCK_SIZE(
半 warp
于 16)
0
As[ty][tx]、Bs[ty][tx] 因 此 每 个 线 程 在 进 行 , 间
k
As[ty][k] 储 体 , 而 在 进 行 存 的
Bs[k][tx]
56 CUDA 编
2.0 南 , 版 本 指 程

的
节
节
节
附 录 A 技 术 规 范
A.1 一 般 规 范
GeForce GTX 280 30 1.3
GeForce GTX 260 24 1.3
GeForce 9800 GX2 2×16 1.1
GeForce 9800 GTX 16 1.1
GeForce 8800 Ultra, 8800 GTX 16 1.0
GeForce 8800 GT 14 1.1
GeForce 9600 GSO, 8800 GS, 8800M GTX 12 1.1
GeForce 8800 GTS 12 1.0
GeForce 9600 GT, 8800M GTS 8 1.1
GeForce 9500 GT, 8600 GTS, 8600 GT,
面 的 内 容 描 述 了 与 各 种 计 算 能 力 相 关 联 的 技 术 规 范 和 特 性 。 若 无 其 他 说 明 , 给 定 计 算 能 力 的 规 范 与 略 低 计 算 能 力 的 规 范 相 同 。 类 似 地 , 计 算 能 力 向 下 兼 容 。 下 多 处 理 器 数 量
计 算 能 力
4 1.1
8700M GT, 8600M GT, 8600M GS
GeForce 8500 GT, 8400 GS, 8400M GT,
8400M GS
2 1.1
GeForce 8400M G 1 1.1
Tesla S1070 4×30 1.3
Tesla C1060 30 1.3
Tesla S870 4×16 1.0
1.0
4×16 2×16
Tesla D870
Tesla C870 16 1.0
Quadro Plex 1000 Model S4 1.0
Quadro Plex 1000 Model IV
Quadro FX 5600 1.0
Quadro FX 3700 14 1.1
Quadro FX 3600M 12 1.1
Quadro FX 4600 12 1.0
Quadro FX 1700, FX 570, NVS 320M, FX 1600M,
FX 570M
4 1.1
Quadro FX 370, NVS 290, NVS 140M, NVS 135M,
FX 360M
2 1.1
Quadro NVS 130M 1 1.1
2.5 设 备 的 一 般 规 范 取 决 于 其 计 算 能 力 ( 请 参 见 第 算 计
)。
CUDA 列 出 了 所 有 支 持 表 下
备 的 多 处 理 器 数 量 和 计 算 能 力 : 设
1.0
A.1.1
计 算 能 力 1.0 的 规 范
CUDA
每 个 块 的 最 大 线 程 数 编
和 )。
57
第 4.5.3.2
2.0 南 , 版 本 指 程
4.5.2.2 用 运 行 时 查 询 时 钟 频 率 和 设 备 存 储 器 总 量 ( 请 参 见 第 使 可
为 512;

和
维
遇
位
(rounding
和
在
节
方
;
节
)。
字 上 操 作 的 原 子 函 数 ( 请 参 见 位
舍
的
NaN) 编 码 , 但 实 异
;
Warp
常 量 存 储 器 的 总 量 块
每 纹
对
32 程 线 个 内
个
程 ;
可 用 的 共 享 存 储 器 数 量 组 线
量 是 每 个 多 处 理 理 存 储 器 的 缓 存 工 作 区 介 于 每 个 多 处 理 到 个 多 处 理 器 的 最 大 活 动 块 数 是 8; 块 常
8192;
16KB,
64KB;
器 8KB;
6 8KB
是
器 是 是
于 绑 定 到 线 性 存 储 器 的 纹 理 参 考 , 最 大 宽 度 数 个 万
指
; 令
16
之 为 织
27;
个
13;
间
11, 最 16,
存 储 体 ( 请 参 见
个
11, 最 15;
第 5.1.2.5
节
);
11;
块
x、y 线 程 块 的 个 一
z
512、512 大 规 格 分 别 为 最 的
64;
程 块 网 格 各 维 度 的 最 大 规 格 为 65535; 线
32 小 是 大 的
个 多 处 理 器 的 寄 存 器 数 量
warp 处 理 器 的 最 大 活 动 多 个
是 24; 数
多 处 理 器 的 最 大 活 动 线 程 数 是 768; 个
CUDA 定 到 一 维 绑 于
2 纹 理 参 考 , 最 大 宽 度 为 的 组
CUDA 定 到 二 维 绑 于
2 纹 理 参 考 , 最 大 宽 度 为 的 组
2 度 为 高 大
A.1.2
计 算 能 力 1.1 的 规 范
CUDA 定 到 三 维 绑 于
2 纹 理 参 考 , 最 大 宽 度 为 的 组
2 度 为 高 大
2 度 为 深 大
支
A.1.3
计 算 能 力 1.2 的 规 范
计 算 能 力
。
为 2
200 小 限 制 为 大 核
PTX
8 多 处 理 器 都 由 个 每
4 器 组 成 , 因 此 一 个 多 处 理 器 能 够 在 理 处
warp 周 期 内 处 理 一 个 钟 时
每 支
vote 函
在 全 局 存 储 器 持
持 在 共 享 存 储 器 中 操 作 的 原 子 函 数 以 及 在 全 局 存 储 器 支
块
的 32
4.4.4 操 作 的 原 子 函 数 ( 请 参 见 第 上 字
);
A.1.4
节
计 算 能 力 1.3 的 规 范
是 1024。
的 64
第 4.4.4
支
A.2 浮 点 标 准
多 处 理 器 的 最 大 活 动 线 程 数 个
双 精 度 浮 点 数 。 持
持 warp
4.4.5 请 参 见 第 ( 数
多 处 理 器 的 寄 存 器 数 量 是 16384; 个
);
warp 处 理 器 的 最 大 活 动 多 个
量 是 32; 数
标
mode); 但
存 在 动 态 可 配 置 的 舍 入 模 式 函 数 公 开 ; 不
, 但 有 以 下 例 外 : 入 模 式 , 可 通 过 设 备 准
常 被 掩 藏 一 样 , 并 且 这 种 隐 藏 的
绝
58 CUDA 编
存 在 检 测 发 生 浮 点 异 常 的 机 制 , 所 有 操 作 的 行 为 就 到 异 常 事 件 时 一 样 ; 同 样 , 尽 管 支 不
IEEE-754 计 算 设 备 都 符 合 针 对 二 进 制 浮 点 算 术 的 有 所
IEEE-574 和 负 数 不 符 合 值 对
2.0 南 , 版 本 指 程
IEEE 数 操 作 都 支 持 多 大
NaN
面 的 规 定 , 它 们 将 按 原 样 传 递
像 IEEE-754
与 IEEE-754
持 SNaN(Signaling
持 Signaling;
达 方 式 际 上 不 支 表

(round-towards-zero),
:
(denormalized
参
程 指 南 , 版
的
它 (FMAD),
(round-to-nearest-even)
请 NaN),
的
构 的 处 理 方 式 不 同 。 架
对
精 度 浮 点 数 加 单 于
平 除
加
number); 浮
下
- 乘 法 往 往 结 合 为 一 条 乘 和 法
令 法 是 通 过 倒 数 、 以 非 标 准 的 方 式 实 现 的 ; 指
截 取 乘 法 的 中 间 结 果 ; 将
根 是 以 非 标 准 的 方 式 通 过 倒 数 平 方 根 实 现 的 ; 不 方
和
的 结 果 将 被 刷 新 为 零 ; 涉 及 一 个 或 多 个 输 操 作 的 结 果 是 位 模 意 : 溢
加 以 注
于 加 法 和 乘 法 , 仅 支 持 通 过 静 态 舍 入 模 式 实 现 舍 入 到 最 近 的 偶 数 零 舍 入 支 持 向 正 负 无 穷 大 方 向 的 舍 入 ; 对
向
仅
标
舍
模 式 是 舍 入 到 最 近 的 偶 数 或 的 入
其 但
不 支 持 反 向 规 格 化 数
点 算 术 和 比 较 指 令 会 在 浮 点 操 作 之 前 将 操 作 数 反
规 格 化 为 零 ; 向
于 双 精 度 浮 点 数 : 对
IEEE-754
而 言 , 采 用 将 数 限 定 在 所 支 持 的 范 围 尾 端 的 方 法 。 这 并
入 NaN
式 0x7fffffff
QNaN(Quiet
未 定 义 在 浮 点 值 超 出 整 型 格 式 的 范 围 的 情 况 下 , 浮 点 值 到 整 型 值 的 转 换 方 式 。 对 于 计 算 设 备
NaN 数 不 是 , 则 结 果 为 非 参 他
。 数
IEEE 、 除 法 和 平 方 根 运 算 中 惟 一 支 持 的 数 倒
IEEE-754R 据 根
fminf()、fmin()、fmaxf() 如 果 , 准
fmax()
与 x86
是 的 输 入 参 数 之 一 是 NaN,
CUDA 编
59
本 2.0

加
运
节
的
数
库
节
(mathematical library) standard 函
ulp。 但
(full
误
计
。truncf()、ceilf()
而
。
附 录 B 标 准 数 学 函 数
B.1 节
B.1 通 用 运 行 时 组 件
中 的 函 数 仅 能 在 设 备 函 数 中 使 用
各 函 数 在 设 备 上 执 行 时 的 误 差 范 围 。 当 函 数 在 宿 主 上 执 行 , 而 宿 主 并 未 提 供 此 函 数 时 , 误 差 范 围 同 样 适 用 。
B.2 举 的 函 数 可 由 宿 主 和 设 备 函 数 使 用 , 但 列 中
B.1.1
单 精 度 浮 点 函 数
和
函
。
绍 CUDA
这 里 列 举 的 误 差 范 围 经 过 了 广 泛 的 测 试 , 但 并 非 详 尽 无 遗 , 所 以 很 难 保 证 正 确 无 误
这 一 节 介
行 时 库 支 持 的 所 有 数 学 标 准 库
数 。 此 外 还 指 定 了
可 映 射 到 一 条 指 令 。 均
floorf() 也
会
指
只
和
截 (FMAD),
IEEE 和 乘 法 是 符 合 法 加
0.5 此 误 差 最 多 为 因 ,
在 设 备 上 , 编 译 器 往 往 将 其 整 合 为 一 个 单 独 的
- 指 令 乘
_fadd_rn() 法 的 中 间 结 果 。 可 通 过 使 用 乘 取
_fmul_rn()
数 来 避 免 这 样 的 整 合
非 roundf()。
x+y 0(IEEE-754 舍 错
rintf() 单 精 度 浮 点 操 作 数 舍 入 为 整 型 , 而 使 结 果 为 单 精 度 浮 点 数 , 推 荐 的 方 法 是 使 用 将 要
B.2 参 见 第 请 (
)。
原 因 在 于 roundf()
8 到 设 备 上 的 一 个 射 映
rintf() 列 , 而 序 令
映 射 到 一 条 指 令
x*y 0(IEEE-754 舍 时
入 到 最 近 的 偶 数 ) 时 2( range))
范 围 全
x/y
1/x 1 ( )
1/sqrtf(x)
2 ( )
rsqrtf(x)
sqrtf(x) 3 ( )
cbrtf(x) 1 ( )
hypotf(x,y) 3 ( )
expf(x) 2 ( )
exp2f(x) 2 ( )
exp10f(x) 2 (
expm1f(x) 1 (
logf(x) 1 (
log2f(x) 3 (
log10f(x) 3 (
log1pf(x) 2 (
sinf(x) 2 (
cosf(x) 2 (
tanf(x) 4 (
表 B-1.
大 数 学 标 准 库 函 数 及 其 最 大 ULP
误 差
CUDA 误 差 表 示 为 正 确 舍 入 的 单 精 度 结 果 和 大 最
ulp 返 回 的 结 果 之 间 以 数 函
的 差 的 绝 对 值 。 算
函 数
大 最 大 ulp
错 误
FMAD 合 并 入 在 (
外 ) 除
FMAD 合 并 入 在 (
外 ) 除
60 CUDA 编
) 围 范
) 围 范
) 围 范
) 围 范
2.0 南 , 版 本 指 程
) 围 范
)
范 围 围 )
) 围 范
) 围 范

程 指 南 , 版
内 间 外 距 全 范 围 sincosf(x,sptr,cptr) 2 (
asinf(x) 4 ( )
acosf(x) 3 ( )
atanf(x) 2 ( )
atan2f(y,x) 3 ( )
sinhf(x) 3 ( )
coshf(x) 2 ( )
tanhf(x) 2 ( )
asinhf(x) 3 ( )
acoshf(x) 4 ( )
atanhf(x) 3 ( )
powf(x,y) 7 ( )
erff(x) 4 ( )
erfcf(x) 8 ( )
lgammaf(x) 6 ( (outside interval)-10.001 ... -2.264;
tgammaf(x) 11 ( )
fmaf(x,y,z) 0 ( )
frexpf(x,exp) 0 ( )
ldexpf(x,exp) 0 ( )
scalbnf(x,n) 0 ( )
scalblnf(x,l) 0 ( )
logbf(x) 0 ( )
ilogbf(x) 0 ( )
fmodf(x,y) 0 ( )
remainderf(x,y) 0 ( )
remquof(x,y,iptr) 0 ( )
modff(x,iptr) 0 ( )
fdimf(x,y) 0 ( )
truncf(x) 0 ( )
roundf(x) 0 ( )
rintf(x) 0 ( )
nearbyintf(x) 0 ( )
ceilf(x) 0 ( )
floorf(x) 0 ( )
lrintf(x) 0 ( )
lroundf(x) 0 ( )
llrintf(x) 0 ( )
llroundf(x) 0 ( )
signbit(x)
N/A
isinf(x)
N/A
isnan(x)
N/A
isfinite(x)
N/A
copysignf(x,y)
N/A
fminf(x,y)
N/A
fmaxf(x,y)
N/A
fabsf(x)
N/A
nanf(cptr)
N/A
nextafterf(x,y)
N/A
) 更 大 距 间
) 围 范
CUDA 编
61
本 2.0

或
会
类
数
指
库
仅
错
计
。Trunc()、ceil() 和
B.1.2
双 精 度 浮 点 函 数
floor() 均
面 列 举 的 误 差 仅 适 用 于 为 具 有 本 地 双 精 度 支 持 的 设 备 编 译 的 情 况 。 在 为 无 此 类 支 持 的 设 备 编 译 时 ( 如 计 双 而 原 因 在 映 射 到 一 条 指 令 下
是 round()。
的 差 的 绝 对 值 。 算
算 能 力 为 1.2
更 低 的 设 备 ),double
将 默 认 地 降 低 为 float, 型
度 数 学 函 数 将 映 射 为 其 单 精 度 版 本 。 精
将 双 精 度 浮 点 操 作 数 舍 入 为 整 型 , 而 使 结 果 为 双 精 度 浮 点 数 , 推 荐 的 方 法 是 使 用 rint(), 要
不
B-2.
到 设 备 上 的 一 可 映 射 到 一 条 指 令 。 表 映 射 函 数
序 列 , 错 误 令 错 误 入 到 最 近 的 偶 数 )
最 的 数 入 近 到 舍 ) 偶 围 范
更 间 入 内 到 舍 最 近 的 偶 数 ) 间 外 距
全
x+y 0 (IEEE-754
x*y 0 (IEEE-754
x/y 0 (IEEE-754
1/x 0 (IEEE-754
sqrt(x) 0 (IEEE-754
rsqrt(x) 1 ( )
cbrt(x) 1 ( )
hypot(x,y) 2 ( )
exp(x) 1 ( )
exp2(x) 1 ( )
exp10(x) 1 ( )
expm1(x) 1 ( )
log(x) 1 ( )
log2(x) 1 ( )
log10(x) 1 ( )
log1px(x) 1 ( )
sin(x) 2 ( )
cos(x) 2 ( )
tan(x) 3 ( )
sincos(x,sptr,cptr) 2 ( )
asin(x) 2 ( )
acos(x) 2 ( )
atan(x) 3 ( )
atan2(y,x) 3 ( )
sinh(x) 1 ( )
cosh(x) 1 ( )
tanh(x) 1 ( )
asinh(x) 2 ( )
acosh(x) 2 ( )
atanh(x) 2 (
pow(x,y) 2 (
erf(x) 2 (
erfc(x) 6 (
lgamma(x) 4 ( ... -2.2637;
tgamma(x) 7 (
fma(x,y,z) 0 (IEEE-754
frexp(x,exp) 0 (
ldexp(x,exp) 0 (
) 大
于 round()
个 8
而 rint()
大 数 学 标 准 库 函 数 及 其 最 大 ULP
CUDA 误 差 表 示 为 正 确 舍 入 的 双 精 度 结 果 和 大 最
ulp 返 回 的 结 果 之 间 以 数 函
大 最 大 ulp
62 CUDA 编
) 围 范
) 围 范
) 围 范
2.0 南 , 版 本 指 程
) 围 范
距 -11.0001
) 围 范
) 围 范
) 围 范

后
后
后
后
程 指 南 , 版
和
它 y),
前
。
所 列 函 数 的 精 确 度 较 低 但 速 度 节
范 全 围 scalbn(x,n) 0 (
scalbln(x,l) 0 ( )
logb(x) 0 ( )
ilogb(x) 0 ( )
fmod(x,y) 0 ( )
remainder(x,y) 0 ( )
remquo(x,y,iptr) 0 ( )
modf(x,iptr) 0 ( )
fdim(x,y) 0 ( )
trunc(x) 0 ( )
round(x) 0 ( )
rint(x) 0 ( )
nearbyint(x) 0 ( )
ceil(x) 0 ( )
floor(x) 0 ( )
lrint(x) 0 ( )
lround(x) 0 ( )
llrint(x) 0 ( )
llround(x) 0 ( )
signbit(x)
N/A
isinf(x)
N/A
isnan(x)
N/A
isfinite(x)
N/A
copysign(x,y)
N/A
fmin(x,y)
N/A
fmax(x,y)
N/A
fabs(x)
N/A
nan(cptr)
N/A
nextafter(x,y)
N/A
) 围 范
B.1.3
整 型 函 数
CUDA 运
y)
B.2 设 备 运 行 时 组 件
们 可 映 射 到 设 备 上 的 一 条 指 令
min(x, 库 支 持 整 型 时 行
max(x,
( 如 __sinf(x))。 缀
用 _rn
CUDA 编
型 强 制 转 换 函 数 直 接 对 一 个 参
63
__ 的 版 本 ; 它 们 具 有 相 同 的 名 称 , 另 外 加 上 快 更
B.1 节 列 举 了 仅 在 设 备 代 码 中 支 持 的 内 建 函 数 。 这 些 函 数 中 包 括 第 一 这
__int_as_float(0xC0000000) 等
等
_ru 用 使
舍 入 到 最 近 的 偶 数 模 式 操 作 ;
上 正 ; 使
的 函 数 将 使 用 向 下 舍 入 ( 向 负 无 穷 大 ) 模 式 。 不 同 于 将 一 种 类 型 转 换 为 另 一 种 类 型 的 类 型 转 换 函 数 ( 类 数 执 行 类 型 强 制 转 换 , 而 保 留 其 值 不 变 。 例 如 : 缀
_rz 用 使
的 函 数 将 使 用 向 零 方 向 舍 入 模 式 操 作 ; 缀
本 2.0
_rz 用 使
如 _int2float_rn),
于 -2,__float_as_int(1.0f)
于 0x3f800000。

B.2.1
单 精 度 浮 点 函 数
__fadd_rn() __fmul_rn() FMAD 和 映 射 为 加 法 和 法 作 且 译 不 把 们 入 。 此 相 比 ,“*” 和 “+” 运 算 符 生 成 的 加 法 和 乘 法 一 般 都 将 被 并 入 FMAD。
_fdividef(x, y) 2 126 < y < 2 128 ,__fdivedef(x, y)
B-1 2
普 通 浮 点 除 法 和 具 有 相 同 精 度 , 但 在 时 为 0,
126 < y < 2 128 x
__ fdivedf(x, y) 0
而 普 通 除 法 将 在 表 列 举 的 精 确 度 内 提 供 正 确 。 同 样 , 在 时 , 如 果 是 无 穷 大 ,
操 编 器 会
__[u]mul24(x, y) x y 24 32 。x
y 8
他 并 中 与
NaN(
__[u]mulhi(x, y) x y 64 32
的 结 果 ), 而 普 通 除 法 将 返 回 无 穷 大 。
__[u]mul64hi(x, y) 64 x y 128 个 最 低 有 效 的 乘 积 , 提 供 个 最 低 有 效 位 的 结 果 和 的 个 最 高 有 效 位 将 被 忽 略 。 将
64
得
__saturate(x)
到
x
结
0
果
x
无
1
__[u]sad(x,
穷
y, z
大
x y
以
, 提 供 位 结 果 中 的 个 最 高 有 效 位 计 算 位 整 型 参 数 和 的 乘 积 , 提 供 位 结 果 中 的 个 最 高 有 效 位 。 将 在 小 于 时 0, 在 大 于 时 返 回 1, 否 则 返 回 x。 计
__clz(x) x 31 0 0 32
0
算 整 型 参 数 和 的 乘 积
型 参 数 z)(
__clzll(x) 64 x 63 0 0 64
整 型 参 数 与 的 差 绝 对 值 之 和 。
0 从 最 高 有 效 位 ( 即 第 位 ) 开 始 的 连 续 位 的 数 量 , 介 于 和 之 间 ( 包
__ffs(x) x x
括 和 32)。 和
0,_ffs()
绝
Linux
对 差 之 和 ) 返 回 整 位 ( 即 第 ) 开 始 的 连 续 的 数 量 , 介 于 和 之 间 ( 包 括 和 64)。
整 型 参 数 中 第 一 个 ( 最 低 有 效 ) 位 组 的 位 置 。 最 低 有 效 位 是 位 置 1。 如 果 为 将 返 回 0。 请 注 意 , 此 函 数 等 同 于 函 数 ffs。
__ffsll(x) x x
0,__ffsll() Linux 从 高
一 个 ( 最 低 有 效 ) 位 组 的 位 置 。 最 低 有 效 位 是 位 置 1。 如 果 为 将 返 回 0。 请 注 意 , 此 函 数 等 同 于 函 数 ffsll。
B-3 CUDA
__fadd_[rn,rz](x,y)
IEEE
__fmul_[rn,rz](x,y)
IEEE
__fdividef(x,y)
表 运 行 时 库 支 持 的 单 精 度 浮 点 建 函 数 及 其 误 差 范 围
y [2
返 回 位 整 型 参 数 中 的 第 误 差 范 围
符 合 -126 , 2 126 ] ulp 2.
__expf(x)
ulp
2 + floor(abs(1.16 * 区 间 内 , 则 最 大 误 差 为 __exp10f(x)
ulp
2 + floor(abs(2.95 *
函 数
为
x))。
__logf(x)
x [0.5, 2] 2 -21.41, ulp
__log2f(x)
x [0.5, 2] 2 ulp
则 最 大
最 大 误 差 -22,
__log10f(x)
x [0.5, 2] 2 ulp
2。 否 -24,
__sinf(x) x [-π, π] 2
否 则 最 大 误 差 为 3。
-21.41
__cosf(x) x [-π, π] 2 -21.19
__sincosf(x,sptr,cptr) sinf(x) cosf(x)
__tanf(x)
__sinf(x) * (1 /
如 果 在 区 间 内 , 则 最 大 绝 对 误 差 为 , 否 则 更 大 。
相 同 。 误 差 为 3。
__powf(x, y)
exp2f(y * 下 实 现 :
__log2f(x))。
__mul24(x,y)
N/A
__umul24(x,y)
__cosf(x))。
__mulhi(x,y)
N/A
以 自 承 继 和
__umulhi(x,y)
64 CUDA 2.0 本 版 , 南 指 程 编
与

和
映
位
位
程 指 南 , 版
的
的
的
的 位 数 。
算 。 与 此 相 比 ,“*” 运
围
__int_as_float(x)
N/A
__float_as_int(x)
N/A
__saturate(x)
N/A
__sad(x,y,z)
__usad(x,y,z)
N/A
__clz(x)
N/A
__ffs(x)
N/A
__float2int_[rn,rz,ru,rd] N/A
__float2uint_[rn,rz,ru,rd] N/A
__int2float_[rn,rz,ru,rd] N/A
__uint2float_[rn,rz,ru,rd] N/A
B.2.2
双 精 度 浮 点 函 数
_dadd_rn()
CUDA 运
__dadd_[rn,rz,ru,rd](x,y)
__dmul_[rn,rz,ru,rd](x,y)
__fma_[rn,rz,ru,rd](x,y,z)
__double2float_[rn,rz](x)
__double2int_[rn,rz,ru,rd](x)
__double2uint_[rn,rz,ru,rd](x)
__double2ll_[rn,rz,ru,rd](x)
__double2ull_[rn,rz,ru,rd](x)
__int2double_rn(x)
__uint2double_rn(x)
__ll2double_[rn,rz,ru,rd](x)
__ull2double_[rn,rz,ru,rd](x)
__double_as_longlong(x)
__longlong_as_double(x)
__double2hiint(x)
__double2loint(x)
__hiloint2double(x, ys)
函 数
运 行 时 库 支 持 的 双 精 度 浮 点
IEEE-compliant.
IEEE-compliant.
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
N/A
IEEE
时 库 支 持 的 双 精 度 浮 点 内 建 围 函 数 及 其 误 差 范 误 差 范 围 符 合 行 运
_dmul_rn()
FMAD 加 法 和 乘 法 运 算 , 且 编 译 器 不 会 把 他 们 并 入 为 射
“+” 运 算 符 生 成 的 加 法 和 乘 法 一 般 都 将 被 并 和
入 FMAD。
表 B-4.
B.2.3
整 型 函 数
_popc(x) 返
_popcll(x) 返
位 数
整 型 参
二 进 制 表 示 中 设 置
数 x
为 1
CUDA 编
65
64 在 回
32 在 回
x 参 数 型 整
1 制 表 示 中 设 置 为 进 二
本 2.0

位
位
位
处
位
或
或
。
- val), 并
附 录 C 原 子 函 数
更 高 的 设 备 可 用
C.1 数 学 函 数
1.1 函 数 仅 可 用 于 设 备 函 数 之 中 , 仅 对 计 算 能 力 为 子 原
C.1.1
atomicAdd()
64 共 享 存 储 器 和 作 操
1.2 原 子 函 数 只 能 用 于 计 算 能 力 为 的 字
int atomicAdd(int* address, int val);
unsigned int atomicAdd(unsigned int* address,
unsigned int val);
unsigned long long int atomicAdd(unsigned long long int* address,
unsigned long long int val);
处
位
位
高 的 设 备 。 更
+ val), 并
将 结 果 存 储
计
C.1.2
atomicSub()
int atomicSub(int* address, int val);
unsigned int atomicSub(unsigned int* address,
unsigned int val);
。 字
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
或 64
字 old,
算 (old
存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 在
64 全 局 存 储 器 支 持 有 只
C.1.3
atomicExch()
int atomicExch(int* address, int val);
unsigned int atomicExch(unsigned int* address,
计
unsigned int val);
unsigned long long int atomicExch(unsigned long long int* address,
unsigned long long int val);
float atomicExch(float* address, float val);
处
位
位
存
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
算 (old
将 结 果 存 储 在 存 储 器 的
同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。
储 在 存 储 器 的 同 一 地
并
C.1.4
atomicMin()
66 CUDA 编
读 取 位 于 全 局 或 共 享 存 储 器 中 地
int atomicMin(int* address, int val);
unsigned int atomicMin(unsigned int* address,
unsigned int val);
址 address
的 32
或 64
字 old,
将 val
中 。 这 两 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 址
64 全 局 存 储 器 支 持 有 只
。 字
2.0 南 , 版 本 指 程

位
程 指 南 , 版
处
位
计
计
计
和
和
的
的
>= val) ? 0 : (old+1)),
& val), 并
C.1.5
atomicMax()
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
int atomicMax(int* address, int val);
unsigned int atomicMax(unsigned int* address,
unsigned int val);
位 处
的 32
字 old,
算 old
val
存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 在
最 小 值 , 并 将 结 果 存 储
C.1.6
atomicInc()
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
unsigned int atomicInc(unsigned int* address,
unsigned int val);
位 处
算 old
val
最 大 值 , 并 将 结 果 存 储
C.1.7
atomicDec()
存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 在
unsigned int atomicDec(unsigned int* address,
unsigned int val);
位 处
val : (old-1)), 并
== 0) | (old > val)) ?
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
算 ((old
将 结 果 存 储 在 存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 并
C.1.8 atomicCAS()
int atomicCAS(int* address, int compare, int val);
unsigned int atomicCAS(unsigned int* address,
unsigned int compare,
unsigned int val);
unsigned long long int atomicCAS(unsigned long long int* address,
unsigned long long int compare,
unsigned long long int val);
位 位 处
将 结 果 存 储 在 存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 计
== compare ? val :
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
算 (((old
回 old。 返
C.2 位 逻 辑 函 数
计
比
CUDA 编
67
将 结 果 存 储 在 存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 计
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
或 64
字 old,
算 (old
C.2.1
atomicAnd()
并 较 并 交 换 )。
old),
结 果 存 储 在 存 储 器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old( 将
64 全 局 存 储 器 支 持 有 只
。 字
int atomicAnd(int* address, int val);
unsigned int atomicAnd(unsigned int* address,
unsigned int val);
位 处
算 (old
本 2.0
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
回 old。

计
计
| val), 并
^ val), 并
C.2.2
atomicOr()
int atomicOr(int* address, int val);
unsigned int atomicOr(unsigned int* address,
unsigned int val);
位 处
C.2.3
atomicXor()
int atomicXor(int* address, int val);
unsigned int atomicXor(unsigned int* address,
unsigned int val);
位 处
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
算 (old
器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 储
将 结 果 存 储 在 存
将 结 果 存 储 在 存
器 的 同 一 地 址 中 。 这 三 项 操 作 在 一 次 原 子 事 务 中 执 行 。 该 函 数 将 返 回 old。 储
address 位 于 全 局 或 共 享 存 储 器 中 地 址 取 读
的 32
字 old,
算 (old
68 CUDA 编
2.0 南 , 版 本 指 程

≤
寻
的
×
是
×
是
节
个
个
它
:
和
展
寻
,x、y
,x 将
=
、j = floor( y)、k floor(z)。 =
,N =4。
包
即
= Nxˆ、y = Myˆ、z = Lzˆ。
个
的
1.0]( 请
的
进
节
拾 取 < 替 行
)。
的
×
个 第
。x、y、z 继
附 录 D 纹 理 拾 取
4.3.4 节
定 到 纹 理 参 考 的 纹 理 表 示 为 数 组 T, 包 含 针 对 一 维 纹 理 绑
4.4.3 录 提 供 了 用 于 根 据 纹 理 参 考 的 不 同 属 性 计 算 第 附 本
。
的 N
texel,
N 对 二 维 纹 理 的 针 者
M
< 0,x 将
效 寻 址 范 围 内 , 之 后 才 能 用 于 寻 归 一 化 的 有
其
绍 的 纹 理 函 数 的 返 回 值 的 公 式 ( 请 参 见 或 介
T。 寻 址 模 式 指 定 了 如 何 将 超 出 范 围 的 纹 理 址
= x-floor(x),floor(x) 是
texel, 或 )。
标 映 射 到 有 效 范 围 内 。 如 坐
N 对 三 维 纹 理 的 针 者
M
L
texel。
x、y 用 纹 理 坐 标 使 将
z
T 坐 标 必 须 位 于 理 纹
如
有 效 寻 址 范 围 内
果 x
x 一 化 的 , 则 仅 支 持 调 整 寻 址 模 式 , 如 果 归 非
x 将 则 0,
为 0, 换
大 整 最
N 果 如
则 替 换 为 N-1。 x,
果 x
和
、yˆ 和 是
在 clamp
x 式 内 , 如 果 模 址
换 为 0, 如 果 1≤ x, 则 替 换 替
为 1-1/N;
D.1 最 近 点 采 样
。 在 下 面 的 内 容 中 数
在 wrap
址 模 式 中
替 换 为 frac(x), 被
中 frac(x)
x 于 大 不
z
T 一 化 的 纹 理 坐 标 , 已 重 新 映 射 到 归 非
对
y) =
j]
xˆ 归 一 化 纹 理 坐 标 自 承
zˆ,
x
对
y, z) =
j, k]
= floor(x)
对 于 整 型 纹 理 来 说 , 纹 理 拾 取 的 返 回 值 可 重 新 映 射
这 种 过 滤 模 式 中 , 纹 理 拾 取 返 回 的 值 如 下 : 在
tex(x) 一 维 纹 理 是 于 对
T[i]
参 见
i 中 其
tex(x, 维 纹 理 是 二 于
T[i,
图 F-1
示 了 一 维 纹 理 的 最 近 点 采 样
tex(x, 维 纹 理 是 三 于
T[i,
第 4.3.4.1
到 [0.0,
CUDA 编
69
的 一 维 纹 理 的 最 近 点 采 样 包
包 含
含 4
texel
2.0 南 , 版 本 指 程
图 F-1.

展
展
位
= 4。 位
,N
值
β
或
的
D.2 线 性 过 滤
对
+1, j +1]
理 纹 维 一 于
=
种 仅 对 浮 点 纹 理 可 用 的 过 滤 模 式 中 , 纹 理 拾 取 的 返 回 值 如 下
(1−α)T[i] +αT[i +1]
β 这 在
y) = (1−α )(1−
j] +α
+1, j] + (1−α)βT[i, j +1] +αβT[i
:
j = 中 其
k =
yB ) , β
) , γ
yB ) , yB =
) , zB =
0.5; −
0.5。 −
i = :
tex(x)
对 于 三 维 纹 理 是
) , α
) , xB =
− 0.5;
tex(x, 二 维 纹 理 是 于 对
)T[i,
(1−
)T[i
floor(xB
= frac(xB
x
floor(
= frac(
y
9 γ 存 储 在 和 α、β
8 点 格 式 中 , 有 定 的
fractional
。
floor(zB
= frac(zB
z
图 F-2
示 了 一 维 纹 理 的 最 近 点 采 样
D.3 表 查 找
压
个
的
且
可
=
−1]。
, 其
处
R] 区
图 F-2.
压 缩 寻 址 模 式 中 有
的 一 维 纹 理
纹 理 滤 的 线 性 过 70 CUDA
来
编
维 纹 理 。 一
有 压 缩 寻 址 模 式 中 有 4
Texel
滤
现 为 示 了 利 用 纹 理 过 滤 来 实 现 表 查 找 , 其 实
TL(x) 找 函 数 查 表
= T[0]
TL(R)
T[N
中 x
于 [0,
自 N=4
TL(0) , 这 样 即 可 确 保 内 间
R=1,
图 F-3
2.0 南 , 版 本 指 程
中 R=4

程 指 南 , 版
使 用 线 性 过 滤 的 一 维 表 查 找
图 F-3.
CUDA 编
71
本 2.0

不 设
、Geforce、Tesla 和
不
都
伟 峰 先 生 对 本 指 南 中 文 版 译 稿 全 文 进 行 了 审 校 , 在 此 表 示 衷 心 的 感 谢 。 刘
NVIDIA Corporation 专
Corporation 的
。NVIDIA 注 意 : 样 ” 提 供 对 特 定 目 的 的 适 用 性 Corporation 的
规 范 、 参 考 设 计 、 文 件 、 绘 图 、 诊 断 程 序 、 列 表 和 其 他 文 档 ( 统 称 为 “ 材 料 ”) 均 按 “ 原 对 此 材 料 提 供 任 何 明 示 或 暗 示 的 保 证 和 担 保 , 不 保 证 材 料 的 无 侵 害 性 、 适 销 性 或 针 计
对
NVDIA 有 所
NVIDIA、NVIDIA 徽
Corporation 的
但 NVIDIA
公 司 或 产 品 名 称 可 能 是 其 对 应 公 司 的 商 标 。
NVIDIA
们 尽 可 能 保 证 信 息 的 准 确 和 可 靠 。 为 使 用 此 类 信 息 的 后 果 承 担 责 任 , 也 为 使 用 此 类 信 息 可 能 导 致 的 侵 害 第 三 方 专 利 或 其 他 权 利 的 后 果 负 责 。 本 材 料 未 通 过 任 何 隐 含 的 方 式 或 其 他 方 式 授 予 利 或 权 利 权 的 许 可 本 文 档 提 到 的 规 范 可 能 随 时 更 改 , 恕 不 另 行 通 知 。 本 文 档 提 供 。
是 最 新 内 容 , 取 代 之 前 提 供 的 所 有 信 息 。 若 无 明 确 书 面 许 可 , 不 得 我
品 用 作 生 命 保 障 设 备 或 系 统 的 关 键 组 件 。
商 标 产 的
将 NVIDIA
© 2007-2008 NVIDIA Corporation. 保
:Scalable Parallel Programming with CUDA, in ACM
Queue, VOL 6, No. 2 (March/April 2008), © ACM, 2008. http://mags.acm.org/queue/20080304/?u1=texterity"
版 权 留 所 有 权 利 。 本 文 档 整 合 了 早 先 一 份 资 料 的 部 分 内 容 致 谢
标
Quadro
是 NVIDIA
商 标 或 注 册 商 标 。 其 他
NVIDIA Corporation
72 CUDA 编
2.0 南 , 版 本 指 程