位 置 很 容 易 在 图 5(d) 的 分 割 图 上 检 测 到 左 右 嘴 角 位 置 。 4. 人 脸 特 征 跟 踪 人 脸 特 征 的 跟 踪 是 建 立 在 前 一 帧 人 脸 特 征 检 测 正 确 的 基 础 上 。 一 般 的 人 脸 特 征 跟 踪 研 究 往 往 需 要 手 工 给 定 第 一 帧 的 特 征 位 置 , 然 后 研 究 单 纯 的 跟 踪 策 略 [13][14]。 我 们 的 算 法 中 , 第 一 帧 的 特 征 位 置 采 用 自 动 检 测 得 到 , 在 这 种 情 况 下 , 为 了 确 保 跟 踪 的 有 效 性 , 要 求 算 法 本 身 具 有 校 验 能 力 , 能 够 自 动 判 断 检 测 的 正 确 性 并 去 除 错 误 。 进 行 有 效 的 校 验 应 该 使 用 独 立 的 信 息 源 和 不 相 关 的 算 法 , 以 保 证 检 验 数 据 和 方 法 的 独 立 性 。 在 这 里 我 们 利 用 了 多 视 图 的 人 脸 图 象 和 刚 体 的 几 何 和 运 动 约 束 。 4.1. 特 征 检 测 正 确 性 的 检 验 通 过 相 邻 帧 的 检 测 结 果 之 间 的 相 互 校 验 , 我 们 来 确 定 检 测 的 正 确 性 。 假 设 中 性 表 情 下 的 人 脸 的 运 动 大 致 满 足 刚 体 约 束 , 我 们 采 用 几 何 约 束 和 刚 体 运 动 约 束 来 进 行 校 验 。 1. 几 何 约 束 设 {f 1 , f 2 , f 3 ,…, f n } 是 连 续 n 帧 视 频 ,{d 1,i , d 2,i ,d 3,i , d 4,i , d 5,i } 是 f i 帧 检 测 出 的 { 左 眼 - 右 眼 、 左 眼 - 左 嘴 角 、 右 眼 - 右 嘴 角 、 左 嘴 角 - 右 嘴 角 、 左 嘴 角 - 鼻 子 中 心 } 距 离 , 如 果 满 足 下 式 , ∀j, k ∈[1, n], j ≠ k, d j − di, i, k < δ i i = 则 认 为 {f 1 , f 2 , f 3 ,…, f n } 满 足 几 何 约 束 2. 刚 体 约 束 1,2,3,4,5 无 表 情 人 脸 的 多 视 角 图 象 被 可 以 看 成 是 刚 体 的 运 动 。 此 外 , 由 于 人 脸 到 摄 像 机 之 间 的 距 离 通 常 要 比 人 脸 上 五 官 之 间 的 深 度 变 化 大 得 多 。 所 以 , 可 认 为 眼 睛 , 鼻 孔 和 嘴 角 是 分 布 在 一 个 平 面 上 。 这 样 可 把 刚 体 的 运 动 约 束 简 化 为 仿 射 变 换 。 设 X v v 是 最 初 的 特 征 点 位 置 , X ' 是 运 动 后 的 特 征 点 的 位 置 , 有 下 面 的 射 影 变 换 关 系 式 : v v X' = RX + T , ⎡r R = ⎢ ⎣r 11 21 r12 ⎤ r ⎥ 22 ⎦ ⎡t1 ⎤ T = ⎢ ⎥ ⎣t2 ⎦ 可 以 证 明 3 对 点 的 ( X v , X v ' ) 可 以 完 全 确 定 一 个 射 影 变 换 的 参 数 R 和 T。 对 于 检 测 到 的 7 个 点 , 从 其 中 选 出 3 个 点 有 35 种 情 况 。 对 这 35 组 3 对 点 , 都 计 算 相 对 正 确 的 特 征 点 对 的 变 化 参 数 R: {R1, R 2 , …, R 35 }。 如 果 满 足 下 式 : v v max || X ' −( R i X i + T ) 认 为 检 测 出 的 7 个 特 征 点 满 足 刚 体 约 束 。 i 2 || < δ , 其 中 δ 控 制 特 征 检 测 允 许 的 误 差 程 度 。 当 连 续 n 帧 视 频 {f 1 , f 2 , f 3 ,…, f n } 同 时 满 足 几 何 约 束 和 刚 体 约 束 时 , 则 将 这 n 帧 特 征 都 标 志 为 正 确 , 并 将 该 第 f n 帧 检 测 结 果 设 为 一 个 标 准 , 用 以 指 导 后 来 的 跟 踪 和 检 测 。 在 第 f n 帧 设 置 为 标 准 之 后 , 某 帧 与 标 准 帧 校 验 同 时 满 足 几 何 约 束 和 刚 体 约 束 时 才 认 为 该 帧 的 特 征 为 正 确 。 4.2. 跟 踪 策 略 在 第 i 帧 的 特 征 为 正 确 的 情 况 下 , 第 i+1 帧 在 上 一 帧 的 基 础 上 进 行 跟 踪 。 具 体 做 法 是 : 1. 根 据 第 i 帧 的 特 征 位 置 , 确 定 人 脸 当 前 大 致 的 旋 转 、 尺 度 , 据 此 框 定 第 i+1 帧 人 脸 所 在 的 大 致 位 置 。 2. 采 用 3.2 节 所 述 方 法 定 位 整 体 人 脸 , 进 而 重 复 检 测 过 程 3. 检 查 第 i+1 帧 检 测 结 果 和 第 i 帧 检 测 结 果 是 否 满 足 几 何 约 束 和 刚 体 约 束 。 满 足 , 标 志 第 i+1 帧 特 征 正 确 , 下 一 帧 继 续 跟 踪 ; 否 则 , 标 志 第 i+1 帧 特 征 错 误 。 4. 在 第 i 帧 的 特 征 为 错 误 的 情 况 下 , 进 行 4.1 所 述 连 续 n 帧 特 征 校 验 。 5. 检 测 和 跟 踪 结 果 我 们 在 189 段 不 同 光 照 下 采 集 的 视 频 (50 帧 / 段 ) 上 测 试 了 检 测 和 跟 踪 结 果 。 被 测 试 人 在 摄 像 6
机 前 转 动 头 部 以 便 取 得 不 同 的 头 部 姿 态 , 对 每 个 人 采 集 50 帧 视 频 。 在 189 段 视 频 中 , 特 征 标 志 为 正 确 的 帧 9280 帧 , 特 征 检 测 正 确 率 9280/(189*50)=98.2%。 在 PIII966MHz 的 PC 上 , 我 们 取 得 了 25fps 的 检 测 和 跟 踪 结 果 。 图 9 中 是 两 段 视 频 中 的 部 分 实 验 结 果 。 (a) 视 频 段 1: 第 1、5、10、15、19、24、29、33、37、41、45、50 帧 特 征 检 测 结 果 (b) 视 频 段 2: 第 1、5、10、15、19、24、29、33、37、41、45、50 帧 特 征 检 测 结 果 图 9 视 频 中 的 人 脸 特 征 检 测 与 跟 踪 对 出 错 情 况 逐 个 进 行 考 察 和 分 析 后 , 我 们 发 现 错 误 基 本 上 发 生 于 两 种 情 况 : 极 端 光 照 , 如 明 显 的 阴 阳 脸 ; 偏 离 正 常 姿 态 过 大 , 如 超 过 30° 的 俯 仰 或 旋 转 。 这 是 因 为 在 这 样 的 情 况 下 , 一 方 面 人 脸 检 测 模 块 会 出 现 定 位 不 准 等 问 题 ( 我 们 的 人 脸 检 测 算 法 是 针 对 基 本 正 面 的 人 脸 设 计 的 , 能 够 容 忍 25° 左 右 的 姿 态 变 化 ), 影 响 后 续 的 特 征 检 测 过 程 ; 另 一 方 面 , 当 人 脸 定 位 准 确 时 , 由 于 光 照 条 件 极 端 , 矫 正 效 果 不 好 , 依 据 特 征 眼 方 法 挑 选 候 选 人 眼 的 准 确 度 会 降 低 , 原 因 是 特 征 眼 也 是 在 比 较 正 常 的 光 照 下 训 练 得 到 的 , 没 有 考 虑 极 端 光 照 情 况 。 但 在 实 际 应 用 中 , 算 法 不 能 适 应 的 这 种 极 端 情 况 是 可 以 避 免 的 , 只 要 满 足 基 本 均 衡 的 照 明 条 件 , 如 正 面 光 照 情 况 , 以 及 限 制 识 别 时 人 脸 允 许 的 姿 态 变 化 范 围 。 这 些 约 束 对 于 配 合 式 的 人 脸 识 别 与 验 证 应 用 问 题 完 全 是 合 理 的 。 7