利用粒子群演算法在電腦遊戲訓練團隊策略 - 東海大學‧資訊工程學系

私 立 東 海 大 學 資 訊 工 程 與 科 學 系 研 究 所碩 士 論 文指 導 教 授 : 蔡 清 欉利 用 粒 子 群 演 算 法 在 電 腦 遊 戲訓 練 團 隊 策 略研 究 生 : 黃 奐 禎中 華 民 國 九 十 六 年 一 月

摘 要由 於 政 府 大 力 推 動 休 閒 產 業 , 而 電 腦 遊 戲 具 有 高 度 的 互 動 性 以 及 整 合 各 式媒 體 的 能 力 , 電 腦 遊 戲 擬 真 的 影 像 與 具 備 臨 場 感 的 聲 音 效 果 , 能 帶 給 玩 家 身 歷其 境 的 遊 戲 體 驗 , 使 得 電 腦 遊 戲 已 經 成 為 現 代 人 們 重 要 的 一 項 休 閒 娛 樂 活 動 ,也 因 此 帶 動 遊 戲 產 業 更 加 蓬 勃 發 展 。近 幾 年 遊 戲 的 發 展 , 由 於 電 腦 繪 圖 技 術 的 突 飛 猛 進 , 因 此 遊 戲 的 開 發 團 隊大 多 把 重 心 投 入 電 腦 繪 圖 的 領 域 , 而 忽 略 了 遊 戲 的 本 質 , 這 個 問 題 漸 漸 地 受 到遊 戲 公 司 的 重 視 , 所 以 許 多 的 遊 戲 公 司 已 將 注 意 力 放 在 提 升 遊 戲 的 人 工 智 慧上 , 期 望 具 有 思 考 且 多 變 的 人 工 智 慧 , 可 以 製 作 出 更 具 遊 戲 性 的 電 腦 遊 戲 。針 對 電 腦 遊 戲 人 工 智 慧 的 應 用 , 較 適 合 運 算 速 度 較 快 且 較 為 穩 定 的 演 算法 , 粒 子 群 最 佳 化 演 算 法 (Particle Swarm Optimization) 在 人 工 智 慧 領 域 中 擁 有相 當 不 錯 評 價 , 其 特 點 為 運 算 與 收 斂 速 度 較 快 且 穩 定 , 是 一 項 新 興 的 最 佳 化 機器 學 習 技 術 。在 本 文 中 我 們 提 出 一 種 團 隊 策 略 的 學 習 方 法 , 可 以 很 容 易 訓 練 出 具 有 效 率的 團 隊 , 訓 練 過 程 中 不 需 要 大 量 的 訓 練 資 料 以 及 費 時 的 運 算 , 更 適 合 遊 戲 環 境的 應 用 , 並 且 可 以 輔 助 遊 戲 的 人 工 智 慧 設 計 師 調 整 行 為 參 數 , 節 省 測 試 不 同 參數 組 合 的 時 間 , 增 加 遊 戲 開 發 的 效 率 。最 後 , 我 們 將 所 提 出 的 演 算 法 實 際 套 入 雷 神 之 鎚 3 遊 戲 中 之 單 旗 搶 旗 模 式中 , 結 果 顯 示 我 們 所 創 造 出 來 的 團 隊 , 與 原 始 的 人 工 智 慧 相 比 較 , 在 遊 戲 中 表I

現 的 確 較 為 出 色 。關 鍵 詞 : 遊 戲 人 工 智 慧 、 粒 子 群 最 佳 化 (Particle Swarm Optimization)、 第 一 人稱 射 擊 遊 戲 (First Person Shooter Game)、 團 隊 學 習II

artificial intelligence, the team we created does indeed increase gameperformance.Key word: Artificial Intelligence, Particle Swarm Optimization, First-Person Shooter,TeamworkIV

致 謝首 先 誠 摯 的 感 謝 指 導 教 授 蔡 清 欉 博 士 及 廖 啟 賢 博 士 , 兩 位 老 師 悉 心 的 教 導 使我 得 以 一 窺 電 腦 遊 戲 人 工 智 慧 領 域 的 深 奧 , 不 時 的 討 論 並 指 點 我 正 確 的 方 向 ,使 我 在 這 些 年 中 獲 益 匪 淺 , 老 師 對 學 問 的 嚴 謹 更 是 我 輩 學 習 的 典 範 。將 近 一 年 的 日 子 , 實 驗 室 裡 共 同 的 生 活 點 滴 , 學 術 上 的 討 論 、 言 不 及 義 的 閒扯 、 讓 人 又 愛 又 怕 的 實 驗 室 Meeting、 論 文 報 告 的 革 命 情 感 ........, 感 謝 學 弟 妹 的共 同 砥 礪 , 你 們 的 陪 伴 讓 研 究 生 活 變 得 絢 麗 多 彩 。感 謝 老 師 不 厭 其 煩 的 指 出 我 研 究 中 的 缺 失 , 且 總 能 在 我 迷 惘 時 為 我 解 惑 ,也 感 謝 同 學 的 幫 忙 , 恭 喜 我 們 順 利 走 過 這 兩 年 。 實 驗 室 的 惟 翔 、 元 勳 、 汴 鴻 、彰 寧 、 伯 仲 、 順 欽 、 小 勋 、 石 頭 、 大 砲 、 銘 哲 當 然 也 不 能 忘 記 , 你 / 妳 們 的 幫 忙及 搞 笑 我 銘 感 在 心 。老 婆 在 背 後 的 默 默 支 持 , 更 是 我 前 進 的 動 力 , 如 果 沒 有 妳 的 體 諒 與 包 容 , 相信 我 很 難 完 成 這 個 不 可 能 的 任 務 ; 因 為 有 妳 的 幫 忙 以 及 校 稿 , 才 能 使 得 本 論 文能 夠 更 完 整 而 嚴 謹 。最 後 , 謹 以 此 文 獻 給 我 摯 愛 的 雙 親 。V

目 錄摘 要 ............................................................................................................................... IAbstract........................................................................................................................III致 謝 ..............................................................................................................................V第 一 章 緒 論 ...............................................................................................................11.1 研 究 動 機 .........................................................................................................11.2. 研 究 目 標 ..........................................................................................................21.3. 論 文 大 綱 ..........................................................................................................2第 二 章 相 關 研 究 .......................................................................................................42.1 電 腦 遊 戲 簡 介 ..................................................................................................42.2 非 玩 家 控 制 的 角 色 (NPC) ..........................................................................62.3 遊 戲 人 工 智 慧 的 相 關 研 究 ............................................................................112.3.1 定 性 的 人 工 智 慧 (AI).............................................................................112.3.2 非 定 性 的 人 工 智 慧 (AI).........................................................................152.4 團 隊 的 人 工 智 慧 ............................................................................................19第 三 章 粒 子 群 最 佳 化 演 算 法 .................................................................................233.1 演 算 法 簡 介 ....................................................................................................233.2 PSO 的 概 念 .....................................................................................................243.3 PSO 的 方 法 .....................................................................................................25第 四 章 電 腦 遊 戲 團 隊 策 略 .....................................................................................30I

4.1 雷 神 之 鎚 3 簡 介 ............................................................................................304.2 隊 長 的 角 色 ....................................................................................................324.3 單 旗 搶 旗 賽 ....................................................................................................344.4 團 隊 策 略 的 學 習 ............................................................................................364.5 演 算 法 設 計 ....................................................................................................374.6 適 應 函 數 與 演 化 流 程 ....................................................................................38第 五 章 實 驗 結 果 .....................................................................................................435.1 實 驗 環 境 ........................................................................................................435.2 實 驗 設 計 ........................................................................................................445.3 實 驗 的 結 果 與 比 較 ........................................................................................47第 六 章 結 論 .............................................................................................................61參 考 文 獻 .....................................................................................................................62II

表 目 錄表 1 路 徑 重 要 性 列 表 ..............................................................................................38表 2 未 訓 練 過 的 隊 伍 vs 電 腦 隊 伍 對 戰 二 十 場 成 績 表 現 ..................................47表 3 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 成 績 表 現 ......................................49表 4 經 過 PSO-CS 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 成 績 表 現 ........................52表 5 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 成 績 表 現 ......................................58表 6 實 驗 結 果 分 析 ..................................................................................................60III

圖 目 錄圖 1 各 種 遊 戲 平 台 上 著 名 之 遊 戲 與 遊 戲 廠 商 ........................................................5圖 2 (a) 勇 者 鬥 惡 龍 (b) 瑪 俐 兄 弟 (c) 雙 截 龍 II..................................................7圖 3 (a) Dungeons & Dragons II (b) Counter Strike (c) World of Warcraft .............8圖 4 電 腦 寵 物 「 任 天 狗 」........................................................................................9圖 5 簡 單 的 追 逐 演 算 法 ..........................................................................................11圖 6 鬼 怪 的 有 限 狀 態 機 圖 表 ..................................................................................14圖 7 動 作 遊 戲 策 略 階 層 表 ......................................................................................17圖 8 控 制 電 腦 角 色 的 三 個 類 神 經 網 路 ..................................................................18圖 9 粒 子 群 最 佳 化 演 算 法 的 流 程 圖 ......................................................................26圖 10 粒 子 群 搜 尋 最 佳 解 過 程 ................................................................................26圖 11 粒 子 在 解 空 間 移 動 ........................................................................................27圖 12 cooling schedule function 曲 線 圖 ...................................................................28圖 13 雷 神 之 鎚 3 的 遊 戲 畫 面 ...............................................................................30圖 14 雷 神 之 鎚 3 人 工 智 慧 架 構 圖 ........................................................................32圖 15 遊 戲 中 任 務 指 派 畫 面 ....................................................................................33圖 16 單 旗 搶 旗 賽 的 有 限 狀 態 機 圖 ........................................................................35圖 17 粒 子 間 互 相 學 習 示 意 圖 ................................................................................37圖 18 Neural Net 's bio-ploar function 曲 線 圖 .........................................................40IV

圖 19 團 隊 訓 練 流 程 圖 ............................................................................................41圖 20 控 制 一 個 bot 的 九 個 行 為 參 數 .......................................................................44圖 21 我 方 與 電 腦 兩 隊 的 隊 員 ................................................................................45圖 22 「 旗 子 在 中 央 」 演 化 曲 線 圖 ........................................................................45圖 23 「 旗 子 在 我 方 」 演 化 曲 線 圖 ........................................................................46圖 24 「 旗 子 在 敵 方 」 演 化 曲 線 圖 ........................................................................46圖 25 「 旗 子 掉 落 」 演 化 曲 線 圖 ............................................................................46圖 26 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果 ....................................48圖 27 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 分 數 累 加 曲 線 圖 ........................48圖 28 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果 ................................49圖 29 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 分 數 累 加 曲 線 圖 ....................50圖 30 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果 ....................................52圖 31 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 分 數 累 加 曲 線 圖 ........................53圖 32 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 競 賽 結 果 ................................54圖 33 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 分 數 累 加 曲 線 圖 ....................55圖 34 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 競 賽 結 果 ....................................57圖 35 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 分 數 累 加 曲 線 圖 ........................57圖 36 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 競 賽 結 果 ................................59圖 37 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 分 數 累 加 曲 線 圖 ....................59V

第 一 章 緒 論1.1 研 究 動 機在 互 動 式 多 媒 體 的 領 域 當 中 , 電 腦 遊 戲 扮 演 了 一 個 重 要 的 角 色 , 其 豐 富 的聲 光 效 果 , 使 其 成 為 人 們 一 項 重 要 的 休 閒 娛 樂 。 現 今 大 部 份 的 遊 戲 , 因 為 基 於簡 單 、 容 易 實 作 , 仍 是 使 用 「 規 則 為 基 礎 」 的 設 計 方 法 , 但 以 規 則 為 基 礎 的 方法 最 大 的 缺 點 就 是 : 一 旦 讓 玩 家 找 到 其 中 的 弱 點 , 就 無 法 阻 止 玩 家 利 用 這 個 弱點 不 斷 的 擊 敗 電 腦 角 色 ; 為 了 解 決 這 個 問 題 , 所 以 許 多 遊 戲 公 司 已 將 注 意 力 放在 提 升 遊 戲 角 色 的 人 工 智 慧 上 , 希 望 改 進 非 玩 家 控 制 的 角 色 (NPC) 的 行 為 模式 , 讓 NPC 擁 有 從 錯 誤 中 學 習 的 能 力 , 而 使 得 遊 戲 更 具 有 挑 戰 性 [1-3]。另 外 , 我 們 觀 察 目 前 的 遊 戲 類 型 後 發 現 , 具 備 團 隊 合 作 要 素 的 電 腦 遊 戲 受到 很 大 的 歡 迎 , 例 如 :「 雷 神 之 鎚 3」(Quake 3) 裡 玩 家 組 隊 搶 奪 對 手 的 軍 旗或 防 守 己 方 的 堡 壘 ; 或 是 「 絕 對 武 力 」(Counter-Strike) 中 , 玩 家 扮 演 警 察 聯手 將 歹 徒 制 伏 。 通 常 人 類 玩 家 在 團 隊 遊 戲 的 合 作 上 , 會 依 據 當 時 的 狀 況 下 採 用最 佳 的 策 略 , 因 此 都 能 夠 輕 易 的 達 到 很 好 的 效 果 , 這 也 是 目 前 電 腦 團 隊 難 以 抗衡 之 處 。 若 是 電 腦 角 色 所 組 成 的 隊 伍 毫 無 團 隊 的 效 率 可 言 , 則 遊 戲 的 趣 味 也 將大 打 折 扣 , 因 此 , 我 們 希 望 能 夠 提 出 一 種 方 法 , 將 電 腦 團 隊 訓 練 成 為 有 效 率 的隊 伍 , 讓 團 隊 中 的 成 員 彼 此 間 分 工 合 作 , 達 到 團 隊 的 最 佳 效 能 , 並 且 在 不 同 狀態 下 , 都 能 採 取 對 應 此 種 狀 態 的 最 佳 策 略 , 將 會 是 我 們 要 探 討 的 主 要 課 題 。1

1.2. 研 究 目 標以 往 在 探 討 遊 戲 人 工 智 慧 時 , 多 是 針 對 單 一 的 電 腦 遊 戲 角 色 , 在 遊 戲 中 藉由 不 斷 的 嘗 試 而 從 錯 誤 中 學 習 , 或 是 直 接 利 用 學 習 性 演 算 法 學 習 人 類 高 手 的 技巧 或 行 為 模 式 , 而 使 得 電 腦 角 色 表 現 愈 來 愈 出 色 , 但 對 於 強 調 團 隊 合 作 的 遊 戲類 型 來 說 , 個 人 的 行 為 或 技 巧 並 非 最 重 要 的 因 素 , 團 隊 的 策 略 才 是 應 該 考 量 的重 點 。 一 個 團 隊 中 應 該 是 有 各 具 特 色 的 成 員 , 我 們 應 該 讓 成 員 彼 此 間 分 工 合 作 ,以 求 得 團 隊 的 最 佳 表 現 , 而 並 非 單 純 幾 個 表 現 優 異 的 高 手 , 組 成 一 個 團 隊 就 會有 最 佳 的 結 果 。 所 以 本 研 究 希 望 在 探 討 遊 戲 中 角 色 的 學 習 時 , 將 團 隊 策 略 這 個重 要 的 因 素 考 慮 進 去 , 希 望 藉 由 學 習 過 程 中 不 斷 演 化 的 結 果 , 使 得 電 腦 角 色 所組 成 的 團 隊 表 現 能 更 為 出 色 。本 研 究 所 採 取 的 方 法 , 是 以 粒 子 群 最 佳 化 演 算 法 為 基 礎 的 團 隊 策 略 學 習 演算 法 , 粒 子 群 最 佳 化 演 算 法 運 算 速 度 快 與 穩 定 的 特 性 , 十 分 適 合 遊 戲 環 境 的 應用 , 本 研 究 考 慮 了 團 隊 策 略 的 人 工 智 慧 , 使 得 演 化 後 的 團 隊 表 現 , 比 原 始 電 腦團 隊 更 為 優 秀 。1.3. 論 文 大 綱本 文 以 粒 子 群 最 佳 化 演 算 法 為 基 礎 , 訓 練 團 體 作 戰 的 策 略 。 在 本 文 中 , 我們 探 討 電 腦 遊 戲 人 工 智 慧 的 相 關 研 究 方 法 以 及 研 究 成 果 , 進 而 比 較 各 種 方 法 的優 劣 , 說 明 選 擇 粒 子 群 最 佳 化 演 算 法 的 優 勢 。2

第 一 章 , 簡 單 說 明 我 們 研 究 的 動 機 與 研 究 的 目 標 。 第 二 章 , 回 顧 了 電 腦 遊戲 有 關 人 工 智 慧 的 發 展 歷 史 , 介 紹 相 關 學 者 所 做 的 研 究 , 並 簡 單 敘 述 他 們 提 出的 方 法 以 及 研 究 產 生 的 貢 獻 , 並 且 比 較 各 種 研 究 的 優 缺 點 。第 三 章 主 要 介 紹 粒 子 群 最 佳 化 演 算 法 的 概 念 與 演 算 法 的 優 勢 , 以 及 此 種 演算 法 應 用 的 領 域 。 第 四 章 是 本 篇 論 文 的 核 心 所 在 - 也 就 是 我 們 提 出 的 方 法 , 本章 除 了 說 明 如 何 利 用 粒 子 群 最 佳 化 演 算 法 來 訓 練 電 腦 遊 戲 的 團 隊 策 略 外 , 並 且詳 述 了 演 化 流 程 與 系 統 實 作 的 方 法 。第 五 章 則 以 雷 神 之 鎚 3 之 團 隊 競 技 場 (Quake III : Team Arena) 遊 戲 作 為 實驗 平 台 , 使 用 我 們 所 提 的 方 法 , 實 際 訓 練 出 一 支 隊 伍 , 與 電 腦 內 建 隊 伍 在 單 旗搶 旗 賽 中 對 戰 並 比 較 其 表 現 。 最 後 的 章 節 , 針 對 本 研 究 提 出 結 論 。3

第 二 章 相 關 研 究2.1 電 腦 遊 戲 簡 介遊 戲 在 過 去 往 往 被 認 為 只 是 一 種 休 閒 娛 樂 , 尤 其 中 國 人 特 別 重 視 智 育 發展 , 大 多 數 的 人 普 遍 認 為 , 打 電 玩 是 一 種 浪 費 時 間 的 負 面 的 行 為 。 隨 著 時 代 的演 變 、 家 用 電 腦 的 普 及 化 、 網 際 網 路 的 盛 行 以 及 實 施 周 休 二 日 的 政 策 , 人 們 越來 越 重 視 休 閒 活 動 , 這 幾 年 來 , 電 玩 遊 戲 反 而 成 為 「 休 閒 產 業 」 不 可 或 缺 的 一環 。 究 其 原 因 , 電 腦 硬 體 與 架 構 的 快 速 發 展 、 優 秀 從 業 人 員 的 投 入 , 除 了 帶 動遊 戲 軟 體 發 展 出 更 豐 富 的 內 容 與 聲 光 效 果 之 外 , 相 較 於 電 視 與 電 影 ,「 遊 戲 的互 動 性 」 才 是 真 正 吸 引 人 們 的 地 方 。 玩 家 藉 由 與 遊 戲 世 界 、 虛 擬 角 色 或 是 透 過網 路 與 其 它 玩 家 的 互 動 , 融 入 遊 戲 的 劇 情 中 並 且 享 受 遊 戲 進 行 的 樂 趣 , 這 也 是許 多 傳 統 單 向 的 媒 體 所 無 法 達 到 的 。 因 此 , 在 互 動 式 多 媒 體 的 領 域 當 中 , 具 備豐 富 聲 光 效 果 的 電 腦 遊 戲 , 已 經 成 為 人 們 一 項 重 要 的 休 閒 娛 樂 。近 幾 年 來 , 開 發 遊 戲 的 廠 商 為 了 吸 引 更 多 的 玩 家 , 不 斷 與 許 多 知 名 的 高 科技 企 業 合 作 , 投 入 大 量 的 資 金 與 人 力 , 舉 辦 了 國 際 性 的 電 玩 展 覽 與 電 玩 比 賽 ,其 中 以 WCG(World Cyber Game) 世 界 電 玩 大 賽 , 最 受 到 全 球 玩 家 矚 目 , 這 是一 個 橫 跨 全 球 70 個 國 家 的 國 際 電 玩 盛 事 , 自 從 2001 年 開 始 舉 辦 , 規 模 一 年 比一 年 盛 大 , 直 到 2005 年 為 止 , 參 加 比 賽 的 人 數 已 經 突 破 一 百 萬 人 , 並 且 仍 然 快速 的 成 長 。目 前 的 電 腦 遊 戲 領 域 包 含 了 有 電 視 遊 樂 器 (video game)、 掌 上 型 遊 戲 (pocket4

game)、 個 人 電 腦 遊 戲 (pc game)、 大 型 機 台 遊 戲 (arcade game) 與 線 上 遊 戲 (on-linegame)【 圖 1】。 其 產 業 結 構 與 電 影 工 業 頗 為 類 似 , 是 一 個 強 調 專 業 分 工 與 整 合的 產 業 。 通 常 一 個 遊 戲 的 誕 生 , 是 集 合 眾 人 的 心 血 結 晶 , 整 個 製 作 團 隊 ( 包 含了 類 似 導 演 的 製 作 人 、 企 劃 人 員 、 美 術 指 導 、 程 式 開 發 小 組 、 音 樂 配 樂 、 測 試 …等 人 員 ) 必 須 歷 經 一 年 半 載 的 努 力 , 才 能 製 作 出 頗 具 水 準 之 上 的 作 品 。 而 且 ,目 前 遊 戲 的 消 費 市 場 , 不 再 侷 限 於 兒 童 或 是 青 少 年 。 根 據 統 計 , 目 前 最 大 的 遊戲 族 群 反 而 是 一 般 的 成 年 人 或 是 上 班 族 。圖 1 各 種 遊 戲 平 台 上 著 名 之 遊 戲 與 遊 戲 廠 商為 了 滿 足 這 些 市 場 的 變 化 , 遊 戲 公 司 的 開 發 小 組 無 不 絞 盡 腦 汁 , 想 要 創 造更 多 樣 化 的 遊 戲 , 來 滿 足 日 新 月 異 的 市 場 需 求 。 因 此 , 近 年 來 電 腦 遊 戲 不 論 是5

在 企 劃 上 , 必 須 不 斷 追 求 新 的 創 意 與 發 展 出 更 有 趣 的 遊 戲 。 在 技 術 上 , 也 藉 由3D 繪 圖 晶 片 的 出 現 與 繪 圖 技 術 日 益 成 熟 , 呈 現 更 佳 擬 真 的 3D 視 覺 效 果 與 模 擬實 境 。 在 軟 硬 體 的 層 次 都 有 長 足 的 進 步 下 , 也 使 得 遊 戲 開 發 小 組 足 以 創 造 出 更吸 引 人 的 遊 戲 , 營 造 出 更 逼 真 、 令 人 沉 迷 其 中 的 遊 戲 環 境 , 也 讓 現 在 的 玩 家 擁有 更 加 豐 富 的 視 覺 享 受 。但 是 , 現 今 大 部 份 的 遊 戲 , 因 為 基 於 簡 單 、 容 易 實 作 , 仍 然 使 用 「 規 則 為基 礎 」 的 設 計 方 法 。 而 以 規 則 為 基 礎 的 方 法 , 最 大 的 缺 點 就 是 : 一 旦 讓 玩 家 找到 其 中 的 弱 點 , 就 無 法 阻 止 玩 家 利 用 這 個 弱 點 不 斷 的 擊 敗 電 腦 角 色 , 久 而 久 之 ,遊 戲 就 不 具 備 挑 戰 性 , 玩 家 也 因 而 失 去 興 致 , 不 再 對 這 類 型 的 遊 戲 產 生 興 趣 。為 了 解 決 這 個 問 題 , 所 以 許 多 遊 戲 公 司 已 將 注 意 力 放 在 提 升 遊 戲 角 色 的 人 工 智慧 上 。 通 常 人 類 在 團 隊 合 作 上 , 會 在 依 據 當 時 的 狀 況 下 採 用 最 佳 的 策 略 , 因 此都 能 夠 輕 易 的 達 到 很 好 的 效 果 , 這 也 是 目 前 電 腦 團 隊 難 以 抗 衡 之 處 , 若 是 電 腦角 色 所 組 成 的 隊 伍 毫 無 團 隊 的 效 率 可 言 , 則 遊 戲 的 趣 味 也 將 大 打 折 扣 。 由 此 可知 , 如 何 訓 練 一 個 非 玩 家 控 制 的 角 色 (NPC), 具 備 思 考 能 力 , 可 以 針 對 不 同狀 況 , 研 判 出 最 佳 策 略 , 將 成 為 未 來 在 技 術 上 研 發 的 重 點 。2.2 非 玩 家 控 制 的 角 色 (NPC)目 前 商 業 化 的 電 腦 遊 戲 中 , 都 是 透 過 遊 戲 開 發 小 組 運 用 巧 思 , 所 建 立 的 虛擬 世 界 。 玩 家 會 扮 演 這 個 虛 擬 世 界 的 其 中 一 個 角 色 , 與 遊 戲 開 發 小 組 所 創 作 的非 玩 家 控 制 的 角 色 (none-player character, NPC) 有 所 互 動 [2-3]。 而 NPC 在 不 同 年6

代 的 電 腦 遊 戲 中 , 一 直 具 備 著 舉 足 輕 重 的 地 位 , 並 且 保 有 持 續 存 在 的 需 求 與 不可 替 代 性 。 在 80 年 代 中 期 的 遊 戲 , 當 時 的 電 腦 遊 戲 處 處 充 滿 著 濃 厚 的 英 雄 主 義氣 息 , 玩 家 通 常 扮 演 著 傳 說 中 的 勇 者 , 被 賦 予 神 聖 的 使 命 去 打 倒 邪 惡 的 大 魔 王 ,拯 救 世 界 、 讓 世 界 重 見 光 明 , 例 如 : 在 當 時 相 當 受 歡 迎 的 角 色 扮 演 遊 戲 (RPG)-「 勇 者 鬥 惡 龍 」(Dragon Quest)【 圖 2(a)】 或 是 動 作 遊 戲 (ACT) 的 經 典 作品 -「 瑪 俐 兄 弟 」(SuperMario)【 圖 2(b)】, 都 是 由 玩 家 操 控 主 角 , 為 了 伸 張正 義 , 打 擊 邪 惡 , 是 屬 於 單 打 獨 鬥 的 冒 險 遊 戲 。圖 2 (a) 勇 者 鬥 惡 龍 (b) 瑪 俐 兄 弟 (c) 雙 截 龍 II到 了 80 年 代 後 期 , 開 始 有 雙 人 合 作 的 遊 戲 出 現 , 例 如 :Capcom 所 開 發 的雙 截 龍 II(DOUBLE DRAGON II)【 圖 2(c)】。 遊 戲 允 許 兩 個 玩 家 同 時 加 入 遊戲 , 分 別 操 控 兩 個 角 色 , 一 起 合 作 打 擊 敵 人 , 這 時 候 的 角 色 分 工 , 並 不 明 顯 ,也 不 夠 細 膩 , 但 是 比 起 個 人 英 雄 主 義 的 遊 戲 , 則 增 加 了 一 些 變 化 的 玩 法 以 及 簡單 的 戰 術 了 ( 例 如 : 一 個 玩 家 先 牽 制 主 要 敵 人 , 另 一 玩 家 趁 機 打 倒 其 身 邊 的 嘍囉 , 或 是 玩 家 合 力 打 倒 主 要 敵 人 後 , 再 來 清 除 小 嘍 囉 等 等 )。到 了 90 年 代 開 始 , 大 型 機 台 利 用 了 機 台 間 的 連 線 , 開 始 有 了 四 人 合 作 的 遊戲 , 如 【 圖 3(a)】 的 龍 與 地 下 城 (Dungeons & Dragons II), 這 遊 戲 利 用 兩 台 機7

台 相 連 接 , 使 其 可 以 同 時 四 人 遊 玩 ; 而 玩 家 在 其 中 所 扮 演 的 角 色 , 有 戰 士 、 法師 、 盜 賊 、 聖 騎 士 … 等 六 種 職 業 , 使 得 分 工 變 的 更 加 細 緻 , 而 藉 由 各 種 職 業 的選 擇 組 合 , 也 讓 戰 術 更 有 變 化 , 例 如 : 當 出 現 一 大 群 弱 小 敵 人 的 時 候 , 就 可 以讓 法 師 施 行 大 範 圍 的 魔 法 ; 或 是 當 有 一 個 強 大 的 魔 王 出 現 時 , 可 以 讓 擁 有 武 裝的 戰 士 先 承 受 攻 擊 , 再 輔 以 聖 騎 士 幫 助 戰 士 恢 復 體 力 。圖 3 (a) Dungeons & Dragons II (b) Counter Strike (c) World of Warcraft90 年 代 後 期 , 網 路 的 發 達 使 得 多 人 的 區 域 連 線 遊 戲 開 始 盛 行 。 例 如 : 絕 對武 力 (Counter Strike)【 圖 3(b)】, 提 供 了 數 個 玩 家 利 用 網 路 連 線 , 進 行 區 域 連線 的 對 戰 。 玩 法 不 再 侷 限 一 種 模 式 , 它 除 了 可 以 藉 由 數 個 玩 家 組 成 一 隊 , 跟 電腦 NPC 組 成 的 隊 伍 進 行 對 抗 外 , 也 允 許 玩 家 們 分 別 組 成 兩 支 不 同 的 隊 伍 進 行 對戰 。 這 樣 多 人 連 線 的 玩 法 , 使 得 玩 家 們 的 分 工 就 更 顯 重 要 , 例 如 : 隊 伍 中 , 需要 細 膩 的 分 工 : 有 人 守 衛 基 地 , 有 人 進 攻 、 偷 襲 , 有 些 人 則 負 責 解 救 人 質 等 。如 此 , 玩 家 之 間 的 搭 配 , 也 對 勝 負 有 很 大 的 影 響 , 並 且 對 應 著 各 種 情 況 , 所 產生 的 戰 術 也 就 更 多 樣 化 了 。這 些 虛 擬 角 色 經 由 遊 戲 設 計 師 附 予 適 當 的 人 工 智 慧 , 讓 這 些 NPC 能 夠 表 現8

出 不 同 的 人 格 特 質 , 並 且 呈 現 人 類 特 有 的 情 緒 或 脾 氣 ( 例 如 : 恐 懼 、 復 仇 、 恃強 凌 弱 等 等 )。 由 電 腦 人 工 智 慧 所 控 制 的 虛 擬 角 色 的 種 類 繁 多 , 通 常 可 以 是 「 與玩 家 競 爭 的 對 手 」、「 合 作 的 夥 伴 」、 或 是 遊 戲 中 「 兇 猛 的 怪 獸 」, 甚 至 是 「 玩家 飼 養 的 寵 物 」 等 等 。 例 如 : 雷 神 之 鎚 3(Quake 3) 裡 , 玩 家 可 以 組 隊 與 電 腦的 NPC, 搶 奪 對 手 的 軍 旗 或 防 守 己 方 的 堡 壘 。 在 榮 譽 勳 章 (Medal of Honor PacificAssault) 遊 戲 中 , 玩 家 可 以 與 NPC 組 織 一 支 軍 隊 , 完 成 解 救 人 質 的 任 務 等 。圖 4 電 腦 寵 物 「 任 天 狗 」任 天 堂 是 日 本 一 家 歷 史 悠 久 的 遊 戲 開 發 公 司 ,「 瑪 俐 兄 弟 」 這 款 家 喻 戶 曉的 遊 戲 就 是 由 這 家 遊 戲 公 司 製 作 的 。2005 年 中 旬 , 任 天 堂 發 表 了 一 款 新 一 代 的虛 擬 電 子 寵 物 遊 戲 「 任 天 狗 」【 圖 4】, 在 遊 戲 中 玩 家 將 負 起 飼 養 小 狗 的 責 任 。遊 戲 充 分 發 揮 硬 體 特 性 , 使 用 3D 繪 圖 方 式 來 呈 現 出 生 動 逼 真 的 小 狗 , 並 可 透過 觸 控 螢 幕 的 操 作 , 來 進 行 餵 食 或 者 是 訓 練 , 也 可 以 購 買 像 是 飛 盤 、 網 球 、 汽球 、 毛 巾 等 小 道 具 給 小 狗 玩 , 以 觸 控 方 式 來 逗 弄 或 撫 摸 小 狗 , 或 透 過 語 音 輸 入功 能 來 讓 小 狗 認 識 自 己 的 名 字 , 並 訓 練 小 狗 依 照 玩 家 的 口 令 來 動 作 。「 任 天 狗 」 是 目 前 任 天 堂 所 發 行 的 遊 戲 中 , 最 受 到 歡 迎 的 一 款 遊 戲 , 藉 由9

這 個 遊 戲 , 它 讓 許 多 原 本 不 玩 遊 戲 的 女 性 玩 家 , 也 加 入 了 遊 戲 行 列 。 藉 由 獨 特人 機 介 面 的 加 持 , 使 得 玩 家 能 夠 用 更 自 然 而 直 接 的 方 式 和 虛 擬 小 狗 互 動 。 例 如 :用 觸 控 筆 撫 摸 小 狗 的 頭 , 藉 由 麥 克 風 讓 小 狗 知 道 你 在 叫 牠 等 等 。 最 有 趣 的 莫 過於 每 隻 狗 狗 的 性 格 都 不 一 樣 , 主 人 如 何 對 待 牠 , 也 會 影 響 到 牠 對 一 些 事 情 的 反應 。 由 於 這 款 遊 戲 具 備 非 常 擬 真 的 AI, 而 得 到 了 日 本 遊 戲 權 威 雜 誌 的 滿 分 評 價(40 分 ), 這 個 滿 分 是 對 一 款 遊 戲 的 最 高 評 價 。因 此 , 一 個 遊 戲 要 令 玩 家 愛 不 釋 手 , 回 味 無 窮 , 除 了 具 備 感 官 的 刺 激 外 ,必 須 擁 有 靈 活 的 人 工 智 慧 , 讓 玩 家 進 入 遊 戲 時 , 每 次 都 能 夠 有 不 同 的 體 驗 。 由上 述 的 介 紹 , 我 們 也 不 難 從 中 發 現 , 電 腦 遊 戲 的 成 敗 往 往 取 決 於 NPC 的 所 採 用的 人 工 智 慧 , 因 此 , 如 何 讓 NPC 具 備 更 完 美 的 人 工 智 慧 , 甚 至 讓 NPC 能 夠 具 備從 錯 誤 中 學 習 的 能 力 , 進 而 創 造 出 更 多 樣 化 的 遊 戲 類 型 [1-3], 是 我 們 目 前 重 要的 課 題 。10

2.3 遊 戲 人 工 智 慧 的 相 關 研 究目 前 所 使 用 的 遊 戲 人 工 智 慧 的 技 術 , 可 以 簡 單 歸 納 成 為 兩 種 類 型 : 定 性 與非 定 性 。 所 謂 的 「 定 性 」, 是 指 遊 戲 中 NPC 的 行 為 表 現 是 固 定 的 , 而 且 可 以 預測 , 沒 有 存 在 不 確 定 的 因 素 , 其 具 體 的 實 例 是 簡 單 的 追 逐 演 算 法 或 是 規 則 式 人工 智 慧 。 你 可 以 明 確 地 塑 造 一 個 非 玩 家 控 制 的 角 色 (NPC), 沿 著 XY 座 標 軸 前進 , 往 某 個 目 標 點 移 動 , 直 到 該 角 色 的 XY 座 標 與 目 標 點 重 疊 【 圖 5】。圖 5 簡 單 的 追 逐 演 算 法「 非 定 性 」 恰 恰 與 定 性 行 為 相 反 , 非 定 性 行 為 具 備 某 種 程 度 的 不 確 定 性 ,有 點 不 可 預 測 , 至 於 不 確 定 到 什 麼 程 度 , 則 和 採 用 的 AI 方 法 與 演 算 法 有 關 。 其具 體 的 實 例 是 , 利 用 神 經 網 路 或 基 因 演 算 法 [4], 讓 非 玩 家 角 色 具 備 學 習 能 力 ,讓 NPC 能 夠 學 習 並 且 適 應 玩 家 的 對 戰 戰 術 。2.3.1 定 性 的 人 工 智 慧 (AI)在 定 性 的 人 工 智 慧 中 , 以 規 則 為 根 基 的 AI 系 統 , 可 能 是 商 業 的 遊 戲 軟 體 中最 廣 為 使 用 的 AI 系 統 , 也 是 傳 統 上 實 作 電 腦 角 色 人 工 智 慧 最 常 用 到 的 方 法 , 但不 幸 的 是 , 它 並 沒 有 任 何 適 應 性 的 能 力 。 這 種 方 法 利 用 事 先 定 義 好 的 條 列 式 規11

則 來 明 確 規 定 角 色 在 遊 戲 中 的 行 為 , 在 程 式 設 計 中 就 是 以 if…than…else 敘 述 或是 switch…case 敘 述 等 的 選 擇 結 構 來 撰 寫 , 是 一 種 簡 單 、 容 易 了 解 的 方 法 。規 則 式 的 AI 系 統 的 優 點 之 ㄧ, 是 根 據 一 組 已 知 事 實 以 及 他 們 對 於 某 特 定 問題 領 域 的 知 識 , 以 人 類 慣 用 的 思 考 和 推 理 方 式 模 擬 。 這 種 規 則 系 統 的 另 一 個 優點 , 是 相 當 容 易 寫 程 式 和 管 理 , 因 為 編 寫 在 規 則 中 的 知 識 是 模 組 化 的 , 而 且 規則 可 以 用 任 何 次 序 編 寫 程 式 。 在 編 寫 系 統 程 式 以 及 日 後 修 改 系 統 時 , 都 相 當 具有 彈 性 , 因 此 深 受 遊 戲 設 計 師 的 喜 愛 。S. Woodcock[5-6] 曾 經 在 他 的 文 章 中 提 到 遊 戲 界 依 賴 以 規 則 為 基 礎 的 人 工智 慧 方 法 來 設 計 角 色 行 為 的 原 因 :- 以 規 則 為 基 礎 的 方 法 是 一 種 容 易 瞭 解 、 已 成 熟 的 方 法 。- 以 規 則 為 基 礎 的 方 法 是 一 種 可 預 測 ( 對 玩 家 來 說 也 是 如 此 )、 方 便 測 試與 除 錯 的 方 法 。- 基 於 遊 戲 開 發 的 時 效 性 , 開 發 人 員 欠 缺 其 它 型 態 的 人 工 智 慧 技 術 訓 練 。規 則 式 的 AI 系 統 實 作 上 , 通 常 透 過 特 定 的 描 述 語 言 (Scripting language)來 設 定 一 個 電 腦 角 色 該 有 的 行 為 , 當 遊 戲 開 始 時 或 者 在 某 個 特 定 時 刻 下 , 可 以讀 取 描 述 檔 , 並 予 以 分 析 。 例 如 , 當 玩 家 實 際 進 入 城 堡 時 , 控 制 城 堡 內 的 生 物或 事 件 的 描 述 檔 就 可 以 讀 進 遊 戲 人 工 智 慧 系 統 並 進 行 分 析 , 並 展 現 相 對 應 的 行為 表 現 。 可 是 當 角 色 的 行 為 需 求 越 來 越 複 雜 時 , 相 對 應 的 規 則 訂 定 也 越 來 越 困難 , 所 以 要 設 計 出 完 美 的 描 述 語 言 是 不 可 能 的 , 而 一 旦 人 類 玩 家 發 現 其 中 的 「 漏12

洞 」, 則 無 法 阻 止 玩 家 利 用 這 個 「 漏 洞 」 取 得 勝 利 , 且 經 由 網 路 的 散 佈 , 一 個遊 戲 很 可 能 就 因 為 這 個 「 漏 洞 」 而 失 去 其 遊 戲 性 。 可 是 當 角 色 的 行 為 需 求 越 來越 複 雜 時 , 相 對 應 的 規 則 訂 定 也 越 來 越 困 難 。綜 觀 目 前 市 面 上 的 電 腦 遊 戲 所 使 用 以 規 則 為 基 礎 的 系 統 , 根 據 實 作 方 法 的不 同 , 又 可 以 分 為 「 有 限 狀 態 機 」 與 「 模 糊 狀 態 機 」。 有 限 狀 態 機 (finite statemachines) 是 一 種 抽 象 的 機 制 , 用 來 表 示 在 各 種 不 同 的 預 定 狀 態 下 , 狀 態 發 生 變化 的 過 程 。 它 也 可 以 定 義 一 組 條 件 , 用 來 確 認 何 時 應 該 改 變 狀 態 , 而 通 常 實 際的 狀 態 會 決 定 狀 態 機 的 行 為 。 遊 戲 設 計 師 利 用 此 種 方 法 , 可 以 讓 NPC 擁 有 「 有限 數 量 的 行 為 與 狀 態 」,NPC 會 根 據 不 同 的 「 輸 入 」, 適 時 地 做 切 換 並 輸 出 相對 應 的 行 動 , 呈 現 出 來 的 是 一 種 有 限 的 智 慧 。 而 這 裡 的 「 輸 入 」 則 包 括 玩 家 的行 動 、 角 色 的 感 知 與 遊 戲 中 的 狀 態 。 此 種 方 式 的 有 限 狀 態 機 可 以 追 溯 自 早 期 的電 腦 遊 戲 ,「 小 精 靈 」 就 是 當 時 使 用 有 限 狀 態 機 的 代 表 作 之 ㄧ。在 「 小 精 靈 」(Pac Man) 的 遊 戲 裡 面 , 其 中 的 鬼 怪 就 是 有 限 狀 態 機 , 這 些鬼 怪 可 以 四 處 遊 走 , 追 逐 玩 家 , 或 者 閃 躲 玩 家 。 在 每 種 狀 態 下 , 他 們 的 行 為 都不 相 同 , 而 狀 態 間 的 轉 換 則 由 玩 家 的 行 動 來 決 定 。 例 如 : 玩 家 如 果 吃 下 了 大 力丸 , 鬼 怪 的 狀 態 會 從 追 逐 轉 換 成 閃 躲 【 圖 6】。13

圖 6 鬼 怪 的 有 限 狀 態 機 圖 表另 外 ,「 模 糊 狀 態 機 」 也 是 規 則 式 人 工 智 慧 中 常 見 的 一 種 。 由 於 有 限 狀 態 機缺 乏 了 適 應 性 的 問 題 , 因 此 若 要 增 加 任 何 狀 態 的 數 量 , 遊 戲 設 計 師 都 需 要 重 新設 計 。 而 模 糊 狀 態 機 (fuzzy-state machines) 便 是 將 有 限 狀 態 機 , 加 入 模 糊 邏 輯或 是 隨 機 權 重 的 概 念 , 此 種 方 式 , 可 以 讓 NPC 具 備 一 些 不 可 預 測 的 行 為 , 增 加遊 戲 的 多 樣 性 。所 謂 的 「 模 糊 邏 輯 」, 我 們 引 用 加 州 柏 克 萊 大 學 教 授 , 素 有 「 模 糊 邏 輯 之 父 」稱 號 的 Lotfi Zadeh 的 說 法 「 是 把 一 種 接 近 人 類 解 決 問 題 的 方 式 , 交 由 電 腦 處 理 ,而 模 糊 邏 輯 的 本 質 一 切 都 和 程 度 有 關 」。 人 類 時 常 要 在 很 不 精 確 的 狀 況 下 , 分析 情 勢 或 是 解 決 問 題 。 例 如 : 假 設 我 們 與 一 群 朋 友 打 籃 球 , 當 我 們 在 球 場 上 衡量 對 手 時 , 通 常 會 根 據 對 方 的 身 高 來 做 為 防 守 策 略 的 擬 定 。 我 們 一 般 只 會 採 用14

目 測 方 式 來 衡 量 對 方 的 身 高 , 把 對 手 歸 類 為 不 高 、 普 通 高 或 是 很 高 , 但 是 通 常並 沒 有 一 個 很 明 確 的 界 定 值 。 由 於 是 透 過 目 測 方 式 衡 量 對 方 的 身 高 , 在 分 類 的時 候 , 普 通 高 與 很 高 之 間 的 界 線 其 實 相 當 模 糊 , 而 且 有 些 部 份 也 會 產 生 重 疊 。傳 統 布 林 邏 輯 只 能 定 義 0 與 1, 也 就 是 非 真 即 假 , 但 是 , 模 糊 邏 輯 就 可 以 有 灰 色地 帶 的 存 在 。 因 此 , 在 模 糊 狀 態 機 中 , 一 組 相 同 的 輸 入 不 見 得 每 次 都 能 夠 產 生相 同 的 輸 出 , 而 是 根 據 隨 機 選 擇 或 是 更 複 雜 的 權 重 函 式 來 選 擇 其 中 一 組 輸 出 。在 電 腦 遊 戲 業 界 有 許 多 的 技 術 文 件 , 探 討 如 何 將 模 糊 狀 態 機 應 用 到 遊 戲 角 色 行為 的 設 計 上 [7-11], 但 是 利 用 此 種 方 式 所 設 計 出 來 的 電 腦 角 色 , 其 行 為 的 適 應 性其 實 相 當 有 限 。2.3.2 非 定 性 的 人 工 智 慧 (AI)由 於 定 性 的 人 工 智 慧 會 讓 遊 戲 的 表 現 是 特 定 的 , 而 且 是 可 以 預 測 , 並 且 不具 有 不 確 定 的 性 質 , 所 以 都 有 無 法 調 整 遊 戲 中 角 色 行 為 的 缺 點 。 一 旦 玩 家 發 現電 腦 角 色 的 行 為 規 則 , 若 NPC 是 扮 演 敵 人 的 角 色 , 則 將 使 得 遊 戲 變 的 沒 有 挑 戰性 ; 若 NPC 是 扮 演 玩 家 的 同 伴 或 是 中 立 角 色 , 則 死 板 的 人 工 智 慧 也 會 讓 玩 家 失去 遊 戲 的 樂 趣 。 所 以 , 非 定 性 的 人 工 智 慧 的 確 在 電 腦 遊 戲 的 角 色 設 計 上 有 其 需要 性 , 特 別 是 一 些 機 器 學 習 的 技 術 , 例 如 : 神 經 網 路 演 算 法 或 基 因 演 化 演 算 法 ,這 些 擁 有 適 應 性 特 點 的 方 法 , 特 別 適 合 遊 戲 的 應 用 來 改 良 上 述 的 缺 點 。 到 目 前為 止 , 探 討 非 定 性 遊 戲 人 工 智 慧 已 經 有 許 多 學 術 上 的 研 究 , 並 且 有 許 多 遊 戲 公司 將 其 應 用 在 商 業 化 的 遊 戲 中 。 接 下 來 , 我 們 將 介 紹 目 前 學 者 對 非 定 性 遊 戲 人15

工 智 慧 的 相 關 研 究 , 這 些 研 究 主 要 是 針 對 如 何 使 遊 戲 中 的 角 色 具 有 學 習 能 力 ,並 且 可 以 調 整 角 色 的 行 為 , 或 是 讓 NPC 透 過 某 些 演 算 法 能 夠 擁 有 適 應 性 的 行 為方 法 。F. D. Laramee[12] 使 用 在 語 音 辨 識 領 域 中 的 統 計 預 測 方 法 (N-Gram), 在遊 戲 發 行 之 前 , 透 過 大 規 模 的 試 玩 測 試 活 動 , 統 計 出 玩 家 經 常 採 用 的 局 部 性 行為 模 式 , 作 為 遊 戲 AI 角 色 預 測 玩 家 行 動 的 依 據 。T. Alexander[13] 提 出 了 行 為 捕捉 的 概 念 , 他 認 為 我 們 可 以 藉 由 觀 察 真 實 玩 家 在 遊 戲 期 間 的 行 為 , 來 訓 練 電 腦控 制 的 角 色 。 也 就 是 說 讓 電 腦 具 備 學 習 能 力 , 學 習 真 實 玩 家 的 行 為 , 並 且 統 計玩 家 在 某 條 件 下 做 出 某 項 行 動 的 次 數 , 來 做 為 電 腦 控 制 角 色 的 行 為 依 據 。F.Mommersteeg[14] 則 利 用 一 種 連 續 性 預 測 的 方 法 , 辨 識 玩 家 在 遊 戲 中 經 常 使 用 的策 略 與 行 為 模 式 , 並 且 利 用 辨 識 到 的 模 式 , 預 測 玩 家 下 一 步 可 能 的 行 動 , 做 為AI 提 前 採 取 相 對 應 策 略 的 依 據 。 上 述 的 研 究 , 雖 然 使 得 遊 戲 中 的 NPC 具 有 某 種程 度 的 學 習 能 力 以 及 適 應 性 , 但 都 侷 限 於 單 一 電 腦 角 色 的 學 習 , 每 個 NPC 都 只是 獨 立 的 個 體 , 彼 此 之 間 並 沒 相 互 合 作 的 關 係 存 在 。另 外 , 坊 間 有 些 遊 戲 公 司 願 意 將 其 商 業 遊 戲 的 原 始 碼 開 放 給 玩 家 , 以 做 為其 研 究 的 平 台 , 雷 神 之 鎚 (Quake) 便 是 其 中 之 ㄧ。 雷 神 之 鎚 是 一 套 第 一 人 稱 的 動作 射 擊 遊 戲 , 目 前 已 經 有 許 多 學 者 , 利 用 這 套 遊 戲 來 探 討 遊 戲 的 人 工 智 慧 , 這也 是 本 篇 論 文 實 驗 所 採 用 的 遊 戲 平 台 。 在 1999 年 ,John Laird[15] 首 先 發 展 了 一套 名 為 Soar 的 AI 引 擎 【 圖 7】,Soar 是 一 個 可 以 藉 由 修 改 少 數 的 函 式 後 , 即16

可 在 不 同 類 型 中 使 用 的 AI 引 擎 。 之 後 Laird[16] 將 它 實 際 應 用 在 設 計 雷 神 之 鎚 2的 NPC 上 , 使 得 遊 戲 裡 的 NPC 可 以 預 測 玩 家 的 動 作 , 模 擬 人 類 中 遊 戲 的 高 手 所使 用 的 策 略 模 式 。圖 7 動 作 遊 戲 策 略 階 層 表C. Thurau [17] 則 利 用 了 類 神 經 網 路 演 算 法 , 在 雷 神 之 鎚 3 裡 以 人 類 中 遊 戲高 手 的 行 為 模 式 做 為 訓 練 資 料 , 讓 電 腦 從 中 學 習 遊 戲 高 手 的 行 為 模 式 , 進 而 改良 遊 戲 角 色 的 人 工 智 慧 。Stephano Zanetti et al[18] 同 樣 地 也 採 用 具 機 器 學 習 的 技術 類 神 經 網 路 【 圖 8】, 分 別 利 用 Aim&Shoot NN、Fight Move NN 和 Route NN三 個 類 神 經 網 路 來 處 理 NPC 瞄 準 射 擊 控 制 、 戰 鬥 移 動 與 路 徑 分 析 的 行 為 , 並 且透 過 動 態 連 結 檔 案 (DLL), 使 得 遊 戲 執 行 時 可 以 直 接 呼 叫 相 對 應 的 類 神 經 網路 。17

圖 8 控 制 電 腦 角 色 的 三 個 類 神 經 網 路但 我 們 發 現 , 上 述 的 方 法 中 , 為 了 使 得 遊 戲 角 色 具 備 學 習 特 性 , 通 常 需 要耗 費 大 量 的 運 算 , 事 先 也 必 需 收 集 遊 戲 高 手 的 行 為 模 式 以 及 作 戰 策 略 , 做 為 訓練 過 程 中 NPC 學 習 的 樣 本 資 料 。 由 於 大 量 運 算 的 結 果 , 使 得 這 些 學 習 方 法 一 次只 能 訓 練 一 位 NPC, 無 法 同 時 訓 練 多 個 角 色 。 另 外 , 為 了 不 致 於 影 響 遊 戲 進 行的 速 度 , 遊 戲 角 色 在 遊 戲 前 必 須 事 先 訓 練 、 調 整 完 成 後 , 才 能 夠 導 入 遊 戲 的 進行 , 所 以 並 無 法 達 到 遊 戲 與 學 習 並 行 。 蒐 集 訓 練 時 所 需 大 量 遊 戲 高 手 的 行 為 模式 資 料 也 十 分 不 易 。 而 且 , 訓 練 完 畢 的 NPC 都 是 獨 立 的 個 體 , 相 互 之 間 並 沒 有合 作 的 機 制 , 無 法 有 效 率 的 配 合 , 換 句 話 說 , 經 過 學 習 的 遊 戲 角 色 或 許 可 為 成為 籃 球 界 的 Michel Jordan, 但 是 並 無 法 組 成 夢 幻 籃 球 隊 , 因 此 , 此 種 方 法 並 不適 用 於 團 隊 的 遊 戲 模 式 。18

2.4 團 隊 的 人 工 智 慧在 2000 年 之 後 , 網 路 遊 戲 開 始 盛 行 , 許 多 開 發 單 機 版 的 遊 戲 公 司 也 順 應 時代 的 潮 流 , 紛 紛 將 遊 戲 發 展 的 政 策 轉 移 到 網 路 遊 戲 的 開 發 上 。 其 中 ,「 網 路 創世 紀 」 (Ultima On-Line) 是 第 一 款 圖 形 化 多 人 線 上 角 色 扮 演 遊 戲 , 推 出 至 今 已 經將 近 十 年 的 歲 月 , 在 這 期 間 也 不 乏 有 許 多 更 華 麗 的 線 上 角 色 扮 演 遊 戲 推 出 , 但是 「 網 路 創 世 紀 」 卻 始 終 能 夠 在 遊 戲 界 屹 立 不 搖 , 原 因 無 他 , 就 在 於 「 網 路 創世 紀 」 的 豐 富 性 和 多 變 性 。 在 遊 戲 中 , 玩 家 不 但 可 以 扮 演 一 個 奮 勇 殺 敵 的 法 師或 是 戰 士 , 更 可 以 隨 心 所 欲 的 扮 演 任 何 想 要 的 角 色 , 從 事 任 何 想 得 到 的 職 業 。在 街 上 和 你 擦 肩 而 過 的 可 能 是 個 打 鐵 匠 , 擁 有 打 造 一 副 精 良 護 甲 的 好 手 藝 ; 也可 能 是 個 裁 縫 師 , 可 以 編 織 全 身 華 麗 亮 眼 的 衣 裳 ; 當 然 , 也 有 可 能 是 個 高 級 的馴 獸 師 , 可 以 馴 服 夢 魘 或 是 龍 等 高 強 的 動 物 來 當 作 座 騎 、 甚 至 是 貼 身 保 鑣 。 就是 因 為 遊 戲 有 著 這 麼 多 的 可 能 性 , 無 形 中 豐 富 了 整 個 遊 戲 的 過 程 , 即 使 歷 經 時間 的 洗 禮 , 卻 可 以 讓 玩 家 身 陷 在 不 列 顛 尼 亞 的 虛 擬 世 界 中 不 可 自 拔 。另 外 , 目 前 非 常 熱 門 的 線 上 遊 戲 「 魔 獸 世 界 」(World of Warcraft 【 圖2(c)】), 是 由 知 名 的 Blizzard 所 開 發 的 , 這 款 線 上 遊 戲 , 在 發 售 的 當 時 就 造 成極 大 迴 響 , 在 2005 年 更 創 下 同 時 上 線 十 二 萬 人 的 成 績 。 在 魔 獸 世 界 中 , 每 個 人所 扮 演 的 , 是 整 個 虛 擬 世 界 裡 面 的 一 個 角 色 , 有 很 多 種 族 和 搭 配 的 職 業 可 以 選擇 ; 遊 戲 中 也 允 許 玩 家 之 間 的 互 動 , 和 現 實 生 活 一 樣 , 透 過 與 其 他 玩 家 相 互 合作 , 才 能 使 遊 戲 進 行 的 更 順 暢 。19

以 往 在 探 討 遊 戲 人 工 智 慧 時 , 大 多 是 探 討 單 一 的 電 腦 遊 戲 角 色 - 在 遊 戲 中藉 由 不 斷 的 嘗 試 而 從 錯 誤 中 學 習 , 或 是 直 接 利 用 學 習 人 類 遊 戲 高 手 的 技 巧 或 行為 模 式 , 而 使 得 電 腦 角 色 表 現 愈 來 愈 出 色 。 但 是 , 由 於 網 路 遊 戲 的 蓬 勃 發 展 ,也 反 應 了 遊 戲 中 單 一 的 電 腦 角 色 已 經 無 法 滿 足 玩 家 的 需 求 , 對 於 強 調 團 隊 合 作的 網 路 遊 戲 來 說 , 個 人 的 行 為 或 技 巧 已 經 不 是 最 重 要 的 因 素 了 , 團 隊 的 策 略 才是 應 該 考 量 的 重 點 , 這 也 使 得 目 前 遊 戲 人 工 智 慧 的 研 究 領 域 , 從 單 一 電 腦 角 色的 人 工 智 慧 擴 展 到 團 隊 的 人 工 智 慧 。為 了 讓 玩 家 與 NPC 對 抗 時 , 也 可 以 同 樣 感 受 到 與 真 人 玩 家 互 動 時 , 所 具 有的 挑 戰 性 與 趣 味 性 , 因 此 , 我 們 希 望 讓 電 腦 的 角 色 擁 有 「 團 隊 合 作 」 的 學 習 適應 的 能 力 。 但 是 , 我 們 發 現 目 前 商 業 的 電 腦 遊 戲 中 , 團 隊 的 人 工 智 慧 都 有 著 相同 的 問 題 - 使 用 規 則 為 基 礎 的 方 法 , 其 結 果 通 常 會 造 成 電 腦 角 色 的 表 現 非 常 死板 、 毫 無 變 化 , 並 且 沒 有 判 斷 錯 誤 的 能 力 , 錯 誤 一 旦 發 生 後 還 是 會 重 蹈 覆 轍 ,而 且 也 不 具 備 學 習 成 長 的 能 力 。 所 以 , 也 造 成 現 今 大 部 份 的 團 隊 遊 戲 , 雖 然 有設 計 電 腦 角 色 , 但 通 常 玩 家 不 願 與 NPC 組 成 一 隊 進 行 比 賽 , 而 寧 願 上 網 找 其 他玩 家 進 行 對 戰 , 歸 納 其 中 的 原 因 , 主 要 仍 是 因 為 NPC 在 團 隊 遊 戲 中 表 現 並 不 出色 , 而 人 類 在 團 隊 合 作 上 都 能 輕 易 的 達 到 良 好 的 效 果 , 這 部 份 一 直 以 來 是 電 腦角 色 所 難 以 望 其 項 背 的 。 因 此 , 要 如 何 訓 練 出 擁 有 「 團 隊 合 作 」 的 人 工 智 慧 ,使 其 團 隊 成 為 一 個 有 效 率 的 團 隊 , 是 一 個 重 要 的 課 題 , 也 是 本 篇 論 文 要 探 討 的重 點 。20

Sander Bakkes[19-20] 的 研 究 是 希 望 發 展 一 套 團 隊 遊 戲 的 適 應 系 統 , 藉 由 遊戲 中 不 斷 的 學 習 , 遊 戲 的 團 隊 可 以 自 行 發 展 出 與 人 類 玩 家 抗 衡 的 人 工 智 慧 。 他的 研 究 採 用 了 基 因 演 算 法 , 利 用 有 限 狀 態 機 (FSM) 在 遊 戲 中 每 種 狀 態 轉 換 時 ,給 與 事 先 定 義 的 適 應 值 , 來 評 斷 該 狀 態 使 用 何 種 策 略 是 最 佳 的 選 擇 。 此 種 學 習方 法 採 用 線 上 方 式 訓 練 團 隊 , 訓 練 過 程 中 不 能 使 用 太 過 複 雜 的 演 算 法 , 否 則 大量 的 運 算 會 耗 費 CPU 過 多 時 間 , 而 影 響 遊 戲 進 行 的 過 程 。 另 外 , 也 受 限 於 選 擇的 基 因 數 量 不 能 太 多 , 因 此 訓 練 出 來 的 策 略 , 變 化 也 十 分 有 限 。 再 者 , 此 種 方法 在 訓 練 過 程 中 非 常 耗 費 時 間 , 而 且 所 訓 練 的 團 隊 必 須 經 過 長 時 間 的 演 化 , 才有 明 顯 的 成 長 , 並 不 符 合 商 業 化 遊 戲 的 需 求 。陳 伯 仲 [21] 則 將 粒 子 最 佳 化 演 算 法 導 入 雷 神 之 鎚 3 中 , 做 為 電 腦 角 色 學 習的 演 算 法 。 除 了 使 用 粒 子 群 最 佳 化 演 算 法 調 整 NPC 的 九 個 行 為 參 數 外 , 並 讓 表現 較 差 的 團 隊 學 習 表 現 較 優 秀 的 團 隊 , 藉 由 群 體 學 習 的 概 念 , 讓 團 隊 成 為 一 個有 效 率 的 團 隊 。其 實 , 一 個 團 隊 中 應 該 是 有 各 具 特 色 的 成 員 , 團 隊 中 的 領 導 者 必 須 能 夠 評估 每 位 成 員 的 特 性 , 採 取 有 效 的 策 略 並 且 指 派 合 適 的 任 務 , 以 求 得 團 隊 的 最 佳表 現 ; 而 非 單 純 幾 個 遊 戲 高 手 , 毫 無 章 法 的 組 成 一 個 團 隊 就 會 有 最 佳 結 果 。 所以 本 研 究 希 望 在 探 討 遊 戲 中 , 電 腦 角 色 的 學 習 時 會 考 慮 團 隊 策 略 這 個 重 要 的 因素 , 並 且 藉 由 學 習 過 程 中 不 斷 演 化 的 結 果 , 使 得 電 腦 角 色 具 備 團 隊 策 略 的 學 習能 力 , 達 到 團 隊 的 最 佳 效 率 。 另 外 , 本 研 究 所 採 取 的 方 法 是 以 粒 子 群 最 佳 化 演21

算 法 (PSO) 為 基 礎 的 團 隊 策 略 學 習 演 算 法 , 粒 子 群 最 佳 化 演 算 法 具 備 了 運 算 速度 快 且 穩 定 的 特 性 , 十 分 適 合 遊 戲 環 境 的 應 用 。 接 下 來 的 章 節 , 首 先 介 紹 PSO的 方 法 , 然 後 說 明 我 們 如 何 將 PSO 導 入 雷 神 之 鎚 3 的 團 隊 遊 戲 中 , 介 紹 我 們 提出 的 演 算 法 並 且 詳 細 說 明 演 化 流 程 。 最 後 , 利 用 雷 神 之 鎚 3 作 為 實 驗 平 台 , 將我 們 的 演 算 法 加 以 實 作 , 並 分 析 實 驗 結 果 。22

3.1 演 算 法 簡 介第 三 章 粒 子 群 最 佳 化 演 算 法粒 子 群 最 佳 化 演 算 法 (Particle Swarm Optimization)( 以 下 簡 稱 PSO) 是 由James Kennedy 與 Russell C. Eberhart[22] 於 1995 年 所 提 出 , 是 一 種 具 有 群 體 智 慧概 念 、 屬 於 演 化 計 算 領 域 的 一 種 計 算 方 法 , 源 自 於 人 工 生 命 (artificial life) 與 社 會心 理 學 的 研 究 。 演 化 計 算 是 人 工 智 慧 研 究 領 域 中 的 一 項 學 科 , 它 所 關 注 的 是 如何 利 用 自 然 界 生 物 演 化 的 機 制 , 也 就 是 達 爾 文 「 物 競 天 擇 , 適 者 生 存 , 不 適 者淘 汰 」 的 演 化 理 論 來 發 展 科 學 上 的 計 算 方 法 , 一 般 認 為 目 前 總 共 發 展 出 了 四 種主 要 的 學 派 (paradigms): 基 因 演 算 法 (genetic algorithms)、 演 化 規 劃 (evolutionaryprogramming) 、 演 化 策 略 (evolutionary strategies) 與 基 因 規 劃 (geneticprogramming), 而 PSO 屬 於 演 化 計 算 領 域 中 的 最 新 學 派 。 與 其 它 的 演 化 計 算 學派 類 似 ,PSO 利 用 一 群 可 能 的 問 題 解 在 解 空 間 (solution hyperspace) 中 移 動 以 找 尋問 題 的 最 佳 解 或 近 似 最 佳 解 。 雖 然 PSO 的 概 念 並 非 模 仿 生 物 演 化 的 過 程 , 不 過的 確 類 似 R. Dawkins(1976) 所 提 出 的 「 知 識 演 化 」 概 念 - 人 們 的 大 腦 、 有 形 與 無形 的 媒 體 是 知 識 與 經 驗 演 化 的 場 所 , 不 好 的 經 驗 與 方 法 會 逐 漸 被 人 們 忽 略 與 遺忘 , 較 成 功 的 經 驗 將 會 被 累 積 、 被 人 們 使 用 、 修 改 使 之 更 加 完 美 。在 演 化 計 算 領 域 中 , 基 因 演 算 法 是 最 著 名 的 一 個 學 派 , 是 基 於 族 群(population) 求 解 的 最 佳 化 工 具 , 系 統 以 隨 機 方 式 初 始 一 組 問 題 解 , 透 過 不 停 的疊 代 過 程 尋 找 問 題 的 最 佳 解 , 不 過 PSO 並 沒 有 基 因 演 算 法 的 交 配 (crossover) 與23

突 變 (mutation), 而 是 透 過 一 組 問 題 的 可 能 解 , 稱 作 「 粒 子 」(particle), 在 解 空間 中 追 隨 最 佳 的 粒 子 進 行 搜 索 。 與 基 因 演 算 法 相 較 ,PSO 的 優 勢 在 於 概 念 簡 單 、實 作 容 易 、 沒 有 太 多 的 參 數 需 要 調 整 , 並 且 在 許 多 的 情 況 下 所 有 的 粒 子 可 能 更快 的 收 斂 於 最 佳 解 。 目 前 PSO 已 經 成 功 地 應 用 在 許 多 的 領 域 , 包 括 類 神 經 網 路訓 練 、 模 糊 系 統 控 制 , 並 且 能 夠 應 用 在 其 它 基 因 演 算 法 所 應 用 的 領 域 [23]。3.2 PSO 的 概 念Kennedy 與 Eberhart 早 期 也 是 對 鳥 類 群 聚 行 為 的 模 擬 產 生 興 趣 ,Reynolds僅 僅 使 用 簡 單 的 幾 條 規 則 就 模 擬 出 相 當 真 實 的 鳥 類 群 聚 飛 行 動 畫 。Heppner 的 鳥類 群 聚 模 擬 大 致 上 與 Reynolds 的 模 型 類 似 , 不 過 卻 加 入 了 一 個 不 一 樣 的 特 點 ,他 的 鳥 群 會 受 到 棲 息 地 的 吸 引 , 也 就 是 在 模 擬 的 開 始 , 鳥 會 逐 漸 形 成 群 體 並 且以 無 特 定 方 向 在 空 中 飛 行 , 直 到 有 一 隻 飛 越 了 棲 息 地 的 上 空 , 並 且 受 到 了 棲 息地 的 牽 引 , 那 麼 其 它 的 同 伴 將 同 時 受 到 鄰 近 夥 伴 與 棲 息 地 的 影 響 , 逐 漸 地 降 落在 棲 息 地 。Kennedy 與 Eberhart 認 為 在 Heppner 的 模 型 裡 , 群 體 中 的 個 體 除 了 受到 群 體 的 牽 引 之 外 也 受 到 目 標 的 吸 引 , 這 二 股 力 量 將 決 定 個 體 是 傾 向 繼 續 搜 尋更 佳 的 棲 息 地 或 者 是 傾 向 滿 足 現 有 的 棲 息 地 , 並 且 讓 他 們 覺 得 這 與 搜 尋 最 佳 解的 問 題 有 某 方 面 的 關 連 。PSO 的 研 究 從 鳥 類 群 聚 行 為 的 模 擬 開 始 , 因 此 , 看 似複 雜 的 行 為 ( 鳥 類 的 群 聚 行 為 、 找 尋 問 題 的 最 佳 解 ) 可 藉 由 訂 定 個 體 間 簡 單 的互 動 規 則 浮 現 出 來 , 是 PSO 的 第 一 項 特 性 。PSO 的 發 明 者 Kennedy 是 曾 在 他 的 著 作 中 [24] 提 到 ,PSO 的 論 點 是 由 簡 單24

的 社 會 認 知 理 論 所 支 撐 - 相 較 與 其 它 的 物 種 , 人 類 因 為 具 有 三 項 行 為 : 評 估(evaluation)、 比 較 (compare) 與 模 仿 (imitate), 所 以 能 夠 做 出 智 慧 的 決 策 與 展 現 出高 階 的 行 為 。 個 體 可 以 對 外 界 的 刺 激 作 出 評 估 , 知 道 什 麼 是 好 的 、 壞 的 , 而 評估 是 學 習 行 為 的 基 礎 , 個 體 為 了 得 到 更 好 的 評 估 值 而 做 出 正 確 的 決 策 , 可 所 謂是 學 習 行 為 的 一 部 份 ; 個 體 會 對 行 為 的 結 果 與 自 身 、 與 他 人 的 成 功 經 驗 做 比 較 ;模 仿 成 功 經 驗 的 方 法 , 則 是 學 習 的 最 有 力 工 具 。Boyd 與 Richerson 的 個 體 學 習與 文 化 傳 承 理 論 也 支 持 了 PSO 的 論 點 , 他 們 認 為 人 們 在 做 決 策 的 過 程 中 會 利 用到 二 項 重 要 的 資 訊 , 第 一 種 資 訊 即 是 個 體 所 擁 有 的 經 驗 , 也 就 是 個 體 可 以 記 得曾 經 在 什 麼 樣 的 情 況 下 做 過 什 麼 樣 的 決 定 , 並 且 知 道 什 麼 樣 的 決 定 是 比 較 好的 。 另 一 項 資 訊 則 是 他 人 的 經 驗 , 個 體 可 以 知 道 在 他 們 的 周 圍 有 誰 做 過 什 麼 樣的 努 力 , 那 個 人 的 成 果 是 最 好 的 。 因 此 , 個 體 會 利 用 自 身 與 利 用 他 人 的 成 功 經驗 做 為 行 動 的 依 據 即 是 PSO 的 第 二 項 特 性 。3.3 PSO 的 方 法根 據 上 述 的 二 項 概 念 Kennedy 與 Eberhart 發 展 了 一 套 PSO 模 型 用 來 解 決 最佳 化 的 問 題 ,【 圖 9】 是 PSO 演 算 法 的 流 程 圖 。 在 PSO 中 , 一 個 最 佳 化 問 題 的解 就 像 是 一 隻 在 空 間 中 飛 行 的 鳥 一 樣 , 他 們 稱 作 「 粒 子 」(particle), 在 空 間 中 移動 的 所 有 粒 子 都 有 一 個 由 適 應 函 式 所 決 定 的 適 應 值 , 另 外 每 個 粒 子 還 有 一 個 速度 來 決 定 他 們 移 動 的 方 向 與 距 離 , 一 群 粒 子 靠 著 追 隨 個 人 的 成 功 經 驗 與 目 前 最25

圖 9 粒 子 群 最 佳 化 演 算 法 的 流 程 圖佳 粒 子 的 腳 步 在 解 空 間 中 飛 行 。 粒 子 群 透 過 不 停 的 疊 代 程 序 逐 漸 收 斂 並 找 到 問題 的 近 似 最 佳 解 , 此 時 大 部 分 的 粒 子 會 處 在 一 個 相 似 的 狀 態 【 圖 10】。圖 10 粒 子 群 搜 尋 最 佳 解 過 程在 初 始 階 段 ,PSO 會 隨 機 產 生 一 組 粒 子 ( 位 置 與 速 度 ), 然 後 透 過 一 次 次的 疊 代 找 尋 最 佳 解 , 在 每 次 的 疊 代 過 程 中 每 個 粒 子 利 用 二 個 「 最 佳 值 」 來 更 新自 己 的 速 度 , 一 個 是 粒 子 本 身 所 找 到 的 最 佳 解 , 稱 為 「 個 體 最 佳 值 」(pbest), 另一 個 最 佳 值 是 由 PSO 所 記 錄 與 更 新 , 為 全 體 粒 子 所 找 到 的 最 佳 解 , 稱 為 「 全 體最 佳 值 」(gbest), 若 一 個 粒 子 所 能 受 影 響 的 範 圍 是 區 域 性 的 , 則 這 裡 的 最 佳 解 就26

要 改 稱 為 「 區 域 最 佳 值 」(lbest)。 當 粒 子 找 到 這 二 個 最 佳 值 之 後 , 便 利 用 下 面 這個 式 子 來 更 新 粒 子 的 速 度 :( gbest( k) − S ( k))vi( k + 1) = wvi( k)+ c1 × rand1(pbesti( k)− Si( k))+ c2× rand2i(1)在 式 子 (1) 中 , v i( k ) 代 表 粒 子 i 在 第 次 疊 代 中 的 速 度 ,w 是 權 重 函 式 , 與k c1c2是 學 習 因 子 。 通 常 , c1= c 2,rand1、 rand2是 一 個 介 於 0~1 之 間 的 隨 機 值 , ( k ) 代表 粒 子 i 在 第 k 次 疊 代 中 的 位 置 ,pbest 是 粒 子 i 的 最 佳 值 ,gbest 是 全 體 的 最 佳 值 。以 下 是 上 述 式 子 所 用 到 的 權 重 函 式 :is iwmax− wminw = wmax− × iteritermax(2)圖 11 粒 子 在 解 空 間 移 動w在 這 個 式 子 中 ,max代 表 初 始 權 重 , witermin 代 表 最 終 權 重 ,max是 最 大 的 疊 代數 目 , iter 則 代 表 目 前 的 疊 代 次 數 , w 的 值 將 會 隨 疊 代 次 數 的 增 加 越 來 越 小 , 這表 示 PSO 希 望 在 最 佳 化 過 程 中 的 開 始 傾 向 讓 粒 子 更 積 極 地 搜 尋 更 佳 的 問 題 解 ,也 就 是 「 探 索 」 (exploration), 而 隨 著 疊 代 次 數 的 增 加 , 粒 子 則 會 傾 向 滿 足 現 有27

的 最 佳 解 。 每 個 粒 子 在 第 k+1 次 疊 代 中 的 位 置 ( 解 空 間 中 的 搜 尋 點 ), 可 以 簡單 的 利 用 下 面 的 式 子 來 更 新 ( 示 意 圖 如 【 圖 12】):S ( k + 1) = S ( k)+ v ( k + 1)i ii(3)Shi 與 Eberhart[25] 在 對 於 PSO 參 數 選 擇 的 研 究 中 指 出 , w 的 權 重 函 式 直 接影 響 了 粒 子 在 移 動 時 探 索 的 能 力 。 在 他 們 的 實 驗 中 發 現 了 一 個 現 象 , 如 果 w 的值 在 前 幾 次 的 疊 代 過 程 , 能 夠 從 0.9 線 性 遞 減 至 0.4, 然 後 維 持 0.4 的 常 數 , 將會 使 得 PSO 得 到 更 好 效 果 。Jzau-Shen Lin[26] 採 行 了 這 個 方 法 , 並 且 利 用 CoolingSchedule 遞 減 函 式 (4) 的 特 性 , 取 代 原 本 的 w 的 權 重 函 式 , 將 原 本 PSO 的 速 度 方程 式 加 以 改 良 。圖 12 cooling schedule function 曲 線 圖Tk[ ] T ( − 1)1= kτ + 1( k ) τ + tanh ( Ω)(4)28

在 式 子 (4) 中 , Ω 與 τ 都 是 常 數 , 我 們 選 擇 ( 0 ) = 0. 9T , τ = 4以 及 Ω = 0.995, 並 且 利用 Matlab 的 軟 體 , 畫 出 函 式 的 曲 線 , 如 【 圖 12】 所 示 , 然 後 將 PSO 速 度 的 方程 式 (1) 改 寫 為 PSO-CS 的 速 度 方 程 式 (5)。( k) v ( k)+ c × rand ( pbest ( k)− S ( k + c × rand ( gbest( k) − S ( k))vi( k + 1) = Ti 1 1 i i))2 2i (5)29

4.1 雷 神 之 鎚 3 簡 介第 四 章 電 腦 遊 戲 團 隊 策 略「 雷 神 之 鎚 3」 是 一 套 由 ID Software 公 司 , 設 計 開 發 第 一 人 稱 動 作 射 擊 遊 戲(First Personal Shoot)。 它 以 其 華 麗 壯 觀 的 場 景 , 優 秀 的 武 器 裝 備 系 統 , 刺 激耐 玩 的 戰 鬥 模 式 , 火 爆 逼 真 的 戰 鬥 場 面 , 加 上 高 超 的 人 工 智 慧 、 特 色 各 異 的 電腦 對 手 , 緊 緊 扣 住 玩 家 們 的 心 弦 , 不 愧 為 雷 神 之 鎚 系 列 的 經 典 續 作 【 圖 13】。圖 13 雷 神 之 鎚 3 的 遊 戲 畫 面雷 神 之 鎚 3 程 式 中 的 遊 戲 引 擎 ( 繪 圖 與 網 路 之 核 心 程 式 碼 ) 是 屬 於 需 要 授 權才 能 取 得 的 部 份 , 而 遊 戲 邏 輯 ( 與 遊 戲 邏 輯 相 關 的 程 式 碼 ) 則 是 開 放 讓 玩 家 修改 , 並 且 鼓 勵 玩 家 修 改 , 這 樣 的 作 法 除 了 增 加 遊 戲 玩 法 的 多 元 性 之 外 , 更 增 加了 遊 戲 商 品 的 壽 命 ,ID Software 也 設 計 出 了 一 套 角 色 人 工 智 慧 機 制 讓 玩 家 創 造遊 戲 中 的 電 腦 對 手 。在 雷 神 之 鎚 3 中 , 玩 家 在 遊 戲 是 以 第 一 人 稱 的 視 點 進 行 遊 戲 , 玩 家 從 手 上 只30

有 一 把 機 關 槍 和 電 鋸 、 體 力 值 100, 裝 甲 值 0 的 狀 況 下 開 始 , 在 場 地 上 的 特 定 地點 , 會 有 增 加 體 力 值 、 裝 甲 值 的 道 具 , 或 是 各 種 武 器 。 遊 戲 進 行 時 , 玩 家 可 以收 集 道 具 及 武 器 , 來 強 化 本 身 的 戰 鬥 力 , 在 各 種 不 同 的 地 形 ,NPC 的 不 同 個 性 ,會 產 生 許 多 的 情 況 , 以 及 所 對 應 的 戰 術 , 例 如 : 在 狹 窄 的 房 間 中 , 可 以 找 尋 視線 良 好 的 地 點 , 實 行 埋 伏 策 略 ; 而 在 空 曠 的 區 域 , 則 可 以 以 強 勢 的 武 器 實 行 強攻 。另 外 , 雷 神 之 鎚 3 中 提 供 了 多 種 的 遊 戲 模 式 。 由 於 團 隊 模 式 頗 受 到 玩 家 的 歡迎 ,ID Software 遊 戲 小 組 也 因 此 將 它 發 揚 光 大 , 在 資 料 片 - 雷 神 之 鎚 3 之 團 隊競 技 場 (Quake III : Team Arena) 中 , 加 入 三 種 全 新 的 遊 戲 模 式 , 分 別 是 單 旗 搶 旗賽 (One Flag CTF)、 獵 人 頭 競 賽 (Harvester) 以 及 攻 堅 賽 (Overload)。其 中 的 「 單 旗 搶 旗 賽 」 模 式 , 玩 家 與 電 腦 對 手 會 分 成 兩 支 隊 伍 , 分 別 在 競 技場 的 兩 側 , 各 有 所 屬 的 基 地 , 而 在 競 技 場 的 正 中 央 有 一 支 白 色 的 旗 幟 。 遊 戲 一開 始 , 兩 支 隊 伍 的 隊 員 會 從 競 技 場 兩 側 的 基 地 出 發 , 兩 支 隊 伍 可 以 採 取 不 同 的策 略 , 快 速 奪 取 這 支 旗 幟 , 並 保 護 奪 取 旗 幟 的 隊 員 , 安 全 地 將 旗 幟 置 放 到 對 方基 地 , 就 算 得 分 。 遊 戲 的 目 的 是 要 盡 全 力 爭 取 奪 取 白 色 旗 幟 的 主 控 權 , 這 跟 真實 世 界 中 , 大 部 分 的 球 類 運 動 ( 如 籃 球 、 足 球 、 橄 欖 球 … 等 ) 頗 為 相 似 。 在 不同 的 遊 戲 模 式 , 遊 戲 策 略 皆 有 所 不 同 ,「 單 旗 搶 旗 賽 」 較 為 注 重 團 隊 的 配 合 ,不 但 要 有 進 攻 搶 旗 的 隊 員 , 也 要 分 配 隊 員 專 門 防 守 基 地 或 是 在 某 個 地 點 埋 伏 ,適 時 地 突 擊 敵 人 , 互 相 配 合 才 能 在 團 隊 模 式 中 獲 勝 。 因 此 , 這 種 類 型 的 競 賽 活31

動 , 靈 活 的 策 略 應 用 , 往 往 是 團 隊 攻 無 不 克 、 戰 無 不 勝 最 重 要 的 關 鍵 。4.2 隊 長 的 角 色「 單 旗 搶 旗 賽 」 是 一 種 團 隊 遊 戲 的 模 式 , 遊 戲 中 不 再 強 調 個 人 的 能 力 , 因此 , 如 何 讓 團 隊 分 工 合 作 , 讓 隊 員 間 能 夠 恪 守 崗 位 、 各 司 其 職 , 變 成 了 一 項 很重 要 的 課 題 。 遊 戲 中 每 支 隊 伍 允 許 推 派 其 中 一 名 隊 員 , 來 擔 任 隊 長 的 角 色 。 而隊 長 最 主 要 的 工 作 便 是 領 導 整 個 團 隊 , 在 各 種 狀 況 下 , 指 派 適 當 的 任 務 給 隊 員 ,隊 伍 中 每 位 成 員 會 服 從 隊 長 的 領 導 ; 隊 長 所 交 付 的 各 種 任 務 , 隊 員 們 也 會 盡 力執 行 。圖 14 雷 神 之 鎚 3 人 工 智 慧 架 構 圖隊 長 的 角 色 可 由 玩 家 或 是 由 NPC 來 擔 任 。 如 果 選 擇 NPC 來 擔 任 隊 長 ,NPC會 具 備 特 殊 的 「 大 腦 」 來 帶 領 團 隊 。 所 謂 的 「 大 腦 」 就 如 同 【 圖 14】 中 最 上 層的 地 方 (Team leader AI)[27]。 隊 長 會 下 達 命 令 給 隊 員 , 指 揮 隊 員 該 做 什 麼 事情 。 隊 長 也 可 以 指 派 自 己 任 務 , 來 協 助 團 隊 達 成 目 標 。 在 遊 戲 過 程 中 , 相 同 隊伍 的 隊 員 們 彼 此 間 可 以 相 互 傳 送 訊 息 , 隊 長 可 透 過 這 個 機 制 將 任 務 指 派 給 特 定32

的 隊 員 , 這 樣 的 方 式 , 提 供 了 隊 長 一 個 很 大 的 空 間 , 來 組 織 團 隊 , 並 且 明 確 的告 訴 隊 員 要 完 成 的 目 標 。在 此 種 遊 戲 模 式 中 , 隊 長 扮 演 了 十 分 重 要 的 角 色 , 而 隊 長 的 決 策 也 就 是 「 團隊 的 策 略 」, 更 是 決 定 隊 伍 是 否 可 以 贏 得 比 賽 的 關 鍵 。 遊 戲 提 供 了 隊 長 六 種 命令 , 可 以 分 別 指 派 隊 員 不 同 的 任 務 [28], 六 種 命 令 說 明 如 下 【 圖 15】:圖 15 遊 戲 中 任 務 指 派 畫 面• 攻 擊 (Attack): 隊 員 會 去 攻 擊 敵 方 的 NPC, 並 且 設 法 搶 奪 白 色 旗 幟 。• 防 守 (Defend): 隊 員 會 盡 快 奔 回 基 地 , 避 免 敵 方 將 旗 幟 插 在 我 方 基 地 。• 埋 伏 (Camp): 隊 員 會 在 指 定 地 點 埋 伏 , 攻 擊 要 路 經 此 地 敵 方 的 NPC。• 巡 邏 (Patrol): 隊 員 會 在 基 地 與 指 定 地 點 來 回 巡 邏 , 如 遇 到 敵 方 的 NPC,會 主 動 攻 擊 。• 奪 旗 (Retrieve): 這 個 指 令 只 有 當 「 旗 子 在 中 央 」、「 旗 子 在 敵 方 」 與 「 旗33

子 掉 落 」 的 三 種 狀 態 發 生 時 , 才 能 下 達 此 種 命 令 , 此 命 令 功 能 是 要 隊 員 從 敵方 手 中 搶 回 白 色 旗 幟 。• 保 護 (Escort): 這 個 指 令 只 有 當 「 旗 子 在 我 方 」 的 狀 態 , 才 可 以 下 達 。 隊員 接 受 到 此 命 令 , 會 主 動 跟 隨 在 奪 取 白 色 旗 幟 的 我 方 隊 員 身 邊 , 保 護 他 避 免被 敵 方 的 NPC 攻 擊 。在 這 六 種 命 令 中 , 隊 長 可 以 隨 時 根 據 當 時 的 旗 子 不 同 的 狀 態 ( 下 一 節 中 會詳 加 說 明 ), 採 取 不 同 的 策 略 。 因 此 , 我 們 的 研 究 目 標 便 是 提 出 一 套 方 法 , 讓隊 長 具 備 思 考 能 力 , 在 不 同 的 狀 態 下 , 都 能 夠 下 達 有 效 的 策 略 , 讓 隊 伍 獲 勝 。4.3 單 旗 搶 旗 賽將 「 單 旗 搶 旗 賽 」 以 有 限 狀 態 機 圖 來 表 示 , 如 【 圖 16】 所 示 , 共 可 以 劃 分為 五 種 狀 態 , 分 別 是 「 旗 子 在 中 央 」、「 旗 子 在 我 方 」、「 旗 子 在 敵 方 」、「 旗子 掉 落 」 以 及 「 得 分 」。 每 種 狀 態 會 經 由 不 同 路 徑 , 變 換 成 其 他 狀 態 。 其 中 「 旗子 在 中 央 」、「 旗 子 在 我 方 」、「 旗 子 在 敵 方 」、「 旗 子 掉 落 」 都 各 自 都 有 兩條 路 徑 會 轉 變 成 其 他 狀 態 。 例 如 :「 旗 子 在 中 央 」 會 經 由 「 我 方 搶 到 旗 子 」 轉換 成 「 旗 子 在 我 方 」 的 狀 態 , 但 是 也 可 能 經 由 「 敵 方 搶 到 旗 子 」 轉 換 成 「 旗 子在 敵 方 」 的 狀 態 。 而 「 旗 子 在 我 方 」 會 經 由 「 我 方 奪 旗 者 被 殺 死 」 的 路 徑 轉 換成 「 旗 子 掉 落 」 的 狀 態 , 或 者 會 經 由 「 我 方 奪 旗 者 將 旗 子 插 到 敵 方 基 地 」 轉 換成 「 得 分 」 狀 態 。34

每 個 「 回 合 」 的 遊 戲 過 程 , 其 實 就 是 在 這 五 種 狀 態 中 不 斷 的 改 變 。 而 敵 我雙 方 兩 支 隊 伍 開 始 競 賽 後 , 旗 子 的 狀 態 將 會 處 於 諸 多 不 同 狀 態 下 的 其 中 一 種 。遊 戲 提 供 了 兩 種 模 式 , 來 設 定 遊 戲 終 止 的 條 件 : 一 、 在 固 定 時 間 內 , 比 較 兩 支隊 伍 搶 奪 旗 子 的 數 目 , 搶 得 最 多 旗 子 的 隊 伍 獲 勝 。 二 、 不 限 定 競 賽 時 間 , 但 是設 定 搶 奪 旗 子 的 數 目 , 哪 一 支 隊 伍 先 達 到 所 設 定 的 旗 子 數 目 , 所 屬 的 隊 伍 即 獲得 勝 利 。 不 管 是 哪 種 方 式 , 最 終 能 夠 贏 得 比 賽 , 一 定 是 在 最 短 的 時 間 內 , 搶 到最 多 旗 子 的 隊 伍 。 也 就 是 說 , 隊 伍 想 要 獲 得 最 後 的 勝 利 , 必 須 具 備 下 列 兩 種 條件 :1. 狀 態 如 果 往 對 我 方 「 有 利 」 的 狀 態 發 展 , 我 們 希 望 狀 態 發 生 改 變 所 花 費 的 時間 越 短 越 好 。 例 如 :「 旗 子 在 敵 方 」 經 由 「 敵 方 奪 旗 者 被 殺 死 」 的 路 徑 轉 變成 「 旗 子 掉 落 」 的 狀 態 , 這 個 狀 態 改 變 所 花 費 的 時 間 如 果 越 短 , 表 示 此 時 所採 取 的 策 略 是 對 我 方 有 利 的 。2. 狀 態 如 果 往 對 我 方 「 不 利 」 的 狀 態 發 展 , 我 們 希 望 狀 態 發 生 改 變 所 花 費 的 時間 越 長 越 好 。 例 如 :「 旗 子 在 敵 方 」 可 以 經 由 「 敵 方 奪 旗 者 將 旗 子 插 到 我 方基 地 」 的 路 徑 轉 變 成 「 得 分 」 的 狀 態 , 這 是 我 們 不 樂 於 見 到 的 情 況 , 因 此 ,當 此 種 狀 況 發 生 時 , 我 們 希 望 此 時 的 策 略 是 可 以 將 狀 態 改 變 所 花 費 的 時 間 拉長 。4.4 團 隊 策 略 的 學 習在 PSO 中 , 群 體 藉 由 粒 子 與 粒 子 間 之 學 習 而 在 解 空 間 中 尋 找 最 佳 解 , 若 是36

將 群 體 比 喻 為 一 支 球 隊 、 粒 子 為 每 個 隊 員 , 則 相 當 於 表 現 較 差 的 隊 員 其 行 為 會學 習 表 現 較 好 的 隊 員 , 演 化 收 斂 後 , 根 據 PSO 的 特 性 , 每 個 隊 員 的 表 現 都 會 相似 於 表 現 最 佳 的 隊 員 。 因 此 , 我 們 就 利 用 這 個 特 性 , 放 入 三 個 隊 伍 , 讓 三 個 隊伍 的 隊 長 相 互 學 習 【 圖 17】。圖 17 粒 子 間 互 相 學 習 示 意 圖換 句 話 說 , 每 個 粒 子 皆 代 表 可 能 的 一 個 解 , 粒 子 與 周 圍 粒 子 藉 由 交 換 其 過去 曾 經 找 到 的 最 佳 解 位 置 , 分 享 其 搜 尋 最 佳 解 的 經 過 , 所 以 收 斂 時 每 個 粒 子 將會 有 近 似 的 解 , 若 是 以 每 個 粒 子 代 表 一 個 團 隊 的 隊 長 來 說 , 相 當 於 收 斂 後 每 支隊 伍 的 隊 長 其 行 為 , 都 與 表 現 最 佳 的 某 位 隊 長 類 似 。4.5 演 算 法 設 計從 【 圖 16】 觀 察 發 現 , 整 個 圖 形 呈 現 左 右 對 稱 , 由 4.3 節 中 , 我 們 了 解 整個 遊 戲 過 程 中 會 發 生 的 狀 態 , 因 此 開 始 著 手 演 算 法 的 設 計 。 首 先 分 析 圖 形 的 左半 邊 , 得 到 四 條 路 徑 : 分 別 →、→→、→→ 以 及 →, 而 這四 條 路 徑 對 於 「 得 分 」 分 別 有 不 同 的 重 要 性 。 當 狀 態 轉 換 成 對 我 方 「 有 利 」 的狀 態 , 以 「+」 表 示 , 若 狀 態 轉 換 成 對 我 方 「 不 利 」 的 狀 態 , 則 以 「-」 表 示 。37

其 中 ,「+」 與 「-」 數 量 的 多 寡 則 代 表 影 響 的 程 度 。 在 這 四 條 路 徑 中 , 關 鍵的 時 刻 便 是 讓 「 旗 子 在 我 方 」 轉 換 成 「 得 分 狀 態 」, 也 就 是 說 必 須 讓 → 路 徑所 對 應 的 重 要 性 最 高 。 其 次 , 當 「 旗 子 在 敵 方 」 若 轉 換 成 「 旗 子 掉 落 」 必 須 盡可 能 轉 換 回 「 旗 子 在 我 方 」, 換 句 話 說 也 就 是 →→ 路 徑 , 所 對 應 的 重 要 性次 之 。 再 者 , 當 「 旗 子 在 我 方 」 轉 換 成 「 旗 子 掉 落 」 時 , 必 須 盡 可 能 轉 換 回 「 旗子 在 我 方 」 狀 態 , 因 此 →→ 路 徑 , 給 予 兩 個 加 號 (+)。 最 後 , 起 始 狀 態「 旗 子 在 中 央 」 轉 換 成 「 旗 子 在 我 方 」, 因 此 → 路 徑 , 給 予 一 個 加 號 (+)。我 們 也 將 圖 形 的 右 半 邊 的 路 徑 依 此 類 推 , 整 理 後 得 到 【 表 1】。路 徑 對 應 重 要 性 路 徑 對 應 重 要 性→ ++++ → ----→→ +++ →→ ---→→ ++ →→ --→ + → -表 1 路 徑 重 要 性 列 表4.6 適 應 函 數 與 演 化 流 程適 應 函 數 的 選 擇 必 需 反 應 出 隊 伍 在 競 賽 中 成 績 的 好 壞 , 遊 戲 中 是 以 該 隊 伍在 一 定 時 間 內 搶 到 旗 子 的 總 數 多 寡 來 評 斷 成 績 。 我 們 除 了 要 達 成 這 個 目 標 外 ,還 要 讓 搶 到 旗 子 所 花 費 的 時 間 越 短 越 好 , 並 且 讓 對 方 搶 到 旗 子 所 花 費 的 時 間 越長 越 好 。 為 了 反 應 這 個 目 標 , 因 此 採 用 Neural Net 's bio-ploar function 當 作 粒 子群 最 佳 化 演 算 法 中 適 應 函 式 。38

() t2=− t( 1+e )−1fα (6)t 為 狀 態 轉 變 所 花 費 的 時 間 ,α 為 權 重 系 數 , 在 訓 練 的 過 程 中 , 我 們 採 用 「 回合 」 方 式 進 行 , 並 且 紀 錄 每 種 狀 態 間 轉 換 所 需 的 時 間 , 然 後 以 式 子 (6) 計 算 適 應值 。 在 我 們 的 演 算 法 中 , 適 應 值 是 用 來 評 斷 採 用 的 策 略 表 現 的 好 壞 , 所 得 到 的適 應 值 (fitness value) 愈 高 , 則 代 表 該 隊 伍 中 隊 長 所 下 達 的 策 略 讓 團 隊 表 現 愈 好 。根 據 【 表 1】 中 , 四 條 路 徑 希 望 透 過 不 同 的 α 值 , 來 區 分 影 響 的 程 度 , 因 此我 們 取 了 4 組 α 值 ( 分 別 是 0.04、0.06、0.08、0.12), 可 以 得 到 式 子 (7)(8)(9)(10)。() t2= −−0 t.04( 1+e )1f (7)2f () t1(8)() t= −−0 t.06( 1+e )2= −−0 t.08( 1+e )1f (9)2f () t1(10)= −−0 t.12( 1+e )將 上 述 的 式 子 , 我 們 利 用 Matlab 的 軟 體 , 畫 出 函 式 的 曲 線 , 如 【 圖 18】 所示 。X 軸 代 表 由 狀 態 A 轉 換 到 狀 態 B 所 需 耗 費 的 時 間 ,Y 軸 代 表 適 應 值 。39

圖 18 Neural Net 's bio-ploar function 曲 線 圖根 據 上 一 節 提 到 的 學 習 方 法 , 隊 伍 中 的 隊 長 所 派 遣 給 隊 員 的 任 務 都 相 當 於是 PSO 中 的 一 個 粒 子 , 而 整 個 隊 伍 的 策 略 就 相 當 於 是 一 個 粒 子 群 , 演 化 的 過 程我 們 讓 多 個 隊 伍 不 斷 的 嘗 試 不 同 的 組 合 , 並 根 據 適 應 函 式 評 斷 每 支 隊 伍 所 採 用策 略 的 表 現 , 而 表 現 較 差 隊 伍 的 團 隊 策 略 , 會 向 表 現 較 好 隊 伍 做 修 正 。 在 演 化訓 練 的 過 程 中 , 電 腦 隊 伍 的 隊 長 , 在 每 種 狀 態 所 採 用 的 策 略 是 固 定 的 , 並 不 會有 任 何 的 改 變 , 只 有 我 們 所 要 訓 練 的 隊 伍 會 藉 由 互 相 學 習 , 來 改 變 不 同 的 策 略 。在 訓 練 團 隊 的 過 程 中 , 我 們 安 排 了 三 支 隊 伍 分 別 與 電 腦 對 戰 , 每 支 隊 伍 連同 隊 長 共 有 五 名 成 員 , 三 支 隊 伍 與 電 腦 隊 伍 的 成 員 均 相 同 , 每 次 對 戰 以 「 回 合 」方 式 進 行 , 換 句 話 說 , 也 就 是 我 方 隊 伍 與 電 腦 對 戰 , 只 要 其 中 一 隊 先 「 得 分 」,比 賽 立 即 結 束 , 然 後 計 算 此 回 合 在 每 種 狀 態 下 (「 旗 子 在 中 央 」、「 旗 子 在 我方 」、「 旗 子 在 敵 方 」 與 「 旗 子 掉 落 」), 所 得 到 的 適 應 值 。 其 中 , 每 種 狀 態40

都 是 一 組 獨 立 的 粒 子 群 , 每 個 粒 子 的 位 置 則 代 表 成 員 被 指 派 某 種 任 務 的 機 率 ,換 句 話 說 , 每 一 組 粒 子 群 也 就 是 隊 長 在 某 種 狀 態 下 , 所 執 行 的 團 隊 策 略 。 當 三支 隊 伍 分 別 與 電 腦 進 行 一 個 「 回 合 」 的 對 戰 後 , 我 們 利 用 4.4 提 到 的 團 隊 學 習 的方 法 , 讓 三 支 隊 伍 透 過 PSO-CS 方 式 彼 此 學 習 。隨 機 初 始各 隊 員 四 個 狀 態執 行 的 任 務與 電 腦 隊 伍進 行 對 戰取 得 對 戰 結 果並 計 算 適 應 值是 否 到 達結 束 條 件是輸 出GBest否計 算 下 一 代速 度 值 與 參 數 位 置圖 19 團 隊 訓 練 流 程 圖我 們 將 團 隊 的 訓 練 過 程 以 【 圖 19】 表 示 : 首 先 , 我 們 將 三 支 隊 伍 透 過 隨 機方 式 , 分 別 產 生 每 種 狀 態 的 粒 子 群 的 母 代 , 之 後 , 我 們 將 第 一 支 隊 伍 與 電 腦 進行 一 個 回 合 的 對 戰 , 在 對 戰 過 程 中 , 紀 錄 每 種 狀 態 發 生 的 時 間 與 頻 率 , 以 及 每種 狀 態 所 使 用 的 策 略 。 在 每 個 回 合 結 束 後 , 紀 錄 對 戰 的 結 果 , 並 統 計 每 種 狀 態41

發 生 轉 換 的 次 數 以 及 狀 態 轉 換 所 花 費 的 時 間 。 然 後 依 據 狀 態 所 對 應 的 適 應 函 數(7)(8)(9)(10), 計 算 隊 伍 此 次 所 採 用 策 略 的 適 應 值 (Fitness)。 然 後 , 放 入 第 二支 隊 伍 與 電 腦 對 戰 , 重 複 上 述 的 過 程 , 最 後 , 放 入 第 三 支 隊 伍 與 電 腦 對 戰 。 每支 隊 伍 在 演 化 過 程 中 所 得 到 的 適 應 值 , 會 與 自 己 以 前 的 表 現 相 互 比 較 , 如 果 得到 的 適 應 值 高 於 前 幾 代 的 最 高 值 , 則 將 目 前 的 位 置 設 定 為 pbest。 然 後 , 再 將 三隊 得 到 的 pbest 值 相 互 比 較 , 其 值 最 高 的 位 置 設 定 為 gbest, 利 用 公 式 (5), 產 生子 代 並 且 計 算 每 位 成 員 所 對 應 粒 子 的 速 度 。 最 後 利 用 公 式 (3), 計 算 每 位 成 員 所對 應 粒 子 的 位 置 , 重 複 之 前 步 驟 , 直 到 解 收 斂 為 止 。當 四 種 狀 態 (「 旗 子 在 中 央 」、「 旗 子 在 我 方 」、「 旗 子 在 敵 方 」 與 「 旗 子掉 落 」) 的 解 都 已 經 收 斂 , 我 們 便 停 止 訓 練 , 然 後 將 四 種 狀 態 的 gbest 的 位 置 分別 取 出 , 便 可 得 到 團 隊 的 最 佳 策 略 。42

第 五 章 實 驗 結 果5.1 實 驗 環 境實 際 在 雷 神 之 鎚 3 中 , 以 我 們 所 提 出 的 訓 練 方 法 , 來 訓 練 隊 伍 中 隊 長 在 不同 狀 態 下 達 的 策 略 , 並 且 於 每 場 比 賽 結 束 後 , 記 錄 隊 伍 的 表 現 。 我 們 選 擇mpteam1 做 為 實 驗 的 地 圖 , 地 圖 以 中 央 廣 場 為 中 心 , 兩 邊 是 對 稱 的 地 型 , 所 以地 圖 的 設 計 上 十 分 公 平 。 地 圖 中 沒 有 陷 阱 ( 如 岩 漿 、 毒 液 等 ), 這 是 避 免 隊 長下 達 給 隊 員 的 任 務 , 因 為 隊 員 失 足 摔 死 而 無 法 確 實 執 行 。除 此 之 外 , 為 了 考 慮 遊 戲 的 公 平 性 、 防 止 作 弊 的 行 為 發 生 , 我 們 將 遊 戲 中所 有 客 觀 環 境 的 參 數 , 皆 採 用 相 同 的 設 定 [27]。 兩 支 隊 伍 的 成 員 以 及 隊 員 所 具 備的 能 力 ( 例 如 :NPC 射 擊 的 準 度 、 攻 擊 的 技 巧 … 等 )、 武 器 與 道 具 ( 例 如 : 武器 的 威 力 、 道 具 的 數 量 … 等 ), 全 部 採 用 遊 戲 出 廠 時 的 原 始 設 定 , 沒 有 做 過 任何 調 整 。 以 下 是 我 們 實 驗 的 平 台 與 其 他 相 關 參 數 的 設 定 。• 實 驗 平 台 :Windows XP• 程 式 版 本 :Virtual basic 6.0• 開 放 程 式 碼 :Open source version 1.32• 實 驗 地 圖 :mpteam1• 粒 子 群 數 目 :3• 解 空 間 維 度 :5• 粒 子 的 移 動 範 圍 與 最 大 速 度 : 粒 子 的 移 動 範 圍 設 定 為 行 為 權 重 之 大 小 , 在43

0~1 之 間 , 而 粒 子 的 最 大 速 度 則 設 定 為 在 0.2~0.5 之 間 , 不 設 定 為 粒 子 的 最大 移 動 範 圍 是 為 了 要 讓 粒 子 更 具 有 穩 定 學 習 的 能 力 。• 學 習 因 子 : 依 據 一 般 文 獻 的 建 議 , 將 c1 與 c2 設 為 2。5.2 實 驗 設 計由 於 雷 神 之 3 原 本 就 是 一 套 商 業 化 的 第 一 人 稱 射 擊 遊 戲 (First PersonShooter), 開 發 小 組 為 了 提 高 遊 戲 的 娛 樂 性 以 及 增 加 遊 戲 的 挑 戰 性 , 並 且 節 省運 算 與 開 發 的 時 間 , 通 常 會 設 定 多 組 NPC 的 行 為 參 數 來 控 制 遊 戲 角 色 的 行 為 邏輯 , 這 些 參 數 通 常 扮 演 了 以 規 則 為 基 礎 的 系 統 裡 面 , 某 些 規 則 的 門 檻 值 , 而 給定 不 同 的 參 數 組 合 , 就 好 比 給 與 NPC 不 同 的 個 性 一 樣 , 會 讓 NPC 在 遊 戲 裡 產生 不 同 的 行 為 模 式 ,【 圖 20】 為 雷 神 之 3 控 制 一 個 NPC 的 9 個 行 為 參 數 , 每 個參 數 都 會 影 響 NPC 在 遊 戲 裡 的 行 為 表 現 。圖 20 控 制 一 個 bot 的 九 個 行 為 參 數為 了 公 平 起 見 並 且 避 免 因 為 選 擇 不 同 的 NPC 而 造 成 實 驗 結 果 的 不 可 預 測性 , 因 此 在 開 始 訓 練 我 們 的 團 隊 時 , 我 方 與 電 腦 的 隊 伍 必 須 選 擇 相 同 的 成 員 。我 們 選 擇 五 名 不 同 特 性 的 隊 員 , 組 成 一 支 隊 伍 【 圖 21】。 然 後 , 利 用 我 們 提 出44

以 粒 子 群 最 佳 化 演 算 法 來 調 整 隊 長 下 達 策 略 的 行 為 參 數 , 藉 由 演 化 的 方 法 , 找出 最 佳 的 團 隊 策 略 的 參 數 組 合 , 且 藉 由 每 一 次 的 粒 子 群 演 化 而 產 生 的 團 隊 策 略參 數 , 可 讓 玩 家 每 次 遊 戲 進 行 時 , 感 受 到 角 色 行 為 的 成 長 性 、 適 應 性 與 不 可 預測 性 。圖 21 我 方 與 電 腦 兩 隊 的 隊 員經 實 驗 後 發 現 , 粒 子 群 演 算 法 演 化 經 過 27 代 後 , 所 得 到 的 適 應 值 就 可 以 收斂 。【 圖 22】【 圖 23】【 圖 24】【 圖 25】 分 別 是 「 旗 子 在 中 央 」、「 旗 子 在我 方 」、「 旗 子 在 敵 方 」、「 旗 子 掉 落 」 四 個 狀 態 所 對 應 的 演 化 圖 形 , 演 化 圖形 中 X 軸 代 表 演 化 的 世 代 ,Y 軸 則 代 表 訓 練 過 程 中 適 應 函 數 最 佳 值 (Gbest)。圖 22 「 旗 子 在 中 央 」 演 化 曲 線 圖45

圖 23 「 旗 子 在 我 方 」 演 化 曲 線 圖圖 24 「 旗 子 在 敵 方 」 演 化 曲 線 圖圖 25 「 旗 子 掉 落 」 演 化 曲 線 圖46

5.3 實 驗 的 結 果 與 比 較為 了 驗 證 採 用 我 們 提 出 之 方 法 訓 練 以 後 的 隊 伍 , 比 原 本 雷 神 之 鎚 3 內 建 的人 工 智 慧 優 秀 , 我 們 進 行 了 第 一 項 實 驗 , 首 先 , 將 未 經 訓 練 的 隊 伍 與 雷 神 之 鎚 3內 建 NPC 所 組 成 的 隊 伍 進 行 二 十 場 比 賽 。 然 後 , 再 將 隊 伍 利 用 我 們 提 出 的 方 法加 以 訓 練 後 , 再 度 與 雷 神 之 鎚 3 所 組 成 的 隊 伍 進 行 直 接 的 對 戰 , 比 較 訓 練 前 後隊 伍 的 表 現 並 觀 察 比 賽 結 果 。比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 7:8 Game 11 7:3Game 2 11:6 Game 12 6:4Game 3 7:9 Game 13 9:6Game 4 6:5 Game 14 4:7Game 5 1:4 Game 15 5:4Game 6 2:20 Game 16 5:9Game 7 10:5 Game 17 9:2Game 8 5:13 Game 18 7:5Game 9 8:5 Game 19 4:7Game 10 7:4 Game 20 9:5表 2 未 訓 練 過 的 隊 伍 vs 電 腦 隊 伍 對 戰 二 十 場 成 績 表 現第 一 項 的 實 驗 中 , 我 們 將 未 經 訓 練 的 隊 伍 與 雷 神 之 鎚 3 內 建 NPC 所 組 成 的隊 伍 進 行 對 戰 , 在 總 場 次 二 十 場 的 比 賽 中 , 兩 隊 隊 伍 的 成 員 均 相 同 , 並 採 取 相同 的 人 工 智 慧 , 而 每 場 競 賽 時 間 為 30 分 鐘 , 比 賽 結 果 如 【 表 2】, 我 們 將 結 果以 折 線 圖 表 示 【 圖 26】【 圖 27】。 從 實 驗 結 果 , 我 們 發 現 對 戰 比 賽 成 績 呈 現 五五 波 的 局 面 , 未 經 訓 練 過 的 隊 伍 贏 得 十 一 場 比 賽 , 輸 了 九 場 比 賽 , 勝 率 只 有 將近 五 成 五 , 而 且 其 中 第 六 場 與 第 八 場 的 比 賽 , 比 數 還 大 幅 落 後 。 另 外 , 從 總 得47

分 數 觀 察 , 二 十 場 的 雙 方 得 分 總 計 為 260 分 , 未 經 訓 練 的 隊 伍 得 到 191 分 , 得分 率 為 49.6%。分數2520未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 20 場 競 賽 結 果1510501 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 26 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果累加分數140120100806040200未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 20 場 競 賽 分 數 累 加 曲 線 圖1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 27 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 分 數 累 加 曲 線 圖48

比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 19:5 Game 11 14:9Game 2 18:7 Game 12 13:9Game 3 23:8 Game 13 13:9Game 4 17:12 Game 14 17:7Game 5 23:14 Game 15 12:6Game 6 20:8 Game 16 25:7Game 7 25:6 Game 17 23:9Game 8 20:10 Game 18 18:8Game 9 21:9 Game 19 20:4Game 10 21:4 Game 20 15:10表 3 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 成 績 表 現然 後 , 將 隊 伍 經 由 我 們 所 提 的 方 式 (PSO-CS) 加 以 訓 練 後 , 再 度 與 電 腦 所組 成 的 隊 伍 交 手 , 同 樣 進 行 總 場 次 二 十 場 的 比 賽 , 比 較 訓 練 前 後 的 隊 伍 表 現 ,【 表 3】 是 對 戰 後 的 結 果 , 同 樣 的 以 折 線 圖 表 示 【 圖 28】【 圖 29】。分數302520151050使 用 PSO-CS 訓 練 後 的 隊 伍 vs. 電 腦 隊 伍 20 場 競 賽 結 果1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20PSO-CS 訓 練 後 的 隊 伍電 腦 隊 伍比 賽 場 次圖 28 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果49

累加分數400350300250200150100500使 用 PSO-CS 訓 練 的 隊 伍 vs. 電 腦 隊 伍 20 場 分 數 累 加 曲 線 圖1 2 3 4 5 6 7 8 9 1011121314151617181920PSO-CS 訓 練 的 隊 伍 電 腦 隊 伍比 賽 場 次圖 29 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 分 數 累 加 曲 線 圖從 對 戰 結 果 發 現 , 經 過 訓 練 後 的 隊 伍 表 現 十 分 優 異 , 在 二 十 場 的 競 賽 中 , 總共 贏 了 二 十 場 比 賽 , 沒 有 輸 掉 任 何 一 場 比 賽 , 勝 率 高 達 百 分 百 。 另 外 , 從 總 得分 數 觀 察 , 二 十 場 的 雙 方 得 分 總 計 為 538 分 , 我 方 的 隊 伍 總 共 得 到 377 分 , 與敵 方 得 到 161 分 相 比 較 , 得 分 數 遠 遠 多 出 了 對 方 一 倍 以 上 , 得 分 率 為 70%。 由此 結 果 顯 示 , 經 由 我 們 設 計 的 演 算 法 訓 練 後 的 團 隊 , 不 但 勝 率 大 幅 提 高 , 沒 有任 何 一 場 落 敗 之 外 , 也 可 以 從 得 分 數 觀 察 到 訓 練 後 的 隊 伍 , 不 但 得 分 率 由 原 本的 49.6% 提 升 70%, 失 分 率 也 從 原 本 的 50.4% 大 幅 下 降 至 29.9%【 表 4】, 由 此可 之 , 經 過 我 們 訓 練 之 後 的 隊 伍 , 整 體 表 現 均 有 顯 著 的 進 步 , 不 論 是 攻 擊 時 的策 略 或 是 防 守 的 策 略 都 明 顯 地 優 於 敵 方 的 隊 伍 。50

實 驗 結 果 比 較 表未 經 訓 練 的 隊 伍 經 過 PSO-CS 訓 練 後 的 隊 伍比 賽 的 場 次 二 十 場 二 十 場我 方 獲 勝 的 場 次 11 20我 方 落 敗 的 場 次 9 0勝 率 (%) 55 100我 方 得 分 129 377我 方 失 分 131 161總 得 分 260 538得 分 率 (%) 49.6 70.1失 分 率 (%) 50.4 29.9表 4 二 十 場 競 賽 分 析 比 較 表另 外 , 為 了 證 明 我 們 訓 練 後 的 隊 伍 並 不 只 是 在 短 暫 的 比 賽 場 次 才 能 獲 得 勝利 , 在 長 時 間 的 比 賽 依 然 具 備 優 勢 , 因 此 我 們 進 行 了 第 二 項 的 實 驗 。 我 們 將 未經 過 訓 練 的 隊 伍 以 及 經 過 PSO-CS 訓 練 的 隊 伍 , 分 別 與 電 腦 隊 伍 進 行 三 十 場 與四 十 場 的 競 賽 。【 表 5】 是 未 經 過 訓 練 的 隊 伍 與 電 腦 對 戰 三 十 場 的 成 績 表 現 , 我們 發 現 在 三 十 場 的 比 賽 中 未 經 過 訓 練 的 隊 伍 只 有 贏 得 十 場 比 賽 【 圖 30】, 勝 率只 有 33%, 得 分 率 為 45.4%, 而 總 得 分 則 落 後 電 腦 隊 伍 有 40 分 之 譜 【 圖 31】,表 現 不 甚 理 想 。比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 6:7 Game 16 8:10Game 2 7:15 Game 17 5:10Game 3 6:12 Game 18 8:9Game 4 11:6 Game 19 7:16Game 5 6:8 Game 20 7:9Game 6 4:6 Game 21 4:10Game 7 7:6 Game 22 4:17Game 8 6:2 Game 23 5:10Game 9 3:4 Game 24 7:851

Game 10 7:8 Game 25 7:8Game 11 6:7 Game 26 7:6Game 12 6:5 Game 27 10:9Game 13 7:6 Game 28 4:6Game 14 8:6 Game 29 5:2Game 15 4:5 Game 30 8:5表 5 未 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 成 績 表 現分數181614121086420未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 30 場 競 賽 結 果1 3 5 7 9 11 13 15 17 19 21 23 25 27 29未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 30 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 二 十 場 競 賽 結 果52

累加分數250200未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 30 場 競 賽 分 數 累 加 曲 線 圖1501005001 3 5 7 9 11 13 15 17 19 21 23 25 27 29未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 31 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 分 數 累 加 曲 線 圖比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 16:9 Game 16 15:8Game 2 23:12 Game 17 15:12Game 3 18:8 Game 18 23:8Game 4 20:10 Game 19 21:7Game 5 22:6 Game 20 18:5Game 6 19:7 Game 21 23:7Game 7 22:5 Game 22 24:9Game 8 21:10 Game 23 23:8Game 9 24:5 Game 24 17:5Game 10 18:6 Game 25 17:4Game 11 21:9 Game 26 20:3Game 12 12:7 Game 27 21:7Game 13 20:6 Game 28 23:4Game 14 14:7 Game 29 19:7Game 15 17:4 Game 30 20:5表 6 經 過 PSO-CS 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 成 績 表 現而 經 過 PSO-CS 訓 練 過 的 隊 伍 , 在 三 十 場 的 競 賽 中 【 表 6】【 圖 32】, 依53

舊 大 獲 全 勝 , 勝 率 也 是 百 分 之 ㄧ 百 , 從 總 得 分 數 觀 察 , 我 方 隊 伍 得 到 596 分 【 圖33】。【 表 7】 是 我 們 將 兩 支 隊 伍 在 二 十 場 與 三 十 場 的 成 績 彙 整 後 的 比 較 表 , 由比 較 表 我 們 可 以 發 現 , 未 經 過 訓 練 的 隊 伍 , 勝 率 由 55% 滑 落 至 33%, 得 分 率 也從 49.6% 滑 落 至 45.4%, 總 得 分 也 從 落 後 電 腦 隊 伍 2 分 變 成 落 後 40 分 , 整 體 表現 隨 著 場 次 增 加 而 隨 之 降 低 。 而 經 過 PSO-CS 訓 練 過 的 隊 伍 , 得 分 率 則 由 70.1%略 微 提 升 至 73.9%, 失 分 率 由 29.9% 略 微 降 低 至 26.1%, 整 體 表 現 不 但 沒 有 因 為場 次 增 加 , 而 降 低 勝 率 、 得 分 率 , 反 而 保 持 水 準 以 上 的 表 現 。分數30使 用 PSO-CS 訓 練 的 隊 伍 vs. 電 腦 隊 伍 30 場 競 賽 結 果25201510501 3 5 7 9 11 13 15 17 19 21 23 25 27 29PSO-CS 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 32 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 競 賽 結 果54

累加分數7006005004003002001000使 用 PSO-CS 訓 練 的 隊 伍 vs. 電 腦 隊 伍 30 場 分 數 累 加 曲 線 圖1 3 5 7 9 11 13 15 17 19 21 23 25 27 29PSO-CS 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 33 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 三 十 場 分 數 累 加 曲 線 圖未 經 訓 練 的 隊 伍 經 過 PSO-CS 訓 練 後 的 隊 伍比 賽 的 場 次 二 十 場 三 十 場 二 十 場 三 十 場我 方 獲 勝 的 場 次 11 10 20 30我 方 落 敗 的 場 次 9 20 0 0勝 率 (%) 55 33.3 100 100我 方 得 分 129 198 377 596我 方 失 分 131 238 161 210總 得 分 260 436 538 806得 分 率 (%) 49.6 45.4 70.1 73.9失 分 率 (%) 50.4 54.6 29.9 26.1表 7 二 十 場 與 三 十 場 競 賽 分 析 比 較 表同 樣 地 , 我 們 將 未 經 過 訓 練 的 隊 伍 與 電 腦 團 隊 進 行 四 十 場 的 對 戰 【 表 8】【 圖 34】【 圖 35】, 在 四 十 場 的 比 賽 中 , 未 經 過 訓 練 的 隊 伍 只 有 贏 得 十 場 比 賽 ,輸 了 三 十 場 的 比 賽 , 勝 率 只 有 25%, 得 分 率 為 43.7%, 得 分 總 數 落 後 拉 大 至 6855

分 , 整 體 表 現 依 舊 不 甚 理 想 。比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 7:11 Game 21 7:8Game 2 7:6 Game 22 3:7Game 3 13:9 Game 23 8:10Game 4 6:7 Game 24 3:10Game 5 6:5 Game 25 8:6Game 6 3:6 Game 26 4:7Game 7 8:6 Game 27 9:7Game 8 6:12 Game 28 4:7Game 9 8:4 Game 29 4:9Game 10 7:3 Game 30 3:12Game 11 6:8 Game 31 4:6Game 12 7:8 Game 32 3:5Game 13 6:4 Game 33 3:4Game 14 10:11 Game 34 3:10Game 15 7:8 Game 35 6:9Game 16 6:11 Game 36 4:7Game 17 6:5 Game 37 6:8Game 18 5:11 Game 38 6:7Game 19 4:5 Game 39 6:9Game 20 9:6 Game 40 6:11表 8 未 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 成 績 表 現56

分數14121086420未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 40 場 競 賽 結 果1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 34 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 競 賽 結 果累加分數350300250200150100500未 經 訓 練 的 隊 伍 vs. 電 腦 隊 伍 40 場 競 賽 分 數 累 加 曲 線 圖1 3 5 7 9 111315171921232527293133353739未 經 訓 練 的 隊 伍電 腦 隊 伍比 賽 場 次圖 35 未 經 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 分 數 累 加 曲 線 圖57

比 賽 場 次 對 戰 結 果 比 賽 場 次 對 戰 結 果Game 1 16:8 Game 21 22:7Game 2 25:11 Game 22 18:7Game 3 20:13 Game 23 23:5Game 4 20:6 Game 24 24:7Game 5 11:8 Game 25 22:8Game 6 18:11 Game 26 19:11Game 7 20:7 Game 27 23:6Game 8 16:12 Game 28 20:5Game 9 20:6 Game 29 23:10Game 10 24:12 Game 30 16:10Game 11 21:4 Game 31 19:7Game 12 14:11 Game 32 17:9Game 13 22:14 Game 33 21:6Game 14 19:10 Game 34 18:7Game 15 25:7 Game 35 17:11Game 16 15:8 Game 36 23:7Game 17 22:8 Game 37 14:11Game 18 21:8 Game 38 25:13Game 19 23:7 Game 39 16:5Game 20 22:11 Game 40 24:10表 9 經 過 訓 練 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 成 績 表 現【 表 9】 是 經 過 訓 練 的 隊 伍 與 電 腦 隊 戰 四 十 場 競 賽 的 成 績 表 現 , 在 四 十 場的 競 賽 中 【 圖 36】【 圖 37】, 經 過 訓 練 的 隊 伍 勝 率 仍 然 維 持 100%, 從 得 分 數來 看 , 我 方 隊 伍 得 到 798 分 , 得 分 率 仍 有 70% 的 水 準 , 另 外 , 失 分 率 也 保 持 30%,並 沒 有 因 為 比 賽 場 次 增 加 而 有 明 顯 變 化 。 最 後 , 我 們 將 所 有 實 驗 的 結 果 整 理 後 ,以 【 表 10】 表 示 。58

分數30使 用 PSO-CS 訓 練 後 的 隊 伍 vs. 電 腦 隊 伍 40 場 競 賽 結 果25201510501 3 5 7 9 111315171921232527293133353739PSO-CS 訓 練 後 的 隊 伍電 腦 隊 伍比 賽 場 次圖 36 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 競 賽 結 果累加分數9008007006005004003002001000使 用 PSO-CS 訓 練 後 的 隊 伍 vs. 電 腦 隊 伍 40 場 分 數 累 加 曲 線 圖1 3 5 7 9 111315171921232527293133353739PSO-CS 訓 練 後 的 隊 伍電 腦 隊 伍比 賽 場 次圖 37 經 過 訓 練 後 的 隊 伍 與 電 腦 隊 伍 對 戰 四 十 場 分 數 累 加 曲 線 圖59

未 經 訓 練 的 隊 伍 經 過 PSO-CS 訓 練 後 的 隊 伍比 賽 的 場 次 二 十 場 三 十 場 四 十 場 二 十 場 三 十 場 四 十 場我 方 獲 勝 的 場 次 11 10 10 20 30 40我 方 落 敗 的 場 次 9 20 30 0 0 0勝 率 (%) 55 33.3 25 100 100 100我 方 得 分 129 198 237 377 596 798我 方 失 分 131 238 305 161 210 342總 得 分 260 436 542 538 806 1140得 分 率 (%) 49.6 45.4 43.7 70.1 73.9 70失 分 率 (%) 50.4 54.6 56.3 29.9 26.1 30表 10 實 驗 結 果 分 析由 上 述 的 實 驗 , 可 以 說 明 團 隊 策 略 的 優 劣 , 實 質 地 影 響 了 整 體 團 隊 的 表 現 ,而 經 由 我 們 的 方 法 訓 練 過 的 隊 伍 , 也 明 顯 地 比 未 經 訓 練 之 前 的 隊 伍 有 大 幅 的 進步 , 並 且 在 長 時 間 的 競 賽 中 , 依 然 保 有 亮 眼 的 成 績 。 由 此 可 見 , 以 我 們 的 方 法訓 練 出 來 的 團 隊 不 論 攻 擊 的 能 力 或 是 防 守 的 能 力 均 較 原 本 的 人 工 智 慧 更 為 優秀 。60

第 六 章 結 論現 今 大 部 份 的 遊 戲 , 因 為 基 於 簡 單 、 容 易 實 作 , 仍 是 使 用 規 則 為 基 礎 的 設計 方 法 。 但 以 規 則 為 基 礎 的 方 法 最 大 的 缺 點 就 是 , 一 旦 讓 玩 家 找 到 其 中 的 弱 點 ,就 無 法 阻 止 玩 家 利 用 這 個 弱 點 不 斷 的 擊 敗 電 腦 角 色 , 如 果 可 以 讓 電 腦 角 色 有 從錯 誤 中 學 習 的 能 力 , 將 有 機 會 解 決 這 個 問 題 。 本 研 究 所 提 方 法 是 將 粒 子 群 演 算法 套 用 至 電 腦 遊 戲 中 策 略 的 學 習 , 藉 由 粒 子 間 的 學 習 , 使 粒 子 間 互 相 配 合 達 到最 佳 效 益 。 實 際 應 用 至 雷 神 之 鎚 3 中 團 隊 人 工 智 慧 的 訓 練 , 可 以 發 現 採 用 我 們方 法 所 訓 練 之 隊 伍 , 在 競 賽 中 的 表 現 與 原 來 電 腦 的 人 工 智 慧 兩 相 比 較 , 都 比 原始 的 人 工 智 慧 更 為 為 出 色 。 所 以 經 由 適 當 的 應 用 , 我 們 的 方 法 可 讓 團 隊 具 有 學習 能 力 , 如 此 不 但 可 讓 玩 家 感 受 團 隊 具 有 調 整 行 為 之 學 習 能 力 , 增 加 遊 戲 的 變化 與 樂 趣 , 且 對 於 遊 戲 開 發 者 而 言 , 在 遊 戲 開 發 期 間 , 我 們 的 方 法 也 可 輔 助 遊戲 的 人 工 智 慧 設 計 師 , 在 調 整 團 隊 行 為 參 數 時 , 節 省 測 試 不 同 參 數 組 合 的 時 間 ,增 進 遊 戲 開 發 的 效 率 。61

參 考 文 獻[1] C Fairclough, M Fagan, B Mac Namee, P Cunningham, “Research Directionsfor AI in Computer Games,” Proceedings of the Twelfth Irish Conference onArtificial Intelligence and Cognitive Science, 2001.[2] Alexander Nareyek, “AI in Computer Games,” Game Development Volume 1Issue 10, pp 58 - 65 ,2004.[3] T. E. Revello, “Generating War Game Strategies Using A Genetic Algorithm,”Proc. IEEE Evolutionary Computation’02, pp 1086-1091, 2002.[4] David M. Bourg, Glenn Seeman, “AI for Game Developers”, Copyright 2004O’Reilly Media, Inc.[5] A. Watt and F. Policarpo, 3D GAMES: Real-time Rendering and SoftwareTechnology, ACM Press, 2000.[6] S. Woodcock, The Game AI Page Building Artificial Intelligence into Games,http://www.gameai.com[7] M. Zarozinski, “An Open Source Fuzzy Logic Library,” AI Game ProgrammingWisdom, Charles River Media Press, pp 90-101, 2002.[8] T. Alexander, “An Optimized Fuzzy Logic Architecture for Decision-Making,”AI Game Programming Wisdom, Charles River Media Press, pp 367-374, 2002.[9] E. Dybsand, “A Generic Fuzzy State Machine in C++,” Game ProgrammingGems 2, Charles River Media Press, pp 337-341, 2001.[10] M. Zarozinski, “Imploding Combinatorial Explosion in a Fuzzy System,”Game Programming Gems 2, Charles River Media Press, pp 342-350, 2001.[11] M. McCuskey, “Fuzzy Logic for Video Games,” Game Programming Gems ,Charles River Media Press, pp 319-329, 2000.[12] T. Alexander, “GoCap: Game Observation Capture”,AI Game ProgrammingWisdom, Charles River Media Press, pp 579-585, 2002.[13] F. Mommersteeg,”Pattern Recognition with Sequential Prediction”,AI GameProgramming Wisdom, Charles River Media Press, pp 586-595, 2002.62

[14] F. D. Laramee, “Using N-Gram Statistical Models to Predict Player Behavior”,AI Game Programming Wisdom, Charles River Media Press, pp 596-601, 2002.[15] Laird, J. E. and van Lent, M, “Developing an Artificial Intelligence Engine”, InProceedings of the Game Developers' Conference, San Jose, CA, pp577-588 ,1999.[16] John E Laird, “It knows what you’re going to do: adding anticipation to aquakeBot”, Proceedings of the Fifth International Conference on Autonomous Agents, ACM Press ,Montreal,Canad, pp 385-392, 2001.[17] C. Thurau, C. Bauckhage, and G. Sagerer , “Combining Self Organizing Mapsand Multilayer Perceptrons to Learn Bot-Behavior for a Commercial Game”, InProc. GAME-ON’03,Londonn, UK, pp 119–123, 2003.[18] Stephano Zanetti Abdennour El Rhalibi , “Machine Learning Techniques forFPS in Q3”, ACE’04 ,Singapore., June 3–5, 2004.[19] Sander Bakkes, Pieter Spronck, and Eric Postma, “TEAM:The TeamorientedEvolutionary Adaptability Mechanism,” Entertainment Computer – ICEC2004,volume 3166,Springer-Verlag, pp 273-282,2004.[20] Sander Bakkes, Pieter Spronck, and Eric Postma, “Best-Response Learning ofTeam Behaviour in Quake III,” IJCAI 2005 Workshop on Reasoning,Representation, and Learning in computer games,2005.[21] 陳 柏 仲 , 蔡 清 欉 , 廖 啟 賢 , 林 灶 生 , “ 以 粒 子 群 最 佳 化 演 算 法 為 基 礎 之 第 一 人 稱射 擊 遊 戲 角 色 設 計 , ” 智 慧 生 活 科 技 研 討 會 ,2006.[22] J. Kennedy and R. Eberhart, “Particle Swarm Optimization,” Proc. IEEEInternational Conference on Neural Networks, Vol. IV, pp 1942-1948, 1995.[23] X. Hu, “Particle Swarm Optimization Tutorials”,http://web.ics.purdue.edu/~hux/tutorials.shtml , 2002.[24] J. Kennedy, R. C. Eberhart, “Swarm Intelligence“, Morgan Kaufmann Press,2001.63

[25] Y. Shi and R. Eberhart, “Parameter selection in particle swarm optimization,”Proceedings of Evolutionary Programming, vol. 98, pp. 591-600, 1998.[26] Shao-Han Liu, Jzau-Sheng Lin, and Zi-Sheng Lin, “A shortest-path networkproblem using an annealed ant system algorithm,” Proc. On the 4-th Annual Int.Conf. on Computer and Information Science, pp. 245-250, South Korea, 2005.[27] J.M.P. van Wavern and L.J.M Rothkrantz, “Artifical Player for Quake III Area”,International Journal of Intelligent Games and Simulation, Vol. 1,No. 1, pp.25-32, 2002[28] Planet Quake, http://planetquake.gamespy.com/quake3/64