檢視/開啟 - 元培科技大學

檢視/開啟 - 元培科技大學 檢視/開啟 - 元培科技大學

ir.lib.ypu.edu.tw
from ir.lib.ypu.edu.tw More from this publisher
10.07.2015 Views

(4) CART 可屣 以层 處 理 複 雜 、 多峿 變 數 的 資 料 結 構 。(5) 資 料 中 的 離 群 值穂 (Outlier) 並 不 會 影 響 演 算 法 的 運 算 。(6) CART 演 算 法 不 需 要稊 先峕 將 資 料 轉 換醢 成 類 別 型 的 資 料 。2.4 倒穅 傳 遞 類 神 經 網 路岩 於 John Hopfield 在峹 1982 年 發 明 倒穅 傳 遞 演 算 法 (back-propagation neuralnetwork), 類 神 經 網 路 的 研 究 才 再峘 度 興 起 , 因峴 此 倒穅 傳 遞 演 算 法 為 應 用岦 最鄦 廣 泛的 類 神 經 網 路 。 倒穅 傳 遞 演 算 法 可屣 歸 納 為 三 個積 重稥 要稊 的 步 驟 :1. 資 料 輸 入 網 路 後 , 網 路 使 用岦 隨 機 產 生岥 的 初 始 權 重稥 去屢 計稌 算 輸 出屒 值穂 。2. 網 路 接 著 計稌 算 輸 出屒 值穂 與 實 際 值穂 的 誤 差窭 。3. 誤 差窭 岩 輸 出屒 層 反 向峭 傳 回峵 網 路 中 , 藉 以层 調 整 權 重稥 , 以层 減釥 少 誤 差窭 。整 個積 倒穅 傳 遞 網 路 的 學 習 過 程 即 是 使 誤 差窭 最鄦 小 化 的 過 程 , 而 每 個積 權 重稥 調整 的 幅酭 度 視 權 重稥 對 誤 差窭 的 敏 感 程 度 而 定 , 即 網 路 會 評 估 權 重稥 的 變 動 , 是 會增 加展 或 減釥 少 誤 差窭 , 網 路 針 對 每 一 個積 例 子 不 斷 地峸 調 整 權 重稥 , 以层 得 到 使 誤 差窭 最鄦小 化 的 最鄦 佳 權 重稥 值穂 。 岩 於 權 重稥 值穂 的 修穑 正岗 是 岩 輸 出屒 層 開 始 , 逐 層 往 後 修穑 正岗 ,故 稱 為 倒穅 傳 遞 類 神 經 網 路 。岩 於 初 始 權 重稥 值穂 是 以层 範 圍酌 [-1,1] 間 亂 數 選 取 , 若秵 訓 練 資 料 放 入 網 路 中 學習 最鄦 後 無 法 收 斂 到 預 設 誤 差窭 時 , 可屣 重稥 覆 將 訓 練 資 料 放 入 網 路 訓 練 , 直 到 收斂 為 止尩 。 為 使 均 方尣 誤 差窭 能 收 斂 迅 速 穩 定 , 一 般 常 採 用岦 下 列峚 對 策 :1. 設 定 初 始 權 重稥 範 圍酌 : 通 常 若秵 將 初 始 權 重稥 設 定 在峹 接 近 零 之 亂 數 值穂 , 將 能 有效 降稪 低 均 方尣 誤 差窭 的 發 散醩 機 率 。2. 選 取 適 當 的 隱 藏 層 節 點 數 : 隱 藏 層 節 點 數 常 因峴 採 取 的 網 路 結 構 不 同峧 而異 , 必岊 須 實 際 訓 練 後 才 可屣 得 較 佳 值穂 。3. 採 取 適 應 性 學 習 速 率 : 誤 差窭 函 數 是 一 個積 不 規 則 的 多峿 維 曲 面稫 , 而 其 極 小 值穂就酧 位 於 曲 面稫 底 部 。 訓 練 時 若秵 採 用岦 固 定 式 學 習 速 率 , 當 曲 面稫 平岅 緩 , 收 斂 速度 就酧 十 分 緩 慢 ; 反 之 若秵 曲 面稫 陡 峭窤 , 則 可屣 能 步 幅酭 太 大 而 跨 過 曲 面稫 深 谷 , 使訓 練 無 法 收 斂 。 若秵 採 用岦 適 應 性 學 習 速 率 , 就酧 可屣 視 曲 面稫 坡 度 而 調 整 學 習 速率 大 小 。11

4. 加展 入 慣 性 量 : 誤 差窭 曲 面稫 可屣 能 會 有 一 些 較 淺 的 山 谷 , 這 些 山 谷 就酧 是 誤 差窭 函數 的 局 部 最鄦 小 值穂 。 為 使 訓 練 過 程 不 鄎 入 局 部 最鄦 小 值穂 的 山 谷 , 可屣 在峹 權 重稥 值穂修穑 正岗 時 加展 入 慣 性 量 。5. 增 加展 輸 入 、 輸 出屒 值穂 差窭 異 : 在峹 訓 練 圖 樣 中 , 若秵 系 統 輸 入 、 輸 出屒 值穂 差窭 異 太 小 ,無 論 訓 練 過 程 或 測釱 試 過 程 中 誤 差窭 均 無 法 有 效 降稪 低 。 是 故 若秵 能 在峹 系 統 輸入 、 輸 出屒 值穂 作 數 學 處 理 後 , 再峘 將 訓 練 對 放 入 網 路 中 學 習 , 將 可屣 有 效 降稪 低誤 差窭 值穂 。2.5 判 別 分 析判 別 分 析 又 稱 區 別 分 析 或 鑑 別 分 析 , 將 是 先峕 已 分 類 好崅 的 觀 察 值穂 , 選 取有 分 類 效 果 的 樣 本岓 , 利 用岦 分 類 變 數 (grouping variable;g 類 ) 當 因峴 變 數 , 多峿 個積計稌 量 的 區 別 變 數 (discriminant variable) 當 自 變 數 , 建 立岷 判 別 函 數 (discriminantfunction);k k d = b0 + b1x1 + b2 x2 +L+ b x ,d 為 判 別 函 數 值穂 ( 或 稱 判 別 分數 discriminant score), i x 為 區 別 變 數 ,i b 為 判 別 係 數 (discriminantcoefficient or weight)。 利 用岦 判 別 函 數 將 新 觀 察 值穂 進 行 適 當 分 類 。 基 本岓 要稊 求 :觀 察 值穂 個積 數 (n) 要稊 比尬 區 別 變 數 個積 數 (k) 至 少 多峿 兩 個積 。 假 設 條 件峋 :(1) 一 個積 區 別 變 數 不 能 是 其 屆 區 別 變 數 的 線 性 組 合峯(2) 各峬 類 組 間 的 組 內 變 異 數 ( 共峗 變 異 數 矩 陣 ) 應 該 都 是 相 等 ( 利 用岦 BOX’s M)(3) 各峬 組 區 別 變 數 之 間 具 有 多峿 變 量 常 態 分 配 線 性 區 別 分 為 線 性 判 別 函 數 和典 型 判 別 函 數 ( 費 雪鄑 區 別 函 數 )。 最鄦 多峿 有 min(k, g-1) 個積 判 別 函 數 。其 中 判 別 函 數 可屣 區 分 為 線 性 判 別 函 數 及 典 型 判 別 函 數 , 其 線 性 判 別 函 數 是建 立岷 區 別 規 則 , 最鄦 常 用岦 的 原穦 理 是 依 據 各峬 群 體 會 發 生岥 此 組 資 料 的 機 率 , 然 後將 此 個積 體 區 分 在峹 發 生岥 機 率 最鄦 大 的 群 體 , 此 種 區 別 方尣 法 稱 為 最鄦 大 概 似 法 。 而典 型 判 別 函 數 : 尋酦 找 區 別 變 數 的 線 性 組 合峯 之 最鄦 佳 權 重稥 , 使 其 組 間 變 異 數 對組 內 變 異 數 比尬 值穂 最鄦 大 , 即 F 值穂 最鄦 大 。 最鄦 多峿 有 min(k,g-1) 個積 判 別 函 數 。2.6 羅 吉峥 斯醬 迴 歸羅 吉峥 斯醬 迴 歸 的 基 本岓 形 式 與 一 般 線 性 迴 歸 並 無 很 大 的 差窭 異 , 唯 其 依 變 數不 再峘 如崇 線 性 迴 歸 為 連 續 性 變 數 , 而 係 以层 二 分 類 (binary or dichotomous) 的 變 數形 態 表 現 。 其 特 性 在峹 於 利 用岦 羅 吉峥 斯醬 機 率 分 配 轉 換醢 自 變 數 , 以层 使 依 變 數 y 轉 換醢為 介 於 0 到 1 之 間 的 機 率 值穂 。 其 分 類 法 係 假 設 依 變 數 (y) 為 1 或 0, 分 別 代 表12

(4) CART 可屣 以层 處 理 複 雜 、 多峿 變 數 的 資 料 結 構 。(5) 資 料 中 的 離 群 值穂 (Outlier) 並 不 會 影 響 演 算 法 的 運 算 。(6) CART 演 算 法 不 需 要稊 先峕 將 資 料 轉 換醢 成 類 別 型 的 資 料 。2.4 倒穅 傳 遞 類 神 經 網 路岩 於 John Hopfield 在峹 1982 年 發 明 倒穅 傳 遞 演 算 法 (back-propagation neuralnetwork), 類 神 經 網 路 的 研 究 才 再峘 度 興 起 , 因峴 此 倒穅 傳 遞 演 算 法 為 應 用岦 最鄦 廣 泛的 類 神 經 網 路 。 倒穅 傳 遞 演 算 法 可屣 歸 納 為 三 個積 重稥 要稊 的 步 驟 :1. 資 料 輸 入 網 路 後 , 網 路 使 用岦 隨 機 產 生岥 的 初 始 權 重稥 去屢 計稌 算 輸 出屒 值穂 。2. 網 路 接 著 計稌 算 輸 出屒 值穂 與 實 際 值穂 的 誤 差窭 。3. 誤 差窭 岩 輸 出屒 層 反 向峭 傳 回峵 網 路 中 , 藉 以层 調 整 權 重稥 , 以层 減釥 少 誤 差窭 。整 個積 倒穅 傳 遞 網 路 的 學 習 過 程 即 是 使 誤 差窭 最鄦 小 化 的 過 程 , 而 每 個積 權 重稥 調整 的 幅酭 度 視 權 重稥 對 誤 差窭 的 敏 感 程 度 而 定 , 即 網 路 會 評 估 權 重稥 的 變 動 , 是 會增 加展 或 減釥 少 誤 差窭 , 網 路 針 對 每 一 個積 例 子 不 斷 地峸 調 整 權 重稥 , 以层 得 到 使 誤 差窭 最鄦小 化 的 最鄦 佳 權 重稥 值穂 。 岩 於 權 重稥 值穂 的 修穑 正岗 是 岩 輸 出屒 層 開 始 , 逐 層 往 後 修穑 正岗 ,故 稱 為 倒穅 傳 遞 類 神 經 網 路 。岩 於 初 始 權 重稥 值穂 是 以层 範 圍酌 [-1,1] 間 亂 數 選 取 , 若秵 訓 練 資 料 放 入 網 路 中 學習 最鄦 後 無 法 收 斂 到 預 設 誤 差窭 時 , 可屣 重稥 覆 將 訓 練 資 料 放 入 網 路 訓 練 , 直 到 收斂 為 止尩 。 為 使 均 方尣 誤 差窭 能 收 斂 迅 速 穩 定 , 一 般 常 採 用岦 下 列峚 對 策 :1. 設 定 初 始 權 重稥 範 圍酌 : 通 常 若秵 將 初 始 權 重稥 設 定 在峹 接 近 零 之 亂 數 值穂 , 將 能 有效 降稪 低 均 方尣 誤 差窭 的 發 散醩 機 率 。2. 選 取 適 當 的 隱 藏 層 節 點 數 : 隱 藏 層 節 點 數 常 因峴 採 取 的 網 路 結 構 不 同峧 而異 , 必岊 須 實 際 訓 練 後 才 可屣 得 較 佳 值穂 。3. 採 取 適 應 性 學 習 速 率 : 誤 差窭 函 數 是 一 個積 不 規 則 的 多峿 維 曲 面稫 , 而 其 極 小 值穂就酧 位 於 曲 面稫 底 部 。 訓 練 時 若秵 採 用岦 固 定 式 學 習 速 率 , 當 曲 面稫 平岅 緩 , 收 斂 速度 就酧 十 分 緩 慢 ; 反 之 若秵 曲 面稫 陡 峭窤 , 則 可屣 能 步 幅酭 太 大 而 跨 過 曲 面稫 深 谷 , 使訓 練 無 法 收 斂 。 若秵 採 用岦 適 應 性 學 習 速 率 , 就酧 可屣 視 曲 面稫 坡 度 而 調 整 學 習 速率 大 小 。11

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!