ロボットにおける自己身体の順逆モデルを 再利用した他者 ... - 奥乃研究室

RJ2008J04ロボットにおける 自 己 身 体 の 順 逆 モデルを再 利 用 した 他 者 行 為 の 予 測 と 模 倣†○ 尾 形 哲 也†横 矢 龍 之 介‡谷 淳†駒 谷 和 範†奥 乃 博( † 京 都 大 学 大 学 院 情 報 学 研 究 科 ‡ 理 化 学 研 究 所 脳 科 学 総 合 研 究 センター)Prediction and Imitation of Other’s Motionsby Reusing Own Forward-Inverse model in RobotsTetsuya Ogata † , Ryunosuke Yokoya † , Jun Tani ‡ , Kazunori Komatani † , and Hiroshi G. Okuno †( † Graduate School of Informatics, Kyoto University / ‡ Brain Science Institute, RIKEN)Abstract -This paper proposes a novel model which enables robots to predict and imitate the other’smotions by reuse its body forward-inverse model. Our model includes the following three approaches. (i)Projection of a self-forward model for predicting outer environment phenomena (other individual). (ii)Mediation by a physical object between self and other individual. (iii) Introduction of infant imitation byparent. The Recurrent Neural Network with Parametric Bias (RNNPB) model is used as the selfforward-inverse model of a robot. A group of three layered neural networks are attached to the RNNPBmodel as “conversion modules”. Our target task is an “emulation” of moving an object. The experimentsdemonstrated that the robot with our model could imitate human’s motions by translating the viewpoints. Italso could discriminate known/unknown motions appropriately, and associate whole motion dynamics fromonly one camera image.Key Words: Imitation, Forward model, and Recurrent Neural Network with Parametric Bias1. はじめに自 律 個 体 にとって 外 部 環 境 に 関 するモデルを 持 つことは 不 可 欠 である. 特 に 外 部 の 多 様 な 動 的 対 象 ( 養育 者 など)の 挙 動 予 測 は,その 行 動 決 定 に 不 可 欠 である. 個 体 はこれらの 動 的 対 象 それぞれに 対 応 した「 予 測 モデル」を 持 つ 必 要 があり,これは 極 めて 大きい 学 習 負 荷 となる.しかし,もしこれらの 多 様 なモデルがそれぞれ 類 似 した 動 的 特 徴 を 持 ち,それを観 察 個 体 が 自 動 的 に 抽 出 できれば,その 類 似 特 徴 を「 再 利 用 」することで, 学 習 負 荷 を 減 少 させることができると 期 待 できる.ここで,この 部 分 的 な 類 似 動 的 特 徴 の 抽 出 と 再 利用 に, 観 察 個 体 自 身 の 内 部 モデルを 利 用 する 枠 組 みを 考 える.つまり 外 部 の 動 的 対 象 を 観 察 個 体 の 順 逆モデルを 変 換 ・ 再 利 用 することでモデル 化 する.ここでの“ 変 換 ”は, 観 察 視 点 変 換 や 身 体 部 位 変 換 ,さらに 文 脈 ・ 状 況 変 換 が 含 まれる.これが 実 現 できれば, 外 部 動 的 対 象 を, 極 めて 少 ない 学 習 リソース,学 習 時 間 でモデル 化 できると 期 待 される.我 々はこれまでに,この 中 で 特 に 観 察 視 点 変 換 に着 目 し, 幼 児 と 親 の 間 で 行 われる 模 倣 インタラクションを 例 としてモデル 化 を 提 案 してきた.これまでにもDemiris et al. [1]やMakino et al. [2]が 自 己 の 内 部順 モデルによる 他 者 行 為 予 測 を 議 論 しているが, 観察 視 点 の 変 換 に 関 する 議 論 は 十 分 にはされていない.以 下 ,まず 提 案 手 法 における 仮 定 を 示 し,これまでに 提 案 しているモデルの 詳 細 を 示 す. 具 体 的 には利 用 した 人 工 神 経 回 路 モデル 及 び 発 達 のプロセスを述 べ, 人 型 ロボットを 用 いた 実 験 の 概 要 を 示 す.さらに 本 稿 では 特 に 新 しい 知 見 として, 提 案 モデルを用 いた(1) 既 知 ・ 未 知 パターンの 識 別 手 法 ,(2) 静 止 物体 画 像 からの 挙 動 予 測 の 手 法 を 新 たに 述 べる. 最 後に 考 察 とまとめを 行 う.2. 幼 児 と 親 のインタラクションにおける 仮 定以 下 , 我 々の 提 案 モデルにおいて 前 提 となる 幼 児と 親 のインタラクションにおける 仮 定 を 2 つ 示 す.2.1 三 項 関 係Trevarthen et al. [3] は「 自 己 - 対 象 物 - 他 者 」の 三 項関 係 が 他 者 の 意 図 理 解 へとつながると 指 摘 している.三 項 関 係 とは, 対 象 物 を 媒 介 にした 他 者 とのインタラクション 形 式 であり, 対 象 物 への 共 同 注 意 が 典 型例 である.2.2 親 による 幼 児 の 模 倣幼 児 の 認 知 発 達 において「 親 による 幼 児 の 模 倣 」の 重 要 性 は 古 くから 指 摘 されている. 実 際 に「 幼 児の 挙 動 に 対 する 親 の 反 応 は, 模 倣 を 多 く 含 む」という 仮 定 は 妥 当 と 思 われる.Jones [4] は「 親 による 幼児 の 模 倣 」を 通 した 模 倣 能 力 の 発 達 プロセスを 連 合学 習 の 枠 組 で 説 明 している.3. 提 案 モデルと 実 装 システム3.1 提 案 モデルと 人 工 神 経 回 路 モデルFig.1に 提 案 モデルの 概 略 を 示 す.まず 観 察 個 体 の順 逆 モデルとして, 谷 らによって 提 唱 されたRNNPB(Recurrent Neural Network with Parametric Bias) [5]を用 いた.これは 便 宜 的 なもので, 観 察 個 体 の 身 体 行為 による 外 部 変 化 の 予 測 学 習 が 可 能 なモデルであれば, 提 案 モデルの 一 般 性 は 失 われない.RNNPBは 通 常 のJordan 型 RNNにその 力 学 特 性 を 調節 するパラメータ(Parametric Bias, 以 下 PBと 呼 ぶ)26 日 本 ロッ 術 講 (2008 年 日 〜 日

RJ2008J04を 付 加 した 予 測 器 として 構 成 される. 複 数 の 時 系 列入 力 を 力 学 構 造 ( 固 定 点 や 周 期 アトラクタ 等 )としてコード 化 する( 分 散 表 現 ).この 各 アトラクタの構 造 はPBの 値 に 自 己 組 織 化 される.さらに 未 使 用 PBを 利 用 することで, 既 学 習 アトラクタを 汎 化 した 新規 パターンを 生 成 することができる.また 外 部 の 動的 対 象 は, 観 察 個 体 モデルの 入 出 力 に 変 換 モジュールを 加 えることでモデル 化 する.この 変 換 モジュールには 複 数 の 三 層 のニューラルネットを 用 い,Mixture of Expert 法 [6]で 学 習 する 構 造 とした( 局 所 表現 ).この 変 換 モジュールには, 原 理 上 RNNPBのような 分 散 表 現 を 利 用 することも 可 能 であるが,ここでは 便 宜 上 このような 構 造 とした.実 験 で 用 いたRNNPBのサイズは 入 出 力 層 7, 中 間層 35,コンテキスト 層 10,PB 層 2である. 変 換 モジュールは 入 出 力 層 4, 中 間 層 4であり, 入 出 力 それぞれに8 個 用 意 する.Figure 1I oTranslationImodules s(Layered NN)Forward-InverseModel(RNNPB)I sI oVisual outputPBVisual inputProposed Model for Translating Viewpoints・・・・・・3.2 ロボットシステムと 実 験 環 境実 装 ロボットとして ATR 製 のヒューマノイドロボット Robovie-IIs [7]を 用 いた. 上 面 を 赤 青 の 2 色 に色 分 けした 箱 型 の 物 体 を 対 象 として,ロボット( 幼児 )- 実 験 者 ( 親 )との 三 項 関 係 を 構 築 し, 模 倣 インタラクションを 行 った.ロボットの 入 力 データは,カメラ 画 像 ( 物 体 各 色のカメラ 内 での 重 心 座 標 )4 次 元 とモータ 関 節 角 度 3次 元 である.これらを 正 規 化 しサンプリングレート800 [ms/step]で 入 力 した.4. 模 倣 発 達 モデル提 案 する 模 倣 発 達 のモデルは, 4つのフェーズから構 成 される(Fig. 2 参 照 ).フェーズ1: 観 察 個 体 の 順 逆 モデル 学 習事 前 に 与 えた 複 数 物 体 操 作 動 作 をロボットに 生 成させ,その 際 の 視 覚 , 関 節 角 データを 収 集 する(バブリング). 周 修 データによりRNNPBを 学 習 する.フェーズ2: 変 換 モジュール 群 の 学 習フェーズ1 終 了 後 ,ロボットに 適 当 な 動 作 を 生 成 させる. 人 間 がロボットからみて0°,90°,180°,270°の4 方 向 に 立 ち, 生 成 されたロボット 動 作 を 模倣 する( 親 による 幼 児 の 模 倣 ).この 模 倣 情 報 を 用いて8 組 の 変 換 モジュールをMixture of Experts 法 で学 習 する.この 際 のPB 値 はロボットが 生 成 した 際 のPB 値 と 同 一 とする(つまり 幼 児 は 親 の 行 為 が“ 模 倣 ”であると 意 識 している).フェーズ3: 変 換 モジュールの 同 定フェーズ2 と 同 様 に,4 種 類 の 位 置 で 人 間 が 模 倣 する 動 作 をロボットが 観 察 しデータを 取 得 する.このデータについて, 予 測 誤 差 が 最 小 となる 変 換 モジュールを 選 択 する( 人 間 の 視 点 位 置 の 同 定 ).フェーズ4: 模 倣 動 作 の 生 成フェーズ3 で 選 択 された 変 換 モジュールを 使 用 し,人 間 から 提 示 された 動 作 に 対 応 するPB 値 を 計 算 する.得 られたPB 値 を 順 モデルRNNPB に 入 力 することで, 模 倣 動 作 を 生 成 する( 幼 児 による 親 の 模 倣 ).Figure 2Proposed Process of Imitation Developmentこれらのフェーズは 便 宜 的 に 分 けているものであり, 本 来 その 境 界 線 は 明 確 ではない.バブリングによる 自 己 身 体 の 順 逆 モデル 学 習 , 変 換 モジュールの学 習 , 模 倣 学 習 は 並 列 に 実 行 することも 可 能 である.このモデルのポイントは, 幼 児 と 親 が 互 いに“ 真 似の 仕 合 ”を 行 うだけで, 幼 児 が 他 者 視 点 の 獲 得 ( 自身 の 順 逆 モデルの 再 利 用 )を 実 現 できるというプロセスにある.5. ロボットによる 評 価 実 験5.1 模 倣 実 験5.1.1 実 験 条 件用 いる 操 作 は, 以 下 の4 種 類 である. 操 作 1: 左 から 右への 平 行 移 動 , 操 作 2: 右 端 を 押 す 左 回 転 , 操 作 3: 手前 から 奥 への 平 行 移 動 , 操 作 4: 右 回 転 .フェーズ1でロボットは 操 作 1~4を 学 習 する.フェーズ2の 変 換 モジュール 学 習 には 操 作 1~3のみを 使 用 した.フェーズ3でロボットは 人 間 の 操 作 1~4を 観 察 し,変 換 モジュールを 同 定 し,フェーズ4で 各 動 作 を 模 倣 させた.26 日 本 ロッ 術 講 (2008 年 日 〜 日

RJ2008J045.1.2 実 験 結 果フェーズ4の 模 倣 時 , 全 ての 模 倣 動 作 実 験 において,(1) 人 間 の 視 点 ( 変 換 モジュール)の 同 定 ,(2) 動 作 のRNNPBによる 同 定 ,(3)ロボット 自 身 の 視 点 に 変 換 した動 作 の 再 生 ,が 可 能 なことを 確 認 した.フェーズ2の 変 換 モジュール 群 の 学 習 では 未 使 用 の「 右 回 転 」についても 模 倣 可 能 であった.つまり 各 変換 モジュールに 人 間 の 視 点 に 対 応 する 視 野 変 換 が 構 成されているといえる.さらに 人 間 が 学 習 時 に 使 用 した4 種 類 の 立 ち 位 置 以 外 から, 動 作 を 提 示 した 場 合 も,各 変 化 モジュールの 予 測 誤 差 を 重 みとした 線 形 重 ね合 わせにより, 全 く 支 障 なく 動 作 予 測 が 可 能 であることも 確 認 した.これらの 結 果 をFig. 3に 示 す.また実 験 風 景 をFig. 4 に 示 す.270 deg225 deg180 deg10.5135 deg0g-1 -0.5 0 0.5 1Untrained PositionUntrained Motion90 deg2の 変 換 モジュール 学 習 は,5.1 節 の 実 験 と 同 様 に4 種類 の 動 作 のみを 用 いて 行 う.フェーズ3でロボットは人 間 による 動 作 1~5 全 てを 観 察 し,それぞれの 動 作について 変 換 モジュールを 選 択 する.この 際 , 動 作 5は 未 知 動 作 であるが, 予 測 誤 差 を 用 いて 変 換 モジュールは“ 暫 定 的 ”に 一 意 に 決 定 される.フェーズ4で,RNNPBの 内 部 連 想 を 用 いる.(a) 観察 動 作 をRNNPBで 認 識 させ,それを 表 現 するPBを 決定 する.(b) 求 めたPBを 利 用 して 動 作 を 連 想 する.ここで“ 連 想 ”とはPB 値 を 固 定 し,RNNPBの 入 出 力 を接 続 ( 閉 ループ)した 順 方 向 計 算 反 復 で 得 られる.もし 認 識 動 作 が 既 知 であれば, 連 想 された 動 作 は,観 察 動 作 に 近 いものになるが, 未 知 であればその 誤差 は 大 きくなる.さらに,(c) 連 想 動 作 を 再 度 RNNPBに 認 識 させてPBを 求 め,(b)の 動 作 連 想 を 反 復 することで, 既 知 動 作 と 道 動 作 の 誤 差 はより 増 大 する.5.2.2 実 験 結 果各 動 作 について, 連 想 動 作 と 観 測 動 作 の 誤 差 をFig.5に 示 す.フェーズ1,2に 使 用 した 動 作 1~3は, 誤 差が 図 からは 確 認 できない 程 の 微 小 値 となった. 動 作 4はフェーズ1で 学 習 しているが,フェーズ2で 利 用 していないため,ある 程 度 の 誤 差 が 生 じる. 未 知 動 作である 動 作 5では 大 きな 誤 差 が 生 じた.よって 既 知 動作 , 未 知 動 作 の 判 別 が 十 分 可 能 であるといえる.◇: Position 0 deg△: Position 90 deg□: Position 180 deg○: Position 270 degFigure 3315 deg -0.5 45 deg-10 degPosition Identification by Linear Combiningof Translation ModulesPrediction Error0.0250.020.0150.010.005Motoin 1Motion 2Motion 3Motoin 4Motion 501 2 3 4Human’s PositionFigure 4Photo Image of Imitation ExperimentFigure 5Differences between Observed and Associated Motions5.2 RNN 反 復 連 想 による 既 知 動 作 ・ 未 知 動 作 判 別提 案 モデルでは, 観 察 動 対 象 を 自 己 の 順 逆 モデルを 転 用 してモデル 化 する.この 際 ,この 手 法 が 適 用できるかどうかを 判 定 する 基 準 ,つまり 対 象 現 象 が自 己 の 経 験 上 , 既 知 か 未 知 かを 判 別 する 必 要 がある.人 工 神 経 回 路 モデルは 強 力 な 汎 化 特 性 をもつため,あるレベルの 未 知 現 象 であれば 表 現 可 能 である.そのため, 一 般 性 のある 未 知 / 既 知 の 判 定 は 難 しい.そこで 我 々は, 観 察 現 象 について,RNNPB 内 部 で認 識 と 再 生 のプロセスを 反 復 する 方 法 を 検 討 した.5.2.1 実 験 条 件5.1 節 の 実 験 で 使 用 した4 種 類 の 動 作 に,「 動 作 5:左 端 を 引 くことによる 左 回 転 」を 未 知 動 作 として 加える. 動 作 2と 動 作 5は 同 じ 左 回 転 であるが, 画 像 上で 全 く 異 なる 物 体 軌 道 となることに 注 意 されたい.フェーズ1の 自 己 の 順 逆 モデル 学 習 , 及 びフェーズ5.3 静 止 画 像 からの 全 体 動 作 連 想5.3.1 動 作 連 想 手 法 と 特 徴提 案 モデルは,その 連 想 機 能 を 用 いることで 動 作中 の1 枚 の 静 止 画 像 から, 全 体 の 動 作 系 列 を 連 想 できる.フェーズ1と2を5.1 節 の 実 験 と 同 様 に 行 う. 静 止画 像 は, 人 間 が0[deg]の 位 置 で 行 った 動 作 1~4の 途 中のキャプチャ 画 像 4 枚 ( 以 下 , 静 止 画 像 1~4と 呼 ぶ)さらに 物 体 操 作 前 の 初 期 画 像 の 計 5 枚 である.ここで初 期 画 像 は 複 数 動 作 に 含 まれる 画 像 データであり,動 作 の 同 定 に 曖 昧 性 が 残 ることに 注 意 されたい.学 習 後 のRNNPBにおいて,2 次 元 PB 空 間 を100×100 に 格 子 分 割 し, 各 PBから 変 化 モジュールを 介 して 全 体 の 動 作 を 連 想 する.この 際 , 従 来 の 探 索 問 題のように“ロボットが 生 成 可 能 な 全 ての 動 作 ”を 検証 するのではなく,PB 空 間 のみの 探 索 (RNNPBの 既学 習 動 作 とその 周 辺 の 汎 化 動 作 )になるため 探 索 作26 日 本 ロッ 術 講 (2008 年 日 〜 日

RJ2008J04業 を 大 幅 に 効 率 化 できる. 連 想 された 予 測 画 像 系 列と 各 静 止 画 像 を 比 較 する.5.3.2 実 験 結 果上 記 手 法 により 計 算 した 誤 差 をPB 空 間 に 対 応 させた 結 果 をグレースケールで 示 した(Fig. 6). 予 測 誤差 が 最 小 となったPB 値 には× 印 を 付 した.静 止 画 像 1~4については 動 作 系 列 が 適 切 に 認 識 されていることが 確 認 できる.また 動 作 初 期 画 像 については,PB 空 間 全 体 において 予 測 誤 差 が 一 様 となり,動 作 が 一 意 に 同 定 できないことも 確 認 できる.11実 験 の 結 果 ,ロボットは 提 案 モデルにより 人 間 からの 任 意 方 向 からの 提 示 動 作 を 認 識 , 視 点 変 換 を 施して 模 倣 を 行 うことが 可 能 であることを 確 認 した.Motion 1(Move from Left to Right)Motion 2(counterclockwise rotation)PB2PB20.80.60.40.2×00 0.2 0.4 0.6PB10.8 1Motion 1(Move from Left to Right)10.80.60.40.200 0.2 0.4 0.6PB10.8 1Motion 3(Move forward)1×PB2PB20.80.60.40.2×00 0.2 0.4 0.6PB10.8 1Motion 2(counterclockwise rotation)10.80.60.40.2×00 0.2 0.4 0.6PB10.8 1Motion 4(clockwise rotation)Figure 7Motion 3(Move forward)Motion 4(clockwise rotation)●:Start Point, ▲: End Point, ◇: Static ImageAssociated Motion Trajectories from a Static Camera Imageさらに 人 工 神 経 回 路 モデルの 連 想 機 能 ( 予 測 誤 差 )を 活 用 することで, 本 手 法 が 適 用 可 能 な 動 作 の 判 定( 既 知 動 作 と 未 知 動 作 の 識 別 )が 可 能 であること,さらに 動 作 中 の 静 止 画 像 から, 全 体 の 動 作 を 効 率 よく 連 想 可 能 であることを 確 認 した.今 後 は, 視 点 変 換 による 物 体 操 作 の 模 倣 ( 三 項 関係 )だけでなく, 身 体 情 報 変 換 を 利 用 したより 高 度な 模 倣 (mimic)を 実 現 していく.さらに 文 脈 情 報 変換 についても 検 討 し,コミュニケーション 研 究 を 展開 していく 予 定 である.PB20.80.60.40.2×00 0.2 0.4 0.6 0.8 1PB1Initial PositionFigure 6 Difference Maps between Observed and Associated Motionsfrom Static Camera Images予 測 誤 差 が 最 小 となったPBにより 連 想 した 物 体 軌道 ( 物 体 色 領 域 のカメラ 内 重 心 座 標 )をFig. 7に 示 す.各 静 止 画 像 を 通 過 する 動 作 が 連 想 できていることが確 認 できる.6. まとめ本 稿 では, 外 部 の 動 的 対 象 の 適 応 ( 予 測 ・ 模 倣 )のために, 自 己 の 順 逆 モデルを 転 用 するという 概 念を 示 した. 具 体 的 には,“ 物 体 操 作 を 介 した 模 倣 ( 三項 関 係 )”さらに“ 親 による 幼 児 の 模 倣 ”を 仮 定 し,模 倣 能 力 の 発 達 プロセスをモデル 化 した.これを 人工 神 経 回 路 モデルと 実 ロボットにより 実 装 した.謝 辞 本 研 究 は, 科 研 費 若 手 A, 科 研 費 基 盤 S, 栢 森財 団 10 周 年 記 念 特 別 研 究 助 費 の 支 援 を 受 けた.参 考 文 献[1] Y. Demiris and G. Hayes: Imitation as a dual-route process featuringpredictive and learning components: a biologically-plausiblecomputational model, Dautenhahn and Nehaniv (Eds.), “Imitationinq Animals and Artifacts”, MIT Press, chapter 13, pp. 327–361,2002.[2] T. Makino and K. Aihara: Self-observation Principle for Estimatingthe Other’s Internal State, Mathematical Engineering TechnicalReports METR 2003-36, the University of Tokyo, 2003.[3] C. Trevarthen and P. Hubley: Secondary intersubjectivity: Confidence,confiding and acts of meaning in the first year, Lock,A.(Eds.), Action, gesture, and symbol: The emergence of language,New York: Academic Press, pp. 183–229, 1978.[4] S. Jones: Infants Learn to Imitate by Being Imitated, Proceedings ofIEEE/RSJ International Conference on Development and Learning(ICDL-2006), 2006.[5] J. Tani and M. Ito, “Self-Organization of Behavioural Primitives asMultiple Attractor Dynamics: A Robot Experiment,” IEEE Transactionson SMC Part A, Vol. 33, No. 4, pp. 481-488, 2003.[6] J. Tani and S. Nolfi: Learning to perceive the world as articulated:an approach for hierarchical learning in sensory-motor systems,Neural Networks, Vol. 12, No. 7, pp.1131-1141, 1998.[7] T. Miyashita, T. Tajika, K. Shinozawa, H. Ishiguro, K. Kogure andN. Hagita, "Human Position and Posture Detection based on TactileInformation of the Whole Body," IEEE/RSJ IROS 2004 Work Shop,2004.26 日 本 ロッ 術 講 (2008 年 日 〜 日