Entries

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/813-0fd1ce1b

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

小林雅一『AIの衝撃』


第三次AIブームの広がりをたどり、今後における問題点を綴ったもの。事実の解釈について疑問に思うところはあるが、しっかり調べて書いてある印象。

深層学習についての解釈はあまり納得しなかった。深層学習は「大脳視覚野の認識メカニズムに基づく」(p.27)としているが、これは当てはまってもCNNだけだろう。画像認識で高い性能を示したニューラルネットが音声検索や同時通訳にも応用されるようになったと書いている(p.238)ので、著者にはCNNとRNNの区別はないようだ。CNNの話に限定しても、CNNは高次の視覚野からのフィードバックや、視床下部からの投射といった、大脳視覚野の構造を全然反映していない。いわゆる「グーグルの猫」については、一つのニューロンがそんな概念を表象することは人間の脳では起こらないだろう。高次表象は複数のニューロンの発火パターンによる分散表象になるだろう。さらに言えば、CNNが大脳視覚野の認識メカニズムに基づくなら、adversarial exampleなんてどう解釈したらいいのだろう。

CNNの発想は、下記のような感じだったのではないかと思っている。ニューラルネットの階層を重ねていくと勾配消失問題に突き当たってしまうから、画像処理なら情報量をニューラルネットとは別の仕方で削減してからニューラルネットに加えれば良い。そこで画像処理でお馴染みのフィルタリングを畳み込み層として持ってきた。そうしたら中間層でできたノードの反応パターンが、どうやら実際の脳のニューロンの反応パターンと似ていた、と。

本書に書いてある話はまったく違った。著者の言うところ、ニューラルネットは数学的構造だったのだが、計算論的神経科学が導入されて変わった(p.105)という。脳の研究がニューラルネットに影響を与えたと。それは1996年のオルスホーゼンによる、脳の視覚野は画像をいくつかの特徴ベクトルに分解して処理しているという、スパース・コーディングの考えにある。ヒントンの革新は、GPUの利用とこのスパース・コーディングの採用にあるという(p.112f)。
過去のニューラルネットが単なる数値計算的な数学を採用にしていたのに対し、最近のニューラルネットは脳科学の研究成果を数学で表現したものに基づいている。ここが大きな違いなのです。(p.114)

私には知識が足りないのでよく評価はできない。少なくともこの話に依拠しているディープラーニングのwikipedia日本語ページは危ういと思う。まずもって、ディープラーニングの歴史でよく出てくる福島のネオコグニトロンの話は本書にはなぜか出てこない。深層学習と神経科学の関係は、ニューラルネットという構造(複数の入力を重み付きで受けて、特性関数に従って出力するノードの集まり)そのものの発想の源であったが、それ以上は脳の構造が詳細に分かっていないために、深層学習の進展にはメインには寄与していないというBengioらの評価が納得いくものではないか。"Today, neuroscience is regarded as an important source of inspiration for deep learning researchers, but it is no longer predominant guide for the field. The main reason for the diminished role of neuroscience in deep learning research today is that we simply do not have enough information about the brain to use it as a guide."(Goodfellow, Bengio, Courville, "Deep Learning", p.15)

他にも怪しい話はいくつかある。深層学習ではSVMとかと違って、入力するデータ量を増やせば「認識精度が天井知らずに上がっていく」(p.30)とか(天井は明らかに認識率100%である)。深層学習ではルールや変数を教えなくても特徴量を自動生成するから、フレーム問題が解決できるとか(p.119-121)。ニューラルネットの構成をどうするか、特性関数を何にするか、ドロップアウトやドロップコネクトの割合をどうするのか、勾配の計算関数をどうするのか、こうしたかなり膨大なパラメーターは相当に人間が設計する必要があるだろう。

また、AIにまつわる研究はアメリカが進んでいるので、それに対する危惧も書かれている。AIは今後、あらゆる分野に広がっていくので、全産業の主導権をアメリカ企業に握られてしまうかもしれない、と(p.180)。AIではデータを膨大に集めて学習するため、例えば工場とか家庭に置かれたAIはそこでのデータを大量に取得する。著者はこれを、次世代ロボットはグーグルなどの企業が企業や消費者について理解し、内側から支配するためのトロイの木馬だと書いている(p.159)。

AIを用いた次世代ロボットに対しては日本とアメリカでだいぶアプローチが異なる。日本企業は単機能に特化したロボットを作る傾向があるが、アメリカ企業は自律型汎用ロボットを目指している。日本企業が単機能になりやすい二つの理由が書かれている(p.173-177)。一つは、大学などの研究機関でAIとロボットの分野が分かれてしまっていること。AIは主に情報系の学問で、ロボットは工学系の学問。二つには、政府などの公的機関から人型ロボットに資金援助が出ないこと。もともと日本は人型ロボットで先行していたが、さほどの結果を出してこられなかったから。自律型ロボットは人型である必要はないので、ここの論理は実はつながっていない。著者もこの論理の破綻には少し気づいているようだけれども(p.177)。

最終章はなぜか将棋の話が長く続いて少し退屈する。ポイントは、人間の存在価値がAIの普及によって変わるのか。こうした議論では人間の存在価値は「機械的ではない」活動、特に芸術を始めとする創造性が要求される分野だとされる。チェスを最高に知的な遊戯と位置づけていたが、ディープブルーに人間が負けると途端に見解を翻したホフスタッターなどが揶揄されている。この揶揄は音楽の自動作曲に対しても繰り返される。著者の見るところ、創造性とは、一見関係しない異なる領域の事柄の中に関連性を見抜きをつなぎ合わせることによって成り立つ。だとすると、転位学習が容易になるということは創造性を獲得し始めていることだと。つまりAIは創造性を獲得できると(p.237-239)。

人間の価値についての結論は、「ある能力において自分よりもすぐれた存在を創造し、それを受け入れる私たちの先見性と懐の深さ」(p.242)に置かれている。自分よりもすぐれた存在を創造することこそ、シンギュラリティの議論ではなかったのか。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/813-0fd1ce1b

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。