【読書】ディープラーニングと物理学

「ディープラーニングと物理学」の関係といわれてピンとこない人も多いのではないでしょうか。
そもそも機械学習って何？という人の方が多いかもしれません。
先日「ディープラーニングと物理学」という本を読み終わりました。
この本は物理学者の視点で深層学習・機械学習とは何かということを教科書的に解説し、
その後相転移や超弦理論といった実際の問題に触れて、機械学習との関連が紹介されています。

この本では2~6章を第Ⅰ部として教科書的な解説が、7~12章を第Ⅱ部として物理学の諸問題との関連が書かれています。
機械学習って何？という人でも分かるように解説されており、
特に、物理学で出てくるような例がたくさん含まれているので私のように物理を少しかじった人には特に分かりやすいのではないかと思います。
本記事では内容をざっくり紹介します。

リンク

第Ⅰ部　物理学から見るディープラーニングの原理
第Ⅱ部　物理学への応用と展開
まとめ

第Ⅰ部　物理学から見るディープラーニングの原理

第Ⅰ部では物理学の言葉を使って機械学習・ディープラーニングの基礎的な内容が教科書的に解説されています。

機械学習

本書では機械学習は「経験だけからその背後の構造を抽出し、未知の状況にも適用できる能力を機会に自動的に獲得させる」ことであると説明されています。
経験とは何らかのデータベースで教師つきデータと教師なしデータに分類されます。

教師つきデータ：データ値と教師信号$(\vec{x}_i,\vec{d}_i)_{i=0,1\cdots}$
教師なしデータ：データ値だけ$(\vec{x}_i,-)_{i=0,1\cdots}$

機械学習の目標はデータが従っている未知の真の確率$P$を近似的に知ることになります。
パラメータ$J$に依存する$Q_J$を定義して$J$を調整することで$Q_J$を$P$に近づけることを考えます。
その指標として相対エントロピーがよく使われます。
$$D_{KL}(P||Q_J)=\sigma_{\vec{x},d}P(\vec{x},d)\log \frac{P(\vec{x},d)}{Q_J(\vec{x},d)}$$
この量は汎化誤差とも呼ばれ、学習が進むにつれてこの値が小さくなります。
データから得られる確率を$\hat{P}$とするとこの確率を経験確率といいます。
$Q_J$の$\hat{P}$との誤差を経験誤差といいます。

ニューラルネットワーク

教師つき学習ではニューラルネットワークの手法がよく使われます。
本書では簡単なハミルトニアンからモデルを作り、ニューラルネットワークを導入します。
そこから複数のハミルトニアンを使った拡張により深層ニューラルネットワークを考えます。
深層ニューラルネットワークはニューラルネットワークが繰り返し重なり高い層になっています。

ニューラルネットワークの万能近似定理と呼ばれる定理があり、これは1次元のニューラルネットワークが任意の連続関数を表現できるというものです。
高次元に拡張することができますが、不連続関数では使えないことと、中間層のユニットが無限に必要となるため現実的ではありません。
深層化することにより表現性が指数関数的に増えるという点で深層化が有効です。