KFAC

K-FAC法の「実装」に最低限必要な知識のまとめ

とても忙しい人（全員必読）

1. K-FAC実装方法（大沢スライド） 文献[6] p12-14, p27-33

忙しい人

1. Fisher情報行列の近似方法　文献[2]の2.2節

少し忙しい人

1. 自然勾配（Fisher情報行列） 文献[1]の2.2節
2. Fisher情報行列の近似（クロネッカー因子分解） 文献[1]の3章（3.1節は読まなくてよい）
3. Fisher情報行列の逆行列の近似（クロネッカー因子分解，ブロック対角近似） 文献[1]の4.2節
4. Damping 文献[1]の6.3節
5. 畳み込み層のためのK-FAC法（KFC法） 文献[2]の3.1節（表記が文献[1]と異なるので注意）

余裕のある人

1. K-FAC法の背景および発展系の総まとめ 文献[3]
2. 自然勾配法 文献[4]

日本語が読みたい人

1. 自然勾配法をわかった気持ちになる　文献[7]
2. 自然勾配近似法とBatch Normの関係 文献[5]

参考文献

• [1] James Martens and Roger Grosse, Optimizing Neural Networks with Kronecker-factored Approximate Curvature, 2016
• [2] Roger Grosse and James Martens, A Kronecker-factored approximate Fisher matrix for convolution layers, 2016
• [3] Roger Grosse, Scalable natural gradient using probabilistic models of backprop, 2017
• [4] Shun-ichi Amari, Natural Gradient Works Efficiently in Learning, 1998
• [5] 自然勾配近似法を起点としたバッチ正規化の数理的理解, 木脇太一, 2017
• [6] 大沢K-FAC解説スライド
• [7] 自然勾配学習法-学習空間の幾何学,甘利俊一,2001