「摂動法」という言葉をご存知でしょうか？私のニューラルネットワークの構成はこの「摂動法」の考え方を基礎としています。これは、もともと、１８世紀に３体問題から導かれる非線形微分方程式系を近似的に解く手法として考えられたものです。コンピュータがなく数値計算ができなかった１９世紀に、様々のテクが開発され、拡張され、非線形微分方程式系の解法の集大成となったものです。摂動法は、古典物理数学でよく知られるテーラー・マクローリン展開、固有関数展開、解析接続等を駆使します。ここでは、学校の古典物理数学の先生から怒られるのを覚悟で、非常にアバウトな説明をします。

摂動法は、非線形微分方程式系を線形微分方程式系に変換する手法です。近似の次数をnとすると、その線形方程式系の数は、元の非線形方程式系の数の(n+1)倍になります。近似度を上げると線形方程式系の数がどんどん増えるということです。通常、近似精度を上げればいくらでも真の解に近づけることができます（例外はあります）。数学的に言うと収束が保証されます。問題設定によって必要な精度が変わりますので、問題に合わせて近似の次数が決定されます。解いてみて、後から次数を決める場合もあります。次数の最も低い線形方程式系は単独で解けるように構成します（実はこれにテクがいる）。より低い次数の方程式の解で決まる値を外力として、より高次の方程式系が解けていきます。まるでドミノ倒しのような解法です。