詳解 独立成分分析

先端的な応用までも含めた，絶好の教科書

　独立成分分析（ICA）は確率変数，測定値または信号などの下に隠されている要因を明らかにするための，統計学的な，かつ計算方法に関する手法である．大きな標本のデータベースとして与えられることが多い多変量データに対して，ICAは生成的なモデルを提供する．そのモデルでは，データの変数は，何らかの未知で隠れている変数の線形，または非線形混合であると仮定されるが，その混合過程も未知とされる．それら未知の変数は非ガウス的（正規分布に従わない）で相互に独立であると仮定され，観測データの独立成分と呼ばれる．これらの独立成分はまた信号源とも因子とも呼ばれ，ICAによって見出されるのである．
　ICAは主成分分析や因子分析の拡張とみなすことができる．しかしながら，ICAはずっと強力な手法であり，これらの古典的な方法がまったく歯が立たないような場合でも，隠れている因子や信号源を見出すことができる．
　ICAの応用が可能な範囲は多くの異なる分野に及んでいて，ディジタル画像，ドキュメントのデータベースから経済指標とか計量心理学的測定値などまで含まれる．多くの場合，測定値は並列的に得られる複数の信号や時系列である．そのとき，この問題は暗中信号源分離（blind source separation）という言葉によって記述される．典型的な例としては，同時に話す複数の話者の声を複数のマイクロフォンで拾った，声が入り交じった信号や，脳波を複数の電極で記録したもの，携帯電話に入り込む複数の干渉電波，生産工程から並列的に発生する時系列などがある．
　ICAは比較的新しく開発された手法である．最初に用いられたのは1980年代の初期で，ニューラルネットワークモデルに関連したものであった．1990年代の中頃，複数の研究グループによって紹介されたアルゴリズムは成功を収めたもので，カクテルパーティ効果のような問題に対して驚くほど効果があることを示した．カクテルパーティの問題とは，複数の話者の声の波形を分離する問題である．ICAは刺激的な新しいトピックとなった．ニューラルネットワークの分野では特に「教師なし学習」において，またもっと一般的に，統計の先端分野や信号処理の分野で話題となった．そして，ICAの現実問題への応用が現れ始めた．医用生体工学関連信号処理，聴覚信号の分離，通信，故障診断，特徴抽出，金融関係の時系列解析，さらにデータマイニングなどへの応用である．
　ここ20年間にICAに関する多くの論文が多くの雑誌や会議録に掲載された．分野で見ると，信号処理，人工ニューラルネットワーク，統計学，情報理論，その他多くの応用分野である．ICAに関する特別セッションやワークショップが最近行われ，ICAや暗中信号源分離や関連する主題に関する，いくつかの論文集やモノグラフが出版されている．それらはその読者として意図された人達にとっては大変有益であるが，それぞれがICAの方法の特定の部分のみについて集中して書かれている．簡潔な記述を旨とする科学技術論文では，数学や統計に関する初歩的事項は含めないのが普通であるから，より広い読者層にとって，このかなり高度な主題を十分理解するのは難しい状況である．
　数学的な背景や原理，解法のアルゴリズムとともに現在のICAの先端的な応用までも含めた，包括的で詳細にわたる教科書は現在までなかった．本書はそのギャップを埋めるために書かれたもので，ICAに対する基礎的な入門書となるべきものである．
　読者としては広い分野の人々を想定している．すなわち，統計学，信号処理，ニューラルネットワーク，応用数学，神経および認知科学，情報理論，人工知能および工学分野の人々である．研究者も学生も実務家も本書を使うことができるであろう．この一冊で事足りるようにできるだけ努力したつもりであるから，大学1，2年程度の微積分，行列演算，確率論，統計学の知識があれば，本書を読むことができる．また，ICAの教科書として大学院で用いるのにも適している．その際，多くの章末に用意された演習問題やコンピュータ課題が役立つであろう．

　本書の範囲と内容
　本書は統計および計算の手法としてのICAの全般的な入門書である．基本的な数学的原理と基礎的なアルゴリズムに主眼を置いた．内容の多くは，我々自身の研究グループ内で行われた独自の研究に基づいているので，トピック間の軽重の関係には当然それが反映している．特に取り上げたのは，大規模な問題，すなわち多くの観測変数やデータ点をもつような問題にまで適用可能なアルゴリズムである．最近までは，ICAの適用というと小規模問題とか，試験的な研究が主であったが，近い将来，ICAが実社会の現実問題に広く用いられるようになれば，これらのアルゴリズムがますます重要になるであろう．そのような理由で，畳み込み混合，遅延，さらにICA以外の暗中信号源分離の方法を含むような，より特化した信号処理の方法については，どちらかというと扱いが軽くなっている．
　ICAは急速に進歩している分野であるから，教科書の中に新しい展開をすべて取り込むのは不可能である．我々は他の研究者の貢献による主要な結果を，その意図を誤らずに取り入れるよう努力し，また参照できるよう広範な文献リストを用意したつもりである．それでも見過ごしたかもしれない重要な貢献に対しては，お詫びを申し上げる．
　読みやすくするため，本書は4部に分かれている．

●第Ⅰ部は数学の基礎的事項である．ここでは本書で必要となる一般的な数学の概念を導入する．第2章は，確率論に関する突貫コースである．読者はこの章に書かれた内容について勉強したことがあることを想定しているが，そのほかに，どちらかというとICAに特有ないくつかの概念も導入する．たとえば高次キュムラントや多変量確率論である．次に第3章では，ICAのアルゴリズムを展開するのに必要とされる，最適化の理論や勾配法に関する理論上の枠組みの補足は，第5章の情報理論で与えられる．第Ⅰ部を締めくくるのは第6章で，主成分分析，因子分析，無相関化に関する方法について論じる．読者に自信があれば，第Ⅰ部のある部分，あるいは全体を飛ばして第Ⅱ部のICAの原理から直接読み始めてもよいであろう。
●第Ⅱ部では，基本ICAモデルを取り上げ解法を示す．これは雑音のない線形瞬時混合モデルで，ICAでは古典的で，その理論の核となるものである．第7章でこのモデルを導入し混合行列の同定可能性を扱う．後続の各章では，モデルの推定法を扱う．中心的な原理は非ガウス性であり，そのICAとの関係を第8章で調べる．次に最尤性の原理（第9章）と最小相互情報量（第10章）を概観し，次にこれら三つの基本的原理の間の関係を示す．入門的な講義には向いていないかもしれないが，第11章では高次キュムラントテンソルを用いた代数学的アプローチを，第12章では初期の成果である非線形無相関化に基づくICAと非線形主成分分析について述べる．これらの各原理によって独立成分や混合行列を求め，実用的なアルゴリズムを示す．次に第13章では，いくつかの実際的な問題，特に前処理と次元の低減について述べる．ICAを現実問題に適用するときの実務家に対するヒントも含まれる．第14章は第Ⅱ部のまとめとして，ICAの各種の方法を概括し比較する．
●第Ⅲ部では，基本ICAモデルのいろいろな拡張について述べる．これらの拡張の大部分は最近提案されたもので，多くの未解決問題が残っているので，第Ⅲ部はその性格上，第Ⅱ部より不確定要素を多く含んでいる．ICAの入門の授業ならば，いくつか章を選んで用いればよい．まず第15章では，ICAにおいて観測可能な雑音を導入する問題を扱う．第16章では，観測される混合信号よりも多くの独立成分がある場合について述べる．第17章ではモデルは一挙に一般化され，混合過程が広く一般的に非線形である場合を扱う．第18章は，ICAモデルと似た線形モデルを推定する問題であるが，仮定がかなり異なっている．ここでは，各成分の非ガウス性は仮定せず，その代わり何らかの時間依存性を仮定する．第19章は，混合過程が畳み込みを含んでいる場合である．第20章はその他の拡張，特に各成分が厳密に独立性を満足していない場合を扱う．
●第Ⅳ部ではICAのいくつかの応用例を扱う．特徴抽出は（第21章）画像処理と視覚研究のどちらにも関係している．脳イメージング（第22章）では，ヒトの脳活動の電気的および磁気的計測によるものについてのみ扱う．通信技術における応用は第23章で扱う．第24章では計量経済学や音声信号処理や，他の多くの応用の可能性について述べる．

　全体を通じて，入門的な授業の場合には飛ばしてもよい節に星印をつけた．
　本書で紹介したいくつかのアルゴリズムは，著者らの，あるいは他の研究者のホームページで，ウェブ上のソフトウェアとして公開され自由に使える．そこには現実のデータのデータベースも載せてあるので，各方法を試すこともできる．本書のためにとくにホームページを作成した．そこには必要なリンクも示されている．アドレスは，
　　www.cis.hut.fi/projects/ica/book
　である．詳しくはこのページを参照されたい．
　本書は3人の著者の共同作業によるものである．A.hyvarinenは5,7,8,9,10,11,13,14,15,16,18,20,21,22の各章を，J.Karhunenが2,4,17,19,23,章を，E.Ojaは3,6,12章を担当した．第1章と第24章は共同執筆した．

◆正誤表◆

⇒ 正誤表（1版1刷）ダウンロード