2008年1月16日 第14回
連想記憶のところに興味が湧きました．
すごく計算が大変ですが．
また，
固定点が出てきました．
大学では関係ないと思っていた分野が意外とからんできますね．
興味がわいたと有れば，僕としては成功です．
今日は始めてだったので，大変と思ったかもしれませんが，
慣れてくれば，簡単だと思うでしょう．
固定点が出てきたのは，ここでは自然で，
というのも今日紹介したニューラルネットワークは，
まさに非線形な力学系だからです．
コンピュータにノイズの混ざった画像からパターンを認識させるのは大変なので， パターン認識において連想記憶はとても優れていると思った．
そうですね．確かに使えるかもしれません．
ただ，問題点は、記憶させることができるパターン数が
無限には出来ないということですね．
画像解析で連想記憶についてやったが， コンピュータは人間と違いなかなか連想してくれなかった．
そこが人間の凄いところ．
コンピュータで何でもできるなんてことを思っている人が
多いけど，いや，やはり人間は深いのです．
その人間のパターン認識能力や高度な情報処理を担っているのが脳なので，
だから，脳のことを対象にするのは，
とても面白いのです．
我々が字が読みにくいと感じるときは， 記憶している文字のパターンと目で見た文字の差が大きい (ノイズが大きい)と判断しているからでしょうか?
そうかも知れません．必ずしもノイズとは限らないと思いますが，
例えば，元のパターンが曲がっているなども有るかもしれませんよね．
この講義を受けているといつも思わされますが， 人間の頭は知らない内に連想記憶のような複雑な計算ができてるくせに， それを意識の上でするとこんなにも難しいとは…．
とても面白い，素晴らしい意見ですね．
脳を使って，脳のことを考える．
自己言及系．素晴らしい…
今日はいつもより計算式のところを濃くやったような気がします．
個人的には相互想起のところが興味深かったです．
最近私は「C」を見ると，
「カオス」しか想起しません．
「濃い」というのは，まぁ，濃いのかもしれませんが，
この程度はまだまだ薄いように思います．
『「C」を見ると「カオス」しか想起し』ないというのは，
単なるヨイショか，ヘビーな病気ですな．
連想記憶というものがたくさんの数式で表せるのがすごいと思いました．
沢山ということはないと思いますが…
今日は数式メインですごく疲れた．
連想記憶らへんの話はおもしろかったです．
もう三年生なのですから「数式メインで疲れた」等と言わないように．
数式がなければ伝わらないことだらけですよ．
今回は様々な事を学べてとてもよかった．
よりエネルギー関数に興味がでた．
本当に?
エネルギー関数の式の演習部分で式の変形に集中しすぎて この式がどんな意味を持つのかがよく分からなくなってしまいました．
これについては，次回も引き続き説明します．
もう一度自分でも考えてみてください．
エネルギー関数とその手前あたりが早くて理解が少しおいつかなかったので， 展開計算のあたりをもう1度やってみようと思う．
確かに最後の方は時間が迫ってきたので，少し急ぎました．
来週再度詳しく説明します．
計算も自分でもう一度やってください．
エネルギーが急に出てきてよく分かりませんでした．
エネルギーという名前がわかり難ければ，
(今日の講義ではいいませんでしたが)リアプノフ関数でも良いです.
連想記憶のところは何がなんだかサッパリわからなかった． エネルギー関数のΔEの計算はできたので， 続きが気になります．
前の方に来て下さい．
フィードバック型の図説がよく分かりませんでした．
左右の図で何が違うのでしょうか．
講義中にも説明しましたが，同じです．
やはりスライドで数式を使うにはtexなんですね．
僕は嫌いですが，
やっぱり見やすさは一番だと思います．
TeXが嫌いと言っているようではダメですね．
「見やすさは一番」というのはOKです．
エネルギー関数の第二式がよく分かりませせんでした．
あと，
第二式でwkjやwikなど表記に決まりはあるのですか?
第二式というのは，二行目ですか？第二項目ですか？
表記については，決まりは有りません．
スライド28のsgn(Σmβ=1 sβ) δαβ
の変形が分かりません．
Σを開いた結果の
sδα1+s2δα2+…+smδαm
はsαとなるのですか?
はい，sαになります．
講義中にも言いましたが，
δはクロネッカーのδです．
連想記憶の話を聞いて，
他の科目のパターンマッチングを思い出しました．
後半の関数の説明がけっこう速かったので，
ついていくのに必死でした．
口頭試問に向けてがんばらねば，
と思います．
後半の説明は，次回再度やります．
自分でも考えてきてください．
相互結合型NNと連想型の所で，
ホワイトボードにかかれていた所が暗くて見えなかった．
p28のsgn(Σmβ=1 sβ) δαβ
→sαの変化が良く分からなかった．
見えないのであれば，前に来てください．
エネルギー関数とは何なのかよくわかりませんでした．
運動エネルギー等と関係あるのでしょうか?
運動エネルギーじゃないですね．
ポテンシャルと言った方が良いかも知れません．
今回は複雑な数式が多く難しかった．
口頭試問ではあまりやりたくないと思った．
了解．バッチリ難しいものを用意しておきます．
Pdfからこの資料ができるとはMacはすごいと思った．
PDFから作るというか…，
詳しく知りたければ直接聞いて下さい．
展開して解くときにΣiだけ展開して計算したら間違えてしまった．
i=kのときも考慮しないとだめだった．
落ち着いてやれば大丈夫と思います．
僕はスライドの間違いに全く気づかなかったので， 集中力が足りないと感じた(集中していれば分かったかどうかは別として)．
普段から間違いがあると思って見てくれると良いかもしれません．
実は間違いだらけだったりして…
フィードバク型は完全グラフのようでおもしろいと思いました．
その通りだと思います．
Feed forward型の説明のときに， エアコンの話が出ていましたが， 実家のトイレも人が利用しない時間を学習して節電していたので， 同じようなことなのでしょうか?
うーん，そうかも知れません．
でも見てみないとわからないですね．
今日の講義ではフィーフォワードやフィードバックといった新しいことを学んだので， もう一度しっかり復習したい．
そうしてください．
勿論，今日に限らずにですが．
相互結合型NNと連想記憶の式が分かりにくかったです．
W=(1/n) Σmβ=1 sβ・(sβ)T
の式の意味が分かりません．
分からない場合は授業中に質問してください．
次回再度説明しますが，
Wの式の計算方法はわかりますか？
エネルギー関数の所のΔEの計算は分かったのですが，
その前の「相互結合型NNと連想記憶」の部分の式の意味が
ちんぷんかんプンでした．
帰ったら復習します…．
どの式でしょうか？
遅くまで講義資料を作成して頂いてありがとうございます．
エネルギー関数がどうして減少するのか次週までに考えてみます．
いえいえ，皆さんのためと思えば，これくらい…
どうして減少するのかは，今日のところでほぼ答が出ているので
すぐに分かるでしょう．
今日のエネルギー関数の式変化は理解できた．
式に出てくるwkkxkxkが一つしかないのでは?と
最初思っていたが，
後からwkk(xk+Δxk)(xk+Δxk)と
変形していくから2つ出るのだとわかって，
かなりすっきりできた．
確かに二つは出て来るのでしょうが，
でも，自己結合はそもそも無しなので，
効いてこないと思われます．
フィードフォワード型で中間層がないという場合もありえるのでしょうか?
はい，あります．
エネルギー関数がΣがついたままだと分かりにくかったのですが，
言われた通り，
展開してみるとわかりやすくなりました．
重要なのは，わからないときは基本にもどるということ，
つまり，この場合は具体的に書き下してみるということですね．
具体的にどのような動作をするとエネルギーの状態が変化するんですか?
今日もお話したように，
どのような動作をしてもエネルギーの値は変わります．
今日のニューラルネットのアーキテクチャは前期にパターン情報処理と近いものがありました．
パターンではあまり数学的にやらなかったのでしっかりとやりたい．
とても重要なコメントですね．
数学大事ですから．
Mac Worldについての言及が一切なかったのが少し残念です．
それじゃ次回に．
エネルギー関数でどうして式の変形ができるのかわかりませんでしたが，
展開してkを含むところに注目するとΣの式ができることがわかりました．
そしてΣiθixiがkのときだけ残るということで納得しました．
ちゃんと理解してくれたようでとても良いと思います．
最後の演習が微妙に理解できていないのでもう一回考えてみたいと思います．
あと，
何故か今日は口頭でのメモがとりやすかった気がしました．
メモが取りやすくなったというのは，
僕があの時注意してから，メモを出来るだけ取るように練習仕手きたから
だと思います．とても素晴らしいですね．
自分で実際に計算した方が式展開の内容を理解しやすかった．
その通りだと思います．
後ろの方で，ぼけっとしている人たちに比べたらとても良いです．
昨日総合演習をやりすぎて寝てしまいました…．
このまま全部なしくずし的に落としてしまいそうです．
やっぱりコツコツやっておかないとダメですね．
そりゃそうですよ．まぁ，気合いをいれ直してください．
前から思っていたのですけれど
ここ何回か勝部先生の「ソフトコンピューティング」と内容が重なっている気がします．
講義の仕組みは違いますし，
どちらも独自の内容も扱っているのですがたまに両方の単位が卒業に使えるのか心配になります．
勿論両方とも卒業の単位にはなるはずですが…
すこしだけ重なっているだけでしょ？
ホップフィールドNNで減少したエネルギーはどこにつながるのでしょうか?
「どこにつながる」というのは，どこに行くかということでしょうか？
演習はどうにかわかりました．
結局十字の部分だけ生き残って，
自己結合0により二重部が0になるわけですね．
とか書いてたら解説されましたが．
最終的にwij=wjiを使って
Δxk(θk-Σi≠k wikxi)?
今日の論議はソフトコンピューティングであまり詳しくやらなかった総合結合型がメインで面白かったです．
(Back Propagationは演習レポートを提出したので)
その通りです．
勝部先生や前川先生の授業でやったはずですが， 大分わすれていました．
上のコメントをみると必ずしも々ではないので，
忘れたかどうかは分からないですね．