2008年01月21日 第14回

  1. ニューラルネットワークの考えからコンピュータを作っていけば、
    今のよく普及しているようなコンピュータでとけないような問題も
    とけるようになるのでしょうか?

    脳での計算原理と,「今のよく普及しているようなコンピュータ」とでは,
    計算原理は違うので,可能性はもちろんあります.ぜひ挑戦して下さい.
    皆さんの若い力が必要です.

  2. 総合演習ではTSP問題を構築法を使って解くと、最適解ではなく、
    局所解が求まってしまいましたが、HNNは最適解を求めることができるのですか?

    「構築法」じゃなくて「改善法」では?
    また,今日の講義でも少し触れましたが,
    HNNでは最適解を求めることができません.
    詳しくは次回話します.

  3. とは0から1の間の値も含むのでしょうか?
    「発火」か「発火じゃない」かの2パターンだけではないのですか?

    今は,二値のニューラルネットを考えているので,
    発火か発火じゃないか(静止)の二パターンです.
    Δx_{ij}は,これらの二値の状態値の変化を表しますが,
    0 or 1 になります.

  4. 今さらですが、今日あらためて文字を書きながら話を聞くことの難しさ
    を思い知りました。今日は穴うめだけで授業が終わってしまった感じです。

    普段、楽をしているから?でしょうか.

  5. 先生もノーベル賞を目標に研究してたりするんですか?
    そうだとしたらノーベル何賞なんですかね?

    ノーベル賞を目標ということは無いでしょうが,
    僕に限らず,皆さん,新しいこと,すばらしいことを発見しようと
    日々研究していると思います.

    物理じゃないですかね.工学が無いからね.

  6. 今回講義中に寝てしまいました。この講義は授業中寝た事なかったので自分に残念でした。
    徹夜でテスト勉強するものではなかったです。

    「徹夜でテスト勉強」するのは悪くないと思います.
    その勢いでハイな状態のママ,講義を受けてくれたら良いのでは?

  7. オバマ氏の演説についてニュースを見ていると専門家が分析して
    いますよね。(歴代の偉人の言葉を使ったり聖書から引用したりetc)
    演説が達者といえば、ヒトラーも有名ですよね。
    将来プレゼンをする機会も多々あることと思うので、彼の演説法を
    調べて何か参考になることがあれば、したいですね。

    プレゼンテーションは,どこでもやることがありますので,
    ぜひ勉強して下さい.まずは見てみることが重要ですね.

  8. ネットワークの更新方法を同期にすると、 エネルギーの定義はまったくかわってしまうのでしょうか?非同期の方がやりやすいだけですか?
    同期にしたときには特別なことができるというのもないのですか?

    非同期だとエネルギーが常に減少することを言えるからですね.
    ただ,同期更新の場合でも,漸近的には局所的な値に収束することが
    示せると思います.
    同期更新と非同期更新については,まだいろいろと調べることがあるので,
    是非挑戦して下さい.

  9. エネルギー関数の変化分 の式変形はなるほどと思いました。
    を2回カウントしているからどうするのだろうと思いましたが、自己結合
    なしだから0というのを見て、納得しました。

    納得してくれたようで良かったと思います.

  10. 仮定で対称性・自己結合なし、という制限を付ければ、式変形がキレイになり、喜しい。と
    言っていましたが、そうならば、仮定がなくても式変形が難しいだけで、同じ結論に
    行き着くのでしょうか?

    「式変形がキレイにな」るのではなくて,式変形できて,
    その結果,エネルギーが常に減少するということが示せるのです.

  11. のとき ( )
    のとき ( ) となる理由が分からなかった。

    一番最初にこのような更新方法とする,と約束しました.
    スライドを見直して下さい.

  12. のエネルギー関数は下に凸な部分が1つの関数だから最適解が求められる
    ということだろうか。下に凸の部分が2つあったりすると、最適解が出ない
    場合があると思うので。

    とても良いコメント,質問ですが,
    講義では最適解を求めることができるとは言っていません.
    次回触れますが,局所最適解に陥ります.

  13. HNNでは、TSPに対する目的関数が、
    必ず減少するとのことですが、最終的には
    最適解まで収束するのでしょうか?

    必ずするとういことは保証できません.
    初期値に依存します.

  14. エネルギー関数により、得られた解が、
    最適でなくともそこで満足してしまうという点が、
    人間に少し似ていると感じた。

    「エネルギー関数により、得られた解」に限らず,
    そこそこの解でOKとするのはよくあることですね.

  15. 物理と組み合わせるという発想は、
    両方を知っていなかれば出来ないので、
    このような発想をするには、
    幅広い知識を持っていることが、不可欠である。
    と感じました。

    その通りです.だから,コンピュータばっかりやっていてもダメなのです.

  16. HNNの細かい動作原理はよくわかりませんでしたが、自動で目的関数が減少するように
    動作するのはすごいと思いました。ただ、都市問題を解くのにもニューロンが必要なのは多いと思います。

    その通りですね.良いコメントですが,この欠点については次回話す予定でした.
    素晴らしいね.

  17. ニューラルネットワークのエネルギーというものを設定して、 それの性質を用いてTSPを解くというのは
    わかりましたが、式はよくわからなかったです。
    都市数10くらいのものにしか適用できないらしいというのは結果論で、
    やっぱり基礎(既存のもの)も発想も重要だと思いました。

    式変形は詳しく説明していませんが,どのように求めるかという方法は 話したので,
    自分でももう一度考えてみて下さい.

  18. TSPの問題がニューラルネットワークで解けるというのは前々から講義で
    言っていたので、少し期待していたのですが、都市数が多いと良くないと
    いうのを聞いてがっがりした。でも発想は素晴らしいと思いました。

    まぁ,そんなにがっかりせずに.
    実はTSPだから,という部分もあります.
    TSPは分かり易いので,数多くの人たちが挑戦しているのですよ.
    ものすごく大きなサイズの問題を解けるようにもなっていて,
    従って,それらの手法には太刀打ちできない,ということです.
    二時割当問題のような,より難しい問題なら,まだ,
    解けているサイズが小さいのでいけるかもしれません.

  19. エネルギー関数は「マイナスの項」がありますがエネルギーが「マイナス」となることもあるのですが?

    エネルギーといっても,位置エネルギーの場合は、どこ基準にとるかで
    マイナスもありますよね,
    ただ,マイナスの符号がついているからと言って,その項がかならずマイナスに
    なるとは限らないので,注意しましょう.

  20. どこかでエネルギーは少ない方が安定するときいたことがあるのですが
    そのことと今回のニューラルネットワークはエネルギーが減少するように動作することに関連はあるのですか?

    はい、関係あります.

  21. HNNを使ってTSPを解くと、局所解に陥ってしまうと思います。
    それはE関数が必ず減少するように定義されているからです。ここで、
    E関数を確率的に変化、つまり、時には増加させるようにして、最
    適解に近づくにつれてその変化のブレを小さくするようにすれば
    改善されると思います。

    すばらしい!!その通りです.
    次回これについて話します.

  22. 今日の内容は全体的にややこしかったですが、
    パラメータをうまいこと決めてやれば
    ニューラルネットワークは必ずエネルギーが減少するように
    動くって事が今日の話のミソですね。

    その通りですが,ちょっと評論家っぽ過ぎるので,このコメントは減点やな.

  23. ニューラルネットワークを使ってTSPを解くというのは斬新だと思いました。
    それと、総合演習の時間にも気になったのですが、都市数が大きい場合
    のTSPで、ある方法によって求められた巡回路長が最小であるかどうか
    はどのようにして保障されるのですか?

    とても良い質問です.最適性の保証に付いては,次回,簡単ですが紹介することにしましょう.

  24. エネルギーの減少をTSPに応用するのはおもしろい発想だと思いました。
    ある一つの分野だけで新しい研究を考えるのは難しそうですが、似たよう
    な分野からうまくアイデアを持ってくればおもしろい研究になるのですね。

    そうですよ.そのような方法で新しい手法とすれば良いのです.

  25. ニューラルネットワークとTSPの問題は
    まったく関係ないと考えていたので
    HNNを利用してTSPを解くアイディアに
    はおどろいた。
    仕組みはあまり理解できていないので
    復習しておきたい。

    それではぜひ復習しておいて下さい.
    僕から質問しますので答えられるようになっておいてください.

  26. 総合演習でやったような、何かの法則について都市を追加していく方式でなく、
    NNのような1個のネットワークに入力を加えることで
    TSPの答えが得られるというのが面白いと思った。

    その通りですね.ただ欠点もあります.次回話します.

  27. エネルギー関数でニューロンの状態変化が止まるのが分かる、というがすごいと思いました。

    局所最適解ですが,そこには収束します.

  28. HNNが常にエネルギー関数が減少することを使ってTSPに応用されるということに
    つながって、他の分野の研究が違う分野の研究につながるというのが
    すごいなと思いました。

    確かに異分野をもってくるのは面白いと思います.
    ぜひ卒論でも挑戦して下さい.

  29. の正負に関わらずEが減少することの説明は
    とてもわかりやすかったです。
    TSPを解くのにNNを使おうと思う発想をした
    Hopfieldという人はすごいと思います。

    確かに,アイディアを考えるのはすごいですね.
    卒論でもぜひ挑戦して下さい.

  30. ニューロンの状態が変化するとき、変化量は常に負になる、という現象は
    神経細胞の老化の話かと思ったんですけども全然違う話でしょうか?

    この話は,これと直接は関係はしないと思います.

  31. つい先々週くらいまで、ガリガリやっていたTSP問題
    が、こんなに違うとこででてきて、なんだか嬉しくなりました。
    でも、やっぱり2-optとかには勝てないんですかね?
    来週が楽しみです。

    次回話しますが,2-opt にも勝てないです.

  32. 巡回セールスマン問題を3次元で考えたらあまり意味な
    いけど難しくなっておもしろそうだなと思いました。

    いや,面白いですよ.ナイスなアイディアです.

  33. HNNをTSPに応用するあたりがいまいちよくわからなかったです。
    エネルギーが減少する=目的関数が減るの
    イメージがあまりわかないです。

    ちゃんと集中して聞いて田舎らだと思います.

  34. P37ののAとBの意味がよくわかりませんでした。
    P36での配列での表現はムダが多いと思いました。
    全体的に、数式が理解できませんでした。

    A,Bは定数です.E1とE2のどちらを重視するかという重みと考えてくれても良いです.

  35. エネルギーが減少するとなぜ、TSPを解くことができるのか
    わからなかった

    直接説明するので,質問しに来て下さい.

  36. 38ページの は何ですか?

    都市iと都市jの間の距離です.

  37. 17(b) 〜が状態更新に依存せず〜
    ニューロンの状態が変化しただけじゃ状態更新じゃないんですか?

    どのような状態更新方法にも依存せず,ということです.

  38. が何をやっているのか見当がつきません。
    あるルールの元でエネルギーを求める関数を作ったら常に減少してくような関数Eが
    出来てその変化量が なのでしょうか

    わからないようであれば,講義終了後などに直接質問してください.
    その方が早いと思います.

  39. 実際の神経系ではエネルギーは何のためのものなのでしょうか?
    あと、今日の講義での「x」とは何の変数なのでしょうか?

    実際にはこのようなエネルギーという指標を使っているわけではないです.
    xはニューロンの出力です.