2022年11月14日 第10回
今日の講義では，形式ニューロンの拡張について学びました．
ニューラルネットワークの基本構造において，フィードバック型では資料p21に例がありますが，リカレントニューラルネットワークが左の図で，相互結合型ニューラルネットワークが右の図ということで正しいのでしょうか．
また，MPモデルにおいて連続時間モデルの定義と各変数の物理量がどのようなものかわからないので教えていただきたいです．
次回説明します．
空間的加算と時間的加算，確率的モデルや自然発火について理解することができた．
ニューラルネットワークの分類において，同時に更新する同期更新と順番に更新する非同期更新のところがなるほどと思った．
計算式が多く，理解が完全には追いついていないので自宅でもよく復習しようと思った．
復習してわからなければ質問してください．
時間や空間を離散か連続かで表すなど様々なモデルでニューロンが考えられていることが分かった．
いろいろな分類があります．
今日の授業ではMPモデルの拡張からニューラルネットワークの基本的な部分について学んだ．
特に連続時間モデルがMPモデルや他の拡張モデルと異なる式の形をしていた上にfの関数形もよくわからなかったため，今一度説明して頂きたいです．
また，連続時間モデルは積分発火モデルと式の形が似ていると思うのですが，両者に関係性があるのかも気になりました．
一方，後半のニューラルネットのアーキテクチャーではフィードバック型が層内結合を持つという点についてはわかったのですが，どこがフィードバック構造となっているのかがよくわからなかったので説明して頂きたいです．
わからなければ質問に来てください．
形式ニューロンモデルを確率的に拡張したモデルについて，パラメタとなるTが温度と関連していること(手法としては焼きなまし法と関連していること)がわかったが，これがニューロンモデルの拡張としての提案が先であったのか，それとも組み合わせ最適化問題の解法としての提案が先であったのかが気になった．
まずはシミュレーテッドアニーリングがあってということで良いでしょう．
前回までに習ったニューラルネットワークの空間的加算を考慮したモデルで全てを考えることが出来ていると思っていたので，当たり前に流れているが故に意識していなかった「時間」を加えるという時空間的加算モデルには驚かされた．
重要な「拡張」であるとおもいます．
形式ニューロンから拡張された時間，空間，出力，法則によって分類されるニューラルネットワークが，ニューロンの特徴によってどのような数式モデルで表現されるかを理解できたと思います．
よろしいと思います．
確率的モデルにおいて, 組み合わせ最適化に使うsimulated annealingを紹介されていましたが, これはTSPのときに使った焼きなまし方のことだと思いました. >また, 直近の情報量と過去の情報量の重みが変わるものの話はとても合理的で面白かったです.>
その通りです．焼きなまし法です．
時間的加算の説明がわかりやすかったです．
確率的モデルについて，Tの値を調整することで決定的に変換できることがわかりました．
よろしいと思います．
さまざまなニューラルネットワークの分類を学ぶことができました．
シグモイド関数のときの微分が自分はできなかったので微分積分の復習をしたいなと思いました…．
情けない限りです．
練習したら大丈夫でしょう．