Deep learning and Physics 2020


Project maintained by cometscome Hosted on GitHub Pages — Theme by mattgraham

「ディープラーニングと物理学2020 オンライン」とはオンラインWeb会議システムを利用したセミナーです。

登録する際のメールアドレスは、できるだけ大学もしくは研究機関のものをご使用ください。

世話人: 橋本幸士(大阪大)、富谷昭夫(理研BNL)、永井佑紀(原子力機構)、田中章詞(理研iTHEMS)(順不同)

本セミナーシリーズは、科学研究費補助金新学術領域研究「次世代物質探索のための離散幾何学」の補助を受けております。

第12回

日時: 10月1日10:30-11:30(JST)
発表者: 樺島祥介(東大理/知の物理学研究センター)
発表題目:TBA

第11回

日時: 9月17日10:30-11:30(JST)
発表者: 藤井啓祐(阪大基礎工)
発表題目:TBA

第10回

日時: 9月3日10:30-11:30(JST)
発表者: 斎藤弘樹(電気通信大学基盤理工学専攻)
発表題目:TBA

第9回

日時: 8月20日10:30-11:30(JST)
発表者: 林祐輔 (Japan Digital Design, Inc. ただし講演は個人としての活動)
発表題目:TBA

第8回

日時: 8月6日10:30-11:30(JST)
発表者: 野村悠祐(理研CEMS)
発表題目: ボルツマンマシンを用いた量子多体波動関数表現:深層ボルツマンマシンによる厳密な表現と制限ボルツマンマシンによる数値的近似表現
講演スライド
概要: 指数関数的に大きな次元を持つ量子多体系の波動関数を有限個のパラメータで精度よく表すことは、物性物理のみならず素粒子、原子核、量子化学などに共通するグランドチャレンジである。本講演では機械学習で用いられるボルツマンマシンが量子多体波動関数表現に有用であることを紹介する。まず隠れ層が二層ある深層ボルツマンマシン(DBM)を用いて基底状態の波動関数を任意の精度で解析的に表現することが可能であることを示す[1]。これは経路積分を包含するより一般的な量子古典対応のフレームワークを提供するが、物理量計算に隠れ層自由度をモンテカルロサンプリングする必要性があるため負符号問題が生じる場合がある[1]。一方で、隠れ層が一層に制限された制限ボルツマンマシン(RBM)では、DBMのように解析的な表現はできないものの、数値的にパラメータを最適化することで、量子多体波動関数の表現が可能になる。RBMの良いところは解析的に隠れ層自由度をトレースアウトできるところであり、量子系の数値計算を行う上では負符号問題を回避できる点でDBMより利点がある場合がある。RBMを用いた手法は、フェルミオン系、フェルミオン-ボソン結合系、フラストレーションのあるスピン系な度への適用が進んでおり、それら一連の研究について紹介する[2-4]。
[1] G. Carleo, Y. Nomura, and M. Imada, Nat. Commun. 9, 5322 (2018)
[2] Y. Nomura, A. S. Darmawan, Y. Yamaji, and M. Imada, Phys. Rev. B 96, 205152 (2017)
[3] Y. Nomura, J. Phys. Soc. Jpn. 89, 054706 (2020)
[4] Y. Nomura and M. Imada, arXiv:2005.14142

第7回

日時: 7月30日10:30-11:30(JST)
発表者: 本武陽一 (統計数理研究所)
講演スライド
発表題目: 物理学者と学習機械の効果的な協業に向けて:学習済み深層ニューラルネットワークからの解釈可能な物理法則抽出
概要: 本講演では、力学系時系列データを学習した深層ニューラルネットワーク(DNN)から、解釈可能な物理則を抽出する手法を提案する[1]。 物理学は科学者の物理的洞察力によって大きく発展してきたが、アクティブマタや磁性体の磁区構造といった複雑な秩序構造を持つ系で洞察力を働かせることは時に困難である。これに対して、深層学習を始めとした複雑な高次元データをモデル化できる機械学習を用いた物理モデル構築手法の開発が近年活発に研究されている[1]。我々は、複雑なデータの内挿的モデル構築を得意とする機械学習と、物理的洞察によって大胆な理論の外挿を実現できる科学者の協業を実現することが重要と考え、これに繋がり得る手法を開発した。具体的には、物理データを学習したDNNから解釈可能な物理情報を抽出し科学者に提供することを目標として、有限自由度古典ハミルトン力学系とみなせる時系列データを学習したDNNから、系の隠れた保存則を推論する新しい手法を開発した。手法は、Noetherの定理と効果的なサンプリング法を元にDNNから力学系の対称性を抽出することで保存則を推論する。手法でDNNに課される前提は、学習に成功したDNNで広く成り立つと考えられている多様体仮説[3,4]のみであるため、手法は広範なDNNモデルに適用可能と考えられる。講演では、安定状態にある生物の集団運動を模擬した時系列データに提案手法を適用した事例等を紹介する。

[1] Interpretable Conservation Law Estimation by Deriving the Symmetries of Dynamics from Trained Deep Neural Networks, Y. Mototake, arXiv:2001.00111.
[2] Hamiltonian neural networks, G. Samuel, M. Dzamba, and J. Yosinski, NeurIPS 2019 (arXiv:1906.01563).
[3] Representation Learning: A Review and New Perspectives, Y. Bengio, C. Aaron, and V. Pascal, IEEE Trans. Pattern Anal. Mach. Intell., 35.8 (2013): 1798-1828.
[4] Efficient representation of low-dimensional manifolds using deep networks, R. Basri and D.W., Jacobs, ICLR 2017 (arXiv:1602.04723).

第6回

日時: 7月9日10:30-11:30(JST)
発表者: 吉岡信行 (理研)
発表題目: ニューラルネットワークで探る量子多体系の表現
講演スライド
従来より高い表現能力を持つことが知られていたニューラルネットワークは、近年の計算資源の向上・最適化手法の発達により、多くの機械学習タスクにおいて成功を収めている。 さらに、画像・音声などといった古典データに限らず、量子多体系の基底状態・励起状態などの表現に対しても有効であることが示された [1]。 次元性に依拠しない変分関数の構造は、量子多体系の大規模計算において用いられてきたテンソルネットワークと相補的に活用されることで、 多体現象の研究のフロンティアを押し拡げる役割を担うことが期待されている。 本講演では、ボルツマンマシンと呼ばれる種類のニューラルネットワークを導入し、その性質・応用について概観したのち、 講演者らによって見出された、開放量子多体系への適用可能性について議論する [2, 3]。

[1] G. Carleo and M. Troyer, Science 355, 602 (2017).
[2] N. Yoshioka and R. Hamazaki, Phys. Rev. B 99, 214306 (2019).
[3] N. Yoshioka et al., in preparation.

第5回

日時: 6月25日10:30-11:30(JST)
発表者: 福嶋健二 (東京大学)
発表題目: 物理学における観測と機械学習:中性子星の事例
講演スライド
概要: 学習、特に教師あり学習や強化学習とは、一言で表せば、最適化問題を解くということである。物理学は古来、最適化問題の効率向上に心血を注いできた学問であり、機械学習との親和性は高い。物理学における実験データの回帰分析に機械学習を応用するのは自然な発想だろう。例えば高エネルギー物理学ではジェットの識別に機械学習がその威力を発揮していることはよく知られている。しかし物理学の多くの回帰分析では、誤差のついたデータから誤差をつけたデータを引き出す必要があり、学習モデルはインプットが真値からずれている、ということも適切に学習せねばならない。本講演では中性子星の観測データから状態方程式を構築する問題を具体的な事例として採り上げ[1,2]、ひとつのアプローチ法を提案する。最後に、観測誤差を取り入れた学習が、ニューラルネットワークの重みの初期値依存性問題と密接に関係していることを議論する。
[1] Y. Fujimoto, K. Fukushima, K. Murase, Phys.Rev.D 98 (2018) 2, 023019
[2] Y. Fujimoto, K. Fukushima, K. Murase, Phys.Rev.D 101 (2020) 5, 054016

第4回

日時: 2020年6月18日10:30-11:30(JST)
発表者: 唐木田 亮 (産総研)
発表題目: 深層学習の数理: 統計力学的アプローチ

登録フォーム

講演スライド

概要: 本講演では, 深層学習の数理的な理解を目的とした近年の統計力学的解析を紹介する. 具体的には, 深層学習の平均場理論, ランダム行列理論, さらにNeural Tangent Kernel (NTK)理論をとおして学習ダイナミクスの理解へとつながる一連の流れを解説する. 深層学習では, 性能の理論的な保証や, 最適なモデルや学習手法の設定に多くの課題があり, 数理的な研究が日進月歩で進んでいる. その中で統計力学的なアプローチは, 深層学習におけるパラメータ初期値がランダム行列であること, モデルの大自由度極限(ニューラルネットワーク各層の”幅”が十分に大きいこと)に着目した枠組みで, 様々なモデルアーキテクチャに普遍的に適応できる点に特徴がある. 平均場理論は, 勾配の大きさを巨視的変数として定式化することで, 訓練が進みやすいモデルとパラメータの設定を相転移によって定量的に説明する[1]. NTK理論は, 初期値まわりの摂動の範囲で学習が進む設定があることを発見し, 学習の大域収束と汎化性能に一定の理解を与える[2]. 本講演ではこのような統計力学的アプローチを, 歴史的な背景も含めつつ簡単に概観したい. また, このアプローチを使うことで, 再急降下法のハイパーパラメータ(学習率)の設定指針[3]やBatch NormalizationとLayer Normalizationの効果の違い[4]のようなアルゴリズムの問題に対して, 定量的な説明を与えられることも紹介する.

[1] Deep information propagation. Samuel S Schoenholz, Justin Gilmer, Surya Ganguli and Jascha Sohl-Dickstein, ICLR 2017 (arXiv:1611.01232).
[2] Neural tangent kernel: Convergence and generalization in neural networks. Arthur Jacot, Franck Gabriel and Clément Hongler, NeurIPS 2018 (arXiv:1806.07572).
[3] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach. RK, Shotaro Akaho and Shun-ichi Amari, AISTATS 2019 (arXiv:1806.01316).
[4] The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks. RK, Shotaro Akaho and Shun-ichi Amari, NeurIPS 2019 (arXiv:1906.02926).

第3回 

第三回(6/11)は、ライトニングトークで構成されます。
日時: 2020年6月11日10:30-11:30(JST)
発表者:希望者

講演者: 野村悠祐 (理研CEMS)
講演題目: 深層ボルツマンマシンを用いた量子多体波動関数の厳密な構築
講演概要: 量子多体系の波動関数を深層ボルツマンマシンを用いて厳密に表現する方法を紹介する(Carleo, Nomura, Imada, Nature Communications 2018)。

講演スライド

講演者: 林祐輔 (Japan Digital Design, Inc. ただし講演は個人としての活動)
講演題目: 表現学習の確率熱力学的解釈
講演概要: 表現学習とは,画像,音声,自然言語,時系列データといった多様な生データから,目的のタスクを解くために意味のある特徴量を生成する方法を,統計モデル自身に考えさせるアプローチのことを指す.この発表では,表現学習と確率熱力学の間にアナロジーが成り立つことを紹介し,準静的過程に対応する熱力学的操作が転移学習のようなデータのドメインを跨ぐ学習において有用であることを説明する.

講演スライド

講演者: 北沢正清 (大阪大学)
講演題目: SU(3)非可換ゲージ理論のトポロジー分類への機械学習の適用
講演概要: 4次元畳み込みニューラルネットワークを用いて、SU(3)非可換ゲージ理論の多次元データを学習し、トポロジカル電荷を推定した。99%という高い正答率を得た成果などを報告する。

講演スライド

講演者: 大塚啓(KEK)
講演題目: 深層学習を用いた弦理論のランドスケープ
講演概要: 本講演では、背景磁場のあるCalabi-Yau 多様体上にコンパクト化されたヘテロ型弦理論に対して、深層学習の一種であるオートエンコーダーによる次元削減とクラスタリングを適用する。 特に、フェルミオンの世代数と余剰次元空間の曲率に強い相関があることを紹介する[1]。[1] H. Otsuka and K. Takemoto, JHEP 05 (2020), 047.

講演スライド

講演後には、参加者に「さらに詳しく聞きたい講演」についてのアンケートを実施し、そのアンケート結果をもとに、今後のオンラインセミナーの講演を決めていこうと考えています。

発表希望者用フォーム

参加希望者(発表なし)用フォーム

ライトニングトークの構成は以下の通りです:
 1)ご講演は3-10分間、その後の質疑応答は2分間、合計で5-15分間となります。
  (講演時間が終了すると座長から終了のお知らせがありますのでご協力お願いします)
 2)スライドはpdf (pptもしくはkeynote)数枚です。
   講演タイトルと所属、お名前、メールなどの連絡先を記載ください。
   見本として次のものをご参考に。
 3)講演+質疑時間の5分間が終了した後は、チャット機能で、参加者からの質問にお答えください。
 4)ご講演タイトル(仮)を、上記登録フォームで記入ください。
発表者希望者の締切は6/9の夜11時とします。
発表内容は、ご自身あるいは共同研究者のオリジナルな研究に限ります。

第2回

日時: 2020年5月28日10:30-11:30(JST)
発表者: 橋本幸士(大阪大学)
発表題目: 深層学習と時空

登録フォーム

講演スライド

概要: 本講演では、深層ニューラルネットワークを時空とみなせるかどうかについて、議論する。特に、量子重力理論として研究が進むホログラフィー原理そのものを深層学習とみなす手法について紹介する。 学習されたニューラルネットワークの解釈可能性は、機械学習を物理学に応用する際に最も重要な観点の一つである。ニューラルネットワークの構造を対称性などにより規定することで制約を加え解釈可能にすることは学習を効率的にすることにつながっている。一方で、深層ボルツマンマシンはそもそもスピン系が原子配列しているものの一般化と考えられることから、ニューラルネットワークそのものが時空として機能している例が存在している。このような中で、量子重力理論と機械学習の融合を目指す研究が生まれた。この20年間の量子重力理論の研究において、最も重要な位置を占めているのはホログラフィー原理[1]であり、そこでは、量子重力理論と等価な、重力を含まない(時空次元の低い)量子系が存在し、重力の時空はそこから創発する。このホログラフィー原理で創発する時空を、教師つき学習の深層ニューラルネットワークと同一視し、時空のメトリックを重みと考えることで、創発時空を量子系のデータから決定する手法[2][3][4]を本講演では紹介する。

[1] The Large N limit of superconformal field theories and supergravity Juan Martin Maldacena Published in: Int.J.Theor.Phys. 38 (1999) 1113-1133, Adv.Theor.Math.Phys. 2 (1998) 231-252 • e-Print: hep-th/9711200 [hep-th]
[2]Deep learning and the AdS/CFT correspondence Koji Hashimoto, Sotaro Sugishita, Akinori Tanaka, Akio Tomiya Published in: Phys.Rev.D 98 (2018) 4, 046019 • e-Print: 1802.08313 [hep-th]
[3] Deep Learning and Holographic QCD Koji Hashimoto, Sotaro Sugishita, Akinori Tanaka, Akio Tomiya Published in: Phys.Rev.D 98 (2018) 10, 106014 • e-Print: 1809.10536 [hep-th]
[4] Deep Learning and AdS/QCD Tetsuya Akutagawa, Koji Hashimoto, Takayuki Sumimoto e-Print: 2005.02636 [hep-th]

第1回

日時: 2020年5月14日10:30-11:30(JST)
発表者: 永井佑紀(原子力機構)
発表題目: 精度保証された機械学習分子動力学法:自己学習ハイブリッドモンテカルロ法

登録フォーム

講演スライド

概要: 本講演では、2008年に開発された機械学習分子動力学法について解説するとともに、学習精度に計算精度が依存しない機械学習シミュレーションである自己学習ハイブリッドモンテカルロ法について紹介する。
第一原理計算で得られたポテンシャルを再現するようなニューラルネットワーク(ANN)を構築して分子動力学を実行するのが機械学習分子動力学法である。ANNを構築する際の最適なトレーニングデータは、元々の第一原理分子動力学法で生成される原子配置とそのポテンシャルである。しかしながら、第一原理分子動力学法の計算負荷が高いために機械学習分子動力学法を用いるのであるから、元々の第一原理分子動力学法でデータを集めるのは本末転倒である。そのため、通常は、様々な原子配置とそのポテンシャルデータを大量に作成することで、目的の機械学習分子動力学法と同じようなポテンシャルを生成するANNを構築している。しかしながら、構築されたANNが元々の第一原理計算のポテンシャルを再現するという保証はない。さらに、4元素以上で構成されるような系の場合には、長時間の機械学習分子動力学法では計算が不安定になることがあり、機械学習分子動力学法の計算の精度や妥当性については常に慎重な議論が必要であった。
本講演では、自己学習モンテカルロ法のアイディア[1]を用いることで、得られた結果が統計的に厳密にオリジナルの第一原理計算分子動力学法の計算結果と等しい手法を開発したことを報告する[2]。 そして、その手法を用いて、4元素系でも精度よく計算ができることを示すため、フォノン誘起超伝導体YNi2B2Cのフォノン計算の結果を報告する。

[1] J. Liu, Y. Qi, Z. Y. Meng, and L. Fu, Phys. Rev. B 95, 041101(R) (2017).; J. Liu, H. Shen, Y. Qi, Z. Y. Meng, and L. Fu, Phys. Rev. B 95, 241104(R) (2017).; YN, H, Shen, Y. Qi, J. Liu, and L. Fu, Phys. Rev. B 96, 161102(R) (2017)
[2] YN, M. Okumura, K. Kobayashi and M. Shiga, arXiv:1909.02255

過去のワークショップ研究会

Deep Learning and physics2019
Deep Learning and physics2018
Deep Learning and physics