Deep learning and Physics 2020


Project maintained by cometscome Hosted on GitHub Pages — Theme by mattgraham

「ディープラーニングと物理学2020 オンライン」とはオンラインWeb会議システムを利用したセミナーです。

登録する際のメールアドレスは、できるだけ大学もしくは研究機関のものをご使用ください。

世話人: 橋本幸士(大阪大)、富谷昭夫(理研BNL)、永井佑紀(原子力機構)、田中章詞(理研iTHEMS)(順不同)

本セミナーシリーズは、科学研究費補助金新学術領域研究「次世代物質探索のための離散幾何学」の補助を受けております。

第?回

日時: 12月10日10:30-11:30(JST)
発表者: 本間希樹(国立天文台)
発表題目: TBA

第16回

日時: 11月26日10:30-12:00(JST)
入門講義「機械学習と物理」

第1部
発表者: 田中章詞 (RIKEN iTHEMS/AIP)
発表題目: 深層学習入門
概要:入門者向けにpythonの文法から深層学習フレームワークのミニマムな使い方の講義を行います。講義はgoogle colaboratoryを使って、実際にコードを触りながら行う予定です。

第2部
発表者: 富谷昭夫 (RIKEN BNL)
発表題目: ニューラルネットを使った2次元イジング模型の相検出
概要: 本講義では、tensorflow/kerasを用いてNature Physics掲載の論文の結果であるニューラルネットを使った2次元イジング模型の相転移の検出をおこないます。統計力学の初歩程度の知識を仮定します。

第15回

日時: 11月12日10:30-11:30(JST)
発表者: 森貴司(RIKEN CEMS)
発表題目: 深層学習の汎化の謎をめぐって
概要:現代的な深層学習の応用は,モデルに含まれるパラメータの数が訓練データのサンプル数よりも大きい,いわゆる過剰パラメータ領域 (overparameterized regime) でなされている.そのような領域で深刻な過剰適合 (overfitting) を示すことなく高い汎化性能が得られることは深層学習の大きな謎の一つである.この謎を理論的に解明しようとするときに重要だと思われる要素として,(i)モデルの特徴(ネットワークのタイプや深さ,広さなど),(ii)データの持つ構造(データの有効次元,局所性,対称性など),(iii)最適化アルゴリズムの特性(確率的勾配法などのダイナミクス)が挙げられる.

(i)として最も単純な全結合ニューラルネットを考えると,モデルを特徴づけるのは隠れ層の数(深さ)および各隠れ層のニューロン数(広さ)である.深さと広さのどちらかを増やすことによって過剰パラメータ領域に到達できるが,これまでの研究では主に広さを増やしていったときの影響が調べられてきた.特に広さ無限大の極限でNeural Tangent Kernel (NTK)の理論が得られ,大きな注目の的になっている.一方で,ネットワークを深くしていったときに汎化性能がどのように変化するかについては理論的に不明な点が多い.

私たちはネットワークの深さおよび広さが汎化にどのように影響するかを(ii)データの構造,特に分類ラベルの局所性の観点から調べた[1].その結果,ネットワークの深さが汎化に良い影響をもたらすかどうかは分類ラベルの局所性に依存することがわかった.さらに,ネットワークの広さを増やしていっても必ずしもNTKの結果に収束しないことを示唆する結果が得られた.本講演では深層学習の汎化の謎とその理論的解明に向けた最近の研究についてレビューし,上記の私たちの結果について説明する.時間がゆるせば(iii)の話題として,汎化性能を向上させるための確率的勾配法の改良についての私たちの最近の研究[2]についても簡単に紹介したい.

[1] Takashi Mori and Masahito Ueda, arXiv:2005.12488
[2] Takashi Mori and Masahito Ueda, arXiv:2009.13094

第14回

日時: 10月29日10:30-11:30(JST)
発表者: 野尻 美保子(高エネルギー加速器研究機構)
発表題目: ミンコフスキー汎関数を用いた機械学習の提案
概要:LHCなどで行われているコライダー実験では深層学習の利用がさかんです。この中で、強い相互作用(QCD) によって作られるジェット(ハドロン束)がどのようなプロセスから作られたかを深層学習で分類する問題は、新現象の探索に成果をあげています。深層学習を使ったジェット画像分類は、QCDとしてよい IRC(Infrared collinear) safe な指標だけを使ったジェット分類とくらべて、パフォーマンスが良いことがしられていました。
今回のトークでは、ジェットの画像をミンコフスキー汎関数で一旦「測度空間」にマップした量(MS=Minkowski Sequence ) をIRC safe な量に加えた深層学習が、CNN による分類を超える結果をだすことを複数のベンチマークで示します。典型的なジェットの画像診断は、1000程度のinput を使いますが、新しい方法では、100 程度の情報しか使わないため、高速で安定した解析が可能です。MS は、CNN のフィルタリングアウトプットとして表現することができるため、CNNの画像診断には含まれていると考えるのが自然です。CNN のアウトプットにMS を追加することで、CNN がMS 以外の情報に集中させることが可能です。
深層学習を利用すると物理解析のパフォーマンスが向上する場合には、通常の解析では取り入れられていない相関が含まれていると考えるべきでしょう。我々の研究の場合は、QCD の非摂動的な量をミンコフスキー汎関数を用いて少数の量で表すことで、摂動的な量と非摂動的な量との相関を安定的に利用できるようにしたと解釈することができます。この研究では深層学習のパフォーマンスに満足するのではなく、よりよい特徴空間を発見することが重要であるということをあらためて感じました。今後の イベント生成パッケージの向上、新物理の発見等への応用を検討していますが、宇宙などでの深層学習や、一般的な画像解析への応用についてもご意見をいただければと思っています。
[1] M.Nojiri et al., to appear.
[2] Neural Network-based Top Tagger with Two-Point Energy Correlations and Geometry of Soft Emissions. Amit Chakraborty, Sung Hak Lim, Mihoko M. Nojiri, Michihisa Takeuchi. JHEP 07 (2020) 111, JHEP 20 (2020) 111 (https://arxiv.org/abs/2003.11787)
[3] 物理の人にはこれもよいと思います。K. R. Mecke, in Statistical Physics and Spatial Statistics, edited by K. R. Mecke and D. Stoyan (Springer Berlin Heidelberg, Berlin, Heidelberg, 2000) pp. 111–184.

第13回

日時: 10月15日10:30-11:30(JST)
発表者: Kazuhiro Terao (SLAC スタンフォード国立加速器研究所)
講演スライド
(ご講演は英語) 発表題目: End-to-End, Machine Learning-based Data Reconstruction for Particle Imaging Neutrino Detectors
概要:With firm evidence of neutrino oscillation and measurements of mixing parameters, neutrino experiments are entering the high precision measurement era. The detector is becoming larger and denser to gain high statistics of measurements, and detector technologies evolve toward particle imaging, essentially a hi-resolution “camera”, in order to capture every single detail of particles produced in a neutrino interaction. The forefront of such detector technologies is a Liquid Argon Time Projection Chamber (LArTPC), which is capable of recording images of charged particle tracks with breathtaking resolution. Such detailed information will allow LArTPCs to perform accurate particle identification and calorimetry, making it the detector of choice for many current and future neutrino experiments. However, analyzing hi-resolution imaging data can be challenging, requiring the development of many algorithms to identify and assemble features of the events in order to reconstruct neutrino interactions. In the recent years, we have been investigating a new approach using deep neural networks (DNNs), a modern solution to a pattern recognition for image-like data in the field of Computer Vision. A modern DNN can be applied for various types of problems such as data reconstruction tasks including interaction vertex identification, pixel clustering, particle type and flow reconstruction. In this talk I will discuss the challenges of data reconstruction for imaging detectors, recent work and future plans for developing a full LArTPC data reconstruction chain using DNNs.

第12回

日時: 10月1日10:30-11:30(JST)
発表者: 樺島祥介(東大理/知の物理学研究センター)
講演スライド
発表題目:スパース線形回帰に対する半解析的ブートストラップ法
概要:データからのパラメータ推定では必ず統計的なゆらぎが生じる. 古典的な推測統計学では,母集団分布と推定量の分布を「解析的に」関係づける ことで,得られた推定量の確からしさを定量的に評価する.これにより,与えられた 信頼度の下での幅をもたせた推定(=区間推定)や一定の有意水準の下での仮説の妥当性評価 (=統計的検定)が可能になる.残念ながら,こうした解析的アプローチが可能なのは, 正規分布からサンプリングされたデータからの平均値の推定など,単純な 状況の場合に事実上限られる.母集団を表現する分布がわからない場合,あるいは, わかっていても推定量が多次元の場合や導出に複雑な手続きを要する場合には 推定量がしたがう分布を解析的に導くことは難しい. とはいえ,推定結果の不確実性を評価することはどのような場合であっても重要である. ブートストラップ法はこうした困難に対する有力な対処法である. この方法では,手元にあるデータが表す経験分布を母集団とみなす``plug-in principle’‘にしたがい, 経験分布からの復元抽出によって得られるデータに対する推定を何度も繰り返す こと(=リサンプリング)で推定量の分布を「数値的に」評価する. ブートストラップ法はほぼすべての統計的推定/機械学習の方法に適用できる一方で, リサンプリングに要する計算量がボトルネックになっている. 我々は,ランダム系の統計力学で発展した解析法であるレプリカ法と平均場近似を 組み合わせることで,スパース推定の代表的な方法であるleast absolute shrinkage and selection operator (LASSO)に対し,リサンプリングを行うことなく,推定量の分布を 評価する近似法を開発した[1,2].その内容について紹介する.
[1] T. Obuchi and Y. Kabashima, Semi-Analytic Resampling in Lasso, Journal of Machine Learning Research 20 (70), 1-33 (2019)
[2] T. Takahashi and Y. Kabashima, Semi-analytic approximate stability selection for correlated data in generalized linear models, arXiv:2003.08670; to appear in Journal of Statistical Mechanics: Theory and Experiment

第11回

日時: 9月17日10:30-11:30(JST)
発表者: 藤井啓祐(阪大基礎工)
発表題目:NISQ (Noisy Intermediate-Scale Quantum technology) マシンを用いた量子機械学習
講演スライド
講演概要: 近年、GoogleやIBMなどの巨大IT企業が量子コンピュータの開発競争を繰り広げている。昨年Googleは、50量子ビットを超えるサイズの量子コンピュータを実現し、特定のタスクにおいてスーパーコンピュータよりも圧倒的に速く計算ができることを実証した。しかしながら、素因数分解など高速性が証明されている複雑な量子アルゴリズムの実行には、量子コンピュータの規模がまだ小さくノイズレベルも高い。このような、ノイズを含む小・中規模の量子コンピュータは、NISQ(Noisy Intermediate-Scale Quantum technology)と呼ばれている。このNISQマシンを、機械学習、量子化学計算、最適化などに応用するための研究が現在盛んに進められている。本セミナーでは、このような量子コンピュータを取り囲む現状を紹介し、NISQマシンを機械学習へと応用する、量子機械学習について紹介する。特に、量子ダイナミクスを用いて時系列データ処理を行う、量子レザバー計算[1]や、量子回路をモデルとして教師あり学習を行う量子回路学習[2]、そして、量子状態に特徴量を埋め込み量子コンピュータを用いてカーネルを推定する量子カーネル推定法[3]について、我々の研究も交えてご紹介する。

[1] K. Fujii and K. Nakajima “Harnessing Disordered-Ensemble Quantum Dynamics for Machine Learning”, Phys. Rev. Applied 8, 24030 (2017).
[2] K. Mitarai, M. Negoro, M. Kitagawa, and K. Fujii, “Quantum Circuit Learning”, Phys. Rev. A 98, 032309 (2018).
[3] T. Kusumoto, K. Mitarai, K. Fujii, and M. Kitagawa, and M. Negoro, “Experimental quantum kernel machine learning with nuclear spins in a solid”, arXiv:1911.12021.

第10回

日時: 9月3日10:30-11:30(JST)
発表者: 斎藤弘樹(電気通信大学基盤理工学専攻)
発表題目:強化学習を用いたボース・アインシュタイン凝縮体の制御
講演スライド
講演概要: 強化学習とは、「エージェント」がある「環境」の中で行動し「報酬」を受け取るという過程を経ながら、最適な行動を選択できるように学習するという、機械 学習の一手法である。最も有名な応用例は、囲碁で人間を打ち負かしたAlphaGoだろう。そこでは Deep-Q learning と呼ばれる、強化学習に深層ニューラルネットワークを組み入れた手法が使われている。最近、Deep-Q learning を物理の問題に応用するという研究も盛んに行われている。本講演では、超低温原子気体のボース・アインシュタイン凝縮体(BEC)のダイナミクスの制御に Deep-Q learning を応用した例を紹介する[1]。外部ポテンシャルによってBECをかき回すと、量子渦が生成されることが知られているが、Deep-Q learning によって外部ポテンシャルの動きを学習させ、望みの状態の量子渦が生成できることを示す。
[1] H. Saito, J. Phys. Soc. Jpn. 89, 074006 (2020)

第9回

日時: 8月20日10:30-11:30(JST)
講演者: 林祐輔(Japan Digital Design, Inc. ただし講演は個人としての活動)
講演題目: 表現学習の熱力学:深層生成モデルの物理法則を求めて
講演スライド
講演概要: 本講演では,深層生成モデルを熱力学と結びつけるいくつかの研究について紹介する.ベイズ統計と熱力学には形式的アナロジーが成り立つことが知られている[1].その核にあるのは,ベイズ統計における損失関数が,熱力学における自由エネルギーと対応するというアイディアである.近年ではこのアナロジーを深層生成モデルにあてはめて,訓練が終了して平衡状態に落ち着いた深層生成モデルに対して熱力学第一法則や第二法則に相当するものが成り立つことを調べた研究がある[2].ここでも損失関数として自由エネルギーが登場し,完全な熱力学関数のように振る舞う.しかし,このままでは損失関数と自由エネルギーの対応はアナロジーの域を出ず,統計的学習の背後にあるはずの学習プロセスを拘束する諸条件,“物理法則”に相当するものがみえてこないと講演者は感じている.深層生成モデルについて熱力学第一法則や第二法則以上の拘束条件は見出せないのだろうか?最近になって深層生成モデルを使った転移学習のプロセスに,準静的過程のアナロジーを持ち込んだ研究があらわれた[3].深層生成モデルの損失関数は再構成誤差項や正則化項,分類誤差項などの要素からなるが,これらを温度にみたてて“等温準静的過程”を考えるのである.このような“熱力学的操作”を考えることで,損失関数の特定の要素の値を一定に保つ転移学習を行うことができる.この熱力学的操作を組み合わせればサイクルを考えることができ,その最大熱効率を与えるサイクルがカルノーサイクルであることを示すことができる.これは非平衡過程を含む転移学習プロセスの一つの拘束条件になっている.
[1] Sumio Watanabe, Mathematical Theory of Bayesian Statistics, CRC Press (2018)
[2] Alemi and Fischer, TherML: Thermodynamics of Machine Learning, arXiv:1807.04162 (2018)
[3] Gao and Chaudhari, A Free-Energy Principle for Representation Learning, ICLR Workshop Integration of Deep Neural Models and Differential Equations (2020)
[4] Hideaki Shimazaki, Neural Engine Hypothesis (Dynamic Neuroscience pp267-291), Springer (2017)

第8回

日時: 8月6日10:30-11:30(JST)
発表者: 野村悠祐(理研CEMS)
発表題目: ボルツマンマシンを用いた量子多体波動関数表現:深層ボルツマンマシンによる厳密な表現と制限ボルツマンマシンによる数値的近似表現
講演スライド
概要: 指数関数的に大きな次元を持つ量子多体系の波動関数を有限個のパラメータで精度よく表すことは、物性物理のみならず素粒子、原子核、量子化学などに共通するグランドチャレンジである。本講演では機械学習で用いられるボルツマンマシンが量子多体波動関数表現に有用であることを紹介する。まず隠れ層が二層ある深層ボルツマンマシン(DBM)を用いて基底状態の波動関数を任意の精度で解析的に表現することが可能であることを示す[1]。これは経路積分を包含するより一般的な量子古典対応のフレームワークを提供するが、物理量計算に隠れ層自由度をモンテカルロサンプリングする必要性があるため負符号問題が生じる場合がある[1]。一方で、隠れ層が一層に制限された制限ボルツマンマシン(RBM)では、DBMのように解析的な表現はできないものの、数値的にパラメータを最適化することで、量子多体波動関数の表現が可能になる。RBMの良いところは解析的に隠れ層自由度をトレースアウトできるところであり、量子系の数値計算を行う上では負符号問題を回避できる点でDBMより利点がある場合がある。RBMを用いた手法は、フェルミオン系、フェルミオン-ボソン結合系、フラストレーションのあるスピン系な度への適用が進んでおり、それら一連の研究について紹介する[2-4]。
[1] G. Carleo, Y. Nomura, and M. Imada, Nat. Commun. 9, 5322 (2018)
[2] Y. Nomura, A. S. Darmawan, Y. Yamaji, and M. Imada, Phys. Rev. B 96, 205152 (2017)
[3] Y. Nomura, J. Phys. Soc. Jpn. 89, 054706 (2020)
[4] Y. Nomura and M. Imada, arXiv:2005.14142

第7回

日時: 7月30日10:30-11:30(JST)
発表者: 本武陽一 (統計数理研究所)
講演スライド
発表題目: 物理学者と学習機械の効果的な協業に向けて:学習済み深層ニューラルネットワークからの解釈可能な物理法則抽出
概要: 本講演では、力学系時系列データを学習した深層ニューラルネットワーク(DNN)から、解釈可能な物理則を抽出する手法を提案する[1]。 物理学は科学者の物理的洞察力によって大きく発展してきたが、アクティブマタや磁性体の磁区構造といった複雑な秩序構造を持つ系で洞察力を働かせることは時に困難である。これに対して、深層学習を始めとした複雑な高次元データをモデル化できる機械学習を用いた物理モデル構築手法の開発が近年活発に研究されている[1]。我々は、複雑なデータの内挿的モデル構築を得意とする機械学習と、物理的洞察によって大胆な理論の外挿を実現できる科学者の協業を実現することが重要と考え、これに繋がり得る手法を開発した。具体的には、物理データを学習したDNNから解釈可能な物理情報を抽出し科学者に提供することを目標として、有限自由度古典ハミルトン力学系とみなせる時系列データを学習したDNNから、系の隠れた保存則を推論する新しい手法を開発した。手法は、Noetherの定理と効果的なサンプリング法を元にDNNから力学系の対称性を抽出することで保存則を推論する。手法でDNNに課される前提は、学習に成功したDNNで広く成り立つと考えられている多様体仮説[3,4]のみであるため、手法は広範なDNNモデルに適用可能と考えられる。講演では、安定状態にある生物の集団運動を模擬した時系列データに提案手法を適用した事例等を紹介する。

[1] Interpretable Conservation Law Estimation by Deriving the Symmetries of Dynamics from Trained Deep Neural Networks, Y. Mototake, arXiv:2001.00111.
[2] Hamiltonian neural networks, G. Samuel, M. Dzamba, and J. Yosinski, NeurIPS 2019 (arXiv:1906.01563).
[3] Representation Learning: A Review and New Perspectives, Y. Bengio, C. Aaron, and V. Pascal, IEEE Trans. Pattern Anal. Mach. Intell., 35.8 (2013): 1798-1828.
[4] Efficient representation of low-dimensional manifolds using deep networks, R. Basri and D.W., Jacobs, ICLR 2017 (arXiv:1602.04723).

第6回

日時: 7月9日10:30-11:30(JST)
発表者: 吉岡信行 (理研)
発表題目: ニューラルネットワークで探る量子多体系の表現
講演スライド
従来より高い表現能力を持つことが知られていたニューラルネットワークは、近年の計算資源の向上・最適化手法の発達により、多くの機械学習タスクにおいて成功を収めている。 さらに、画像・音声などといった古典データに限らず、量子多体系の基底状態・励起状態などの表現に対しても有効であることが示された [1]。 次元性に依拠しない変分関数の構造は、量子多体系の大規模計算において用いられてきたテンソルネットワークと相補的に活用されることで、 多体現象の研究のフロンティアを押し拡げる役割を担うことが期待されている。 本講演では、ボルツマンマシンと呼ばれる種類のニューラルネットワークを導入し、その性質・応用について概観したのち、 講演者らによって見出された、開放量子多体系への適用可能性について議論する [2, 3]。

[1] G. Carleo and M. Troyer, Science 355, 602 (2017).
[2] N. Yoshioka and R. Hamazaki, Phys. Rev. B 99, 214306 (2019).
[3] N. Yoshioka et al., in preparation.

第5回

日時: 6月25日10:30-11:30(JST)
発表者: 福嶋健二 (東京大学)
発表題目: 物理学における観測と機械学習:中性子星の事例
講演スライド
概要: 学習、特に教師あり学習や強化学習とは、一言で表せば、最適化問題を解くということである。物理学は古来、最適化問題の効率向上に心血を注いできた学問であり、機械学習との親和性は高い。物理学における実験データの回帰分析に機械学習を応用するのは自然な発想だろう。例えば高エネルギー物理学ではジェットの識別に機械学習がその威力を発揮していることはよく知られている。しかし物理学の多くの回帰分析では、誤差のついたデータから誤差をつけたデータを引き出す必要があり、学習モデルはインプットが真値からずれている、ということも適切に学習せねばならない。本講演では中性子星の観測データから状態方程式を構築する問題を具体的な事例として採り上げ[1,2]、ひとつのアプローチ法を提案する。最後に、観測誤差を取り入れた学習が、ニューラルネットワークの重みの初期値依存性問題と密接に関係していることを議論する。
[1] Y. Fujimoto, K. Fukushima, K. Murase, Phys.Rev.D 98 (2018) 2, 023019
[2] Y. Fujimoto, K. Fukushima, K. Murase, Phys.Rev.D 101 (2020) 5, 054016

第4回

日時: 2020年6月18日10:30-11:30(JST)
発表者: 唐木田 亮 (産総研)
発表題目: 深層学習の数理: 統計力学的アプローチ

登録フォーム

講演スライド

概要: 本講演では, 深層学習の数理的な理解を目的とした近年の統計力学的解析を紹介する. 具体的には, 深層学習の平均場理論, ランダム行列理論, さらにNeural Tangent Kernel (NTK)理論をとおして学習ダイナミクスの理解へとつながる一連の流れを解説する. 深層学習では, 性能の理論的な保証や, 最適なモデルや学習手法の設定に多くの課題があり, 数理的な研究が日進月歩で進んでいる. その中で統計力学的なアプローチは, 深層学習におけるパラメータ初期値がランダム行列であること, モデルの大自由度極限(ニューラルネットワーク各層の”幅”が十分に大きいこと)に着目した枠組みで, 様々なモデルアーキテクチャに普遍的に適応できる点に特徴がある. 平均場理論は, 勾配の大きさを巨視的変数として定式化することで, 訓練が進みやすいモデルとパラメータの設定を相転移によって定量的に説明する[1]. NTK理論は, 初期値まわりの摂動の範囲で学習が進む設定があることを発見し, 学習の大域収束と汎化性能に一定の理解を与える[2]. 本講演ではこのような統計力学的アプローチを, 歴史的な背景も含めつつ簡単に概観したい. また, このアプローチを使うことで, 再急降下法のハイパーパラメータ(学習率)の設定指針[3]やBatch NormalizationとLayer Normalizationの効果の違い[4]のようなアルゴリズムの問題に対して, 定量的な説明を与えられることも紹介する.

[1] Deep information propagation. Samuel S Schoenholz, Justin Gilmer, Surya Ganguli and Jascha Sohl-Dickstein, ICLR 2017 (arXiv:1611.01232).
[2] Neural tangent kernel: Convergence and generalization in neural networks. Arthur Jacot, Franck Gabriel and Clément Hongler, NeurIPS 2018 (arXiv:1806.07572).
[3] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach. RK, Shotaro Akaho and Shun-ichi Amari, AISTATS 2019 (arXiv:1806.01316).
[4] The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks. RK, Shotaro Akaho and Shun-ichi Amari, NeurIPS 2019 (arXiv:1906.02926).

第3回 

第三回(6/11)は、ライトニングトークで構成されます。
日時: 2020年6月11日10:30-11:30(JST)
発表者:希望者

講演者: 野村悠祐 (理研CEMS)
講演題目: 深層ボルツマンマシンを用いた量子多体波動関数の厳密な構築
講演概要: 量子多体系の波動関数を深層ボルツマンマシンを用いて厳密に表現する方法を紹介する(Carleo, Nomura, Imada, Nature Communications 2018)。

講演スライド

講演者: 林祐輔 (Japan Digital Design, Inc. ただし講演は個人としての活動)
講演題目: 表現学習の確率熱力学的解釈
講演概要: 表現学習とは,画像,音声,自然言語,時系列データといった多様な生データから,目的のタスクを解くために意味のある特徴量を生成する方法を,統計モデル自身に考えさせるアプローチのことを指す.この発表では,表現学習と確率熱力学の間にアナロジーが成り立つことを紹介し,準静的過程に対応する熱力学的操作が転移学習のようなデータのドメインを跨ぐ学習において有用であることを説明する.

講演スライド

講演者: 北沢正清 (大阪大学)
講演題目: SU(3)非可換ゲージ理論のトポロジー分類への機械学習の適用
講演概要: 4次元畳み込みニューラルネットワークを用いて、SU(3)非可換ゲージ理論の多次元データを学習し、トポロジカル電荷を推定した。99%という高い正答率を得た成果などを報告する。

講演スライド

講演者: 大塚啓(KEK)
講演題目: 深層学習を用いた弦理論のランドスケープ
講演概要: 本講演では、背景磁場のあるCalabi-Yau 多様体上にコンパクト化されたヘテロ型弦理論に対して、深層学習の一種であるオートエンコーダーによる次元削減とクラスタリングを適用する。 特に、フェルミオンの世代数と余剰次元空間の曲率に強い相関があることを紹介する[1]。[1] H. Otsuka and K. Takemoto, JHEP 05 (2020), 047.

講演スライド

講演後には、参加者に「さらに詳しく聞きたい講演」についてのアンケートを実施し、そのアンケート結果をもとに、今後のオンラインセミナーの講演を決めていこうと考えています。

発表希望者用フォーム

参加希望者(発表なし)用フォーム

ライトニングトークの構成は以下の通りです:
 1)ご講演は3-10分間、その後の質疑応答は2分間、合計で5-15分間となります。
  (講演時間が終了すると座長から終了のお知らせがありますのでご協力お願いします)
 2)スライドはpdf (pptもしくはkeynote)数枚です。
   講演タイトルと所属、お名前、メールなどの連絡先を記載ください。
   見本として次のものをご参考に。
 3)講演+質疑時間の5分間が終了した後は、チャット機能で、参加者からの質問にお答えください。
 4)ご講演タイトル(仮)を、上記登録フォームで記入ください。
発表者希望者の締切は6/9の夜11時とします。
発表内容は、ご自身あるいは共同研究者のオリジナルな研究に限ります。

第2回

日時: 2020年5月28日10:30-11:30(JST)
発表者: 橋本幸士(大阪大学)
発表題目: 深層学習と時空

登録フォーム

講演スライド

概要: 本講演では、深層ニューラルネットワークを時空とみなせるかどうかについて、議論する。特に、量子重力理論として研究が進むホログラフィー原理そのものを深層学習とみなす手法について紹介する。 学習されたニューラルネットワークの解釈可能性は、機械学習を物理学に応用する際に最も重要な観点の一つである。ニューラルネットワークの構造を対称性などにより規定することで制約を加え解釈可能にすることは学習を効率的にすることにつながっている。一方で、深層ボルツマンマシンはそもそもスピン系が原子配列しているものの一般化と考えられることから、ニューラルネットワークそのものが時空として機能している例が存在している。このような中で、量子重力理論と機械学習の融合を目指す研究が生まれた。この20年間の量子重力理論の研究において、最も重要な位置を占めているのはホログラフィー原理[1]であり、そこでは、量子重力理論と等価な、重力を含まない(時空次元の低い)量子系が存在し、重力の時空はそこから創発する。このホログラフィー原理で創発する時空を、教師つき学習の深層ニューラルネットワークと同一視し、時空のメトリックを重みと考えることで、創発時空を量子系のデータから決定する手法[2][3][4]を本講演では紹介する。

[1] The Large N limit of superconformal field theories and supergravity Juan Martin Maldacena Published in: Int.J.Theor.Phys. 38 (1999) 1113-1133, Adv.Theor.Math.Phys. 2 (1998) 231-252 • e-Print: hep-th/9711200 [hep-th]
[2]Deep learning and the AdS/CFT correspondence Koji Hashimoto, Sotaro Sugishita, Akinori Tanaka, Akio Tomiya Published in: Phys.Rev.D 98 (2018) 4, 046019 • e-Print: 1802.08313 [hep-th]
[3] Deep Learning and Holographic QCD Koji Hashimoto, Sotaro Sugishita, Akinori Tanaka, Akio Tomiya Published in: Phys.Rev.D 98 (2018) 10, 106014 • e-Print: 1809.10536 [hep-th]
[4] Deep Learning and AdS/QCD Tetsuya Akutagawa, Koji Hashimoto, Takayuki Sumimoto e-Print: 2005.02636 [hep-th]

第1回

日時: 2020年5月14日10:30-11:30(JST)
発表者: 永井佑紀(原子力機構)
発表題目: 精度保証された機械学習分子動力学法:自己学習ハイブリッドモンテカルロ法

登録フォーム

講演スライド

概要: 本講演では、2008年に開発された機械学習分子動力学法について解説するとともに、学習精度に計算精度が依存しない機械学習シミュレーションである自己学習ハイブリッドモンテカルロ法について紹介する。
第一原理計算で得られたポテンシャルを再現するようなニューラルネットワーク(ANN)を構築して分子動力学を実行するのが機械学習分子動力学法である。ANNを構築する際の最適なトレーニングデータは、元々の第一原理分子動力学法で生成される原子配置とそのポテンシャルである。しかしながら、第一原理分子動力学法の計算負荷が高いために機械学習分子動力学法を用いるのであるから、元々の第一原理分子動力学法でデータを集めるのは本末転倒である。そのため、通常は、様々な原子配置とそのポテンシャルデータを大量に作成することで、目的の機械学習分子動力学法と同じようなポテンシャルを生成するANNを構築している。しかしながら、構築されたANNが元々の第一原理計算のポテンシャルを再現するという保証はない。さらに、4元素以上で構成されるような系の場合には、長時間の機械学習分子動力学法では計算が不安定になることがあり、機械学習分子動力学法の計算の精度や妥当性については常に慎重な議論が必要であった。
本講演では、自己学習モンテカルロ法のアイディア[1]を用いることで、得られた結果が統計的に厳密にオリジナルの第一原理計算分子動力学法の計算結果と等しい手法を開発したことを報告する[2]。 そして、その手法を用いて、4元素系でも精度よく計算ができることを示すため、フォノン誘起超伝導体YNi2B2Cのフォノン計算の結果を報告する。

[1] J. Liu, Y. Qi, Z. Y. Meng, and L. Fu, Phys. Rev. B 95, 041101(R) (2017).; J. Liu, H. Shen, Y. Qi, Z. Y. Meng, and L. Fu, Phys. Rev. B 95, 241104(R) (2017).; YN, H, Shen, Y. Qi, J. Liu, and L. Fu, Phys. Rev. B 96, 161102(R) (2017)
[2] YN, M. Okumura, K. Kobayashi and M. Shiga, arXiv:1909.02255

過去のワークショップ研究会

Deep Learning and physics2019
Deep Learning and physics2018
Deep Learning and physics