研究室紹介

研究室の特徴

大規模計算を軸とした多様な研究テーマ

横田理央研究室では、スパコンを用いた大規模分散並列を様々な分野に応用する研究を行っています。近年、深層学習が画像認識、自然言語処理、強化学習などの様々な分野で注目されていますが、そこで用いられる深層ニューラルネットの規模は年々指数関数的に増大しており、スパコン上でしか計算できない状況になりつつあります。ただし、既存の深層学習フレームワークをそのままスパコン上で実行しただけでは計算速度や学習精度は簡単には向上しないため、大規模計算特有の課題を一つ一つ解決していく必要があります。従来よりスパコン上で行われている科学技術計算も日々変化する計算機アーキテクチャにあわせてアルゴリズムや実装方法を研究し続ける必要があります。また、ムーアの法則により計算機の性能は指数関数的に向上し続けているため、現在のスパコンで行われている計算は10年後には手元の計算サーバでできるようになります。つまり、現在のスパコンにおける課題を解決することは10年後の研究課題を先取りして解決していることにもなります。

豊富な計算資源

当研究室では、東工大のTSUBAME、東大のMiyabi、産総研のABCI、理研の「富岳」など国内最大級のスパコンを利用できます。また、これらのスパコンの全系を貸し切って行うグランドチャレンジ制度なども積極的に利用することで、国内の研究室では有数の計算資源量を使うことができます。また、国内のみならず、世界の主要なスパコンセンター11組織との共同研究契約(MOU) [https://adac.ornl.gov] を締結することで、世界最大級のスパコンであるORNLのFrontier、ANLのAurora、CSCのLUMI、ETH/CSCSのAlpsなども利用しています。通常の研究室の計算機環境では何週間もかかる計算を横田研究室では数時間で行うことが可能になるため、研究の進捗もその分早くなります。

多くの共同研究プロジェクト

深層学習、科学技術計算を問わずあらゆる研究分野でスパコンを用いた大規模計算のノウハウや膨大な計算資源量を保有している強みを活かすことができます。現在、学内・学外、国内・国外の研究室や企業と多くの共同研究プロジェクトに大規模計算の部分を担当する形で参画しております。学内では岡崎研究室と共同で大規模言語モデルSwallowの開発、篠田研究室、井上研究室、佐藤研究室とは画像処理の共同研究を行っています。学外では理研AIPのKhanグループとベイズ深層学習、産総研の人工知能センターと大規模言語・画像モデル、NIIとは大規模言語モデルllm-jpの開発を行っています。国外では、ORNL、ANL、LLNL、CSC、ETHなどの世界最大級のGPUスパコンを持つ研究所と共同研究を行っています。このため、研究テーマは幅広い内容から選ぶこともできますし、新しい研究テーマを自分で見つける場合も指導教員だけの専門性に囚われずに共同研究者との連携により適切なサポートを行うことができます。

世界で活躍できる研究者の育成

学部時代に良い成績を取り、希望の研究室に所属し、国内の人気の企業に就職をすることが理想的な進路と考えがちですが、世界を見渡せば上には上がいます。インターネットに国境はなく、今の時代は誰でも世界中のあらゆる情報が瞬時に手に入るので、特に科学技術の諸分野においては国内に視野を限定してしまうことは大きな機会損失につながります。最終的に国内の企業や研究機関・大学で働く場合でも、若いときに一度でも世界の舞台で競争したかどうかで目標とする人物像、価値観の多様性に対する認識、英語に対する苦手意識などに大きな差が生まれます。当研究室は留学生も多く受け入れており、修士を出て海外の大学院に進学する学生も多くいます。当研究室の博士課程を出たものは世界でもトップの研究機関で活躍しています。ポテンシャルのある学生には最大限までその実力を発揮できるように支援するというのが当研究室の方針一つのです。自分が想像していたよりも遥かに大きな成功への道を歩めるよう全力でサポートします。

研究の進め方

指導・サポート体制

横田研究室では大規模言語モデルの開発から低精度演算の精度保証にいたるまで人工知能と高性能計算の境界領域にある幅広い研究テーマを抱えています。そのため、月に1回開催する研究室全体でのミーティングでは事務連絡や歓送迎会や合宿、工大祭などのイベントについて話し合うだけで、研究のミーティングは全体ではなくグループごとに行っています。また、それぞれの学生のペースに合った指導ができるよう週に１回必ず1 on 1のミーティングを全学生と行うようにしています。1 on 1では進捗報告というよりも困っていることを相談する場を提供することが目的です。これ以外にも、研究テーマごとに毎週ミーティングを行っており、テーマによっては共同研究を行っている別の研究室や企業と合同で行っています。コアタイムのようなものは設けず、講義、インターン、サークル、バイト、就活など学生の多様な活動を奨励しつつ、研究においてもトップ会議・ジャーナルにどんどん論文を通すことができるようサポートしたいと考えています。

「頑張る」のではなく「熱中する」

研究には新規性が求められるので、基本的に誰もやったことがないことに挑戦することになります。そのため、最初からうまくいかない場合がほとんどで、そこから少しずつ方法を改善していくことが大事です。この際に、辛いのを我慢しながら「頑張る」人と、この過程を楽しいと思いながら「熱中する」人では、最終的な実力の伸び方が全く違います。横田研究室では「熱中する」ことを奨励しており、それが自然にできるように様々な工夫をしています。

ものごとの本質を見抜くということ

近年のpublish or perish culture(論文数至上主義)のせいで提案手法の優位性を誇張するものばかりが最近は増えています。このような書き方をすると雑誌や会議に採択されやすいという仕組みの問題もあります。しかし、本質的に重要な情報だけを与えられることで人間は最も早く学習できるため、このようなノイズの中から本当に大事な情報を見つけ、自分で発信する場合もそこに気をつけるのが正しい研究者としての姿勢だと考えています。学部レベルまではかなり厳選された情報のみを与えられていたのでこのようなことに注意する必要はなかったのですが、大学院レベル以上の書籍や論文などは全てその信憑性を疑ってかかる姿勢が重要です。著者や組織の権威に影響されることなく自分の今まで勉強してきたこと全てと照らし合わせて一切の矛盾がないかを検証するような読み方・考え方を身につける必要があります。

研究以外の活動の奨励

留学

横田研究室では海外留学を積極的に推奨しています。在学期間中の長期・短期の留学先も紹介しますし、海外大学院へ進学したOBも複数いるのでどのような準備をすれば良いのかなどのノウハウも蓄積されています。以下はこれまでの学生の留学・進学先です。 

  • A*STAR (シンガポール) 1名留学 
  • Carnegie Mellon University (アメリカ) 2名留学、1名進学 
  • University of Montreal (カナダ) 1名進学 
  • University of Tennessee (アメリカ) 1名留学

インターン

インターンシップは単に就職活動の一環としてでなく、企業や研究所での実務経験を通して研究のモチベーションの向上につながるケースが多いため、積極的に推奨しています。また、博士課程に進学した者も皆修士の頃に複数のインターンシップを経験しており、「一流企業の良さを見た上で積極的な理由で進学を選んで欲しい」ということもあります。これまでの研究室所属学生の多くは複数のインターンシップを経験しており、先輩の培ってきたインターン先へのネットワークもあります。以下はこれまでの学生のインターン先です。(アルファベット順)

  • AIST
  • Axon, Inc.
  • CoeFont Co.,Ltd.
  • CyberAgent, Inc.
  • Fixstars Corporation
  • Future Corporation
  • Google
  • IBM Research Tokyo.
  • Kotoba Technologies, Inc.
  • Livesense Inc.
  • LY Corporation
  • Mercari Inc.
  • Nagase Brothers Inc.
  • Nefrok
  • NextSilicon
  • NII
  • Nomura Research Institute, Ltd.
  • NVIDIA
  • Panasonic Corporation
  • Preferred Networks, Inc.
  • Quansight Inc.
  • RIKEN
  • Sakana AI
  • SB Intuitions Corporation
  • Sony Corporation
  • SORACOM Inc.
  • Team Lab, Inc.
  • Techouse, Inc.
  • Telexistence, Inc.
  • Turing, Inc.
  • Yahoo! Japan

競プロ

高性能計算分野の研究室であるため、毎年競プロの強者が多数在籍しております。AtCoder、Kaggle、ICPCなど様々な楽しいイベントで好成績を収めています。当研究室で行っている高性能計算の研究には競プロで培われる実装力が直接的に効いてきます。

↑