川村 政貴さん(M1)らの共著論文がCVPR2026に採択されました 川村 政貴さん(M1)と東京科学大学の井上中順准教授と産総研の片岡裕雄上級主任研究員、柳凜太郎研究員の共著論文「PowerCLIP: Powerset Alignment for Fine-Grained Contrastive Pre-Training」がIEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)に採択されました。
中村 泰士さん(M2)らの共著論文がICLR2026に採択されました 中村 泰士さん(M2)、石川 智貴さん(D1)、川村 政貴さん(M1)、岡本 拓己さん(M2)、野原 ⼤輔さん(B4)と東北大学の鈴木潤先生の共著論文「Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks」がInternational Conference on Learning Representations (ICLR)にOralで採択されました。
藤井 一喜さん(M2)らの共著論文がICLR2026に採択されました 藤井 一喜さん(M2)、田島 幸人さん(M1)、川村 政貴さん(M1)、中村 泰士さん(M2)、岡本 拓己さん(M2)、石田 茂樹さん(D1)と岡崎研の複数のメンバーによる共著論文「Rewriting Pre-Training Data Boosts LLM Performance in Math and Code」がInternational Conference on Learning Representations (ICLR)に採択されました。
2025年
石井 央さん(D2)らの共著論文がAAAI2026に採択されました 石井 央さん(D2)とNTTの共同研究者らの共著論文「FedPM: Federated Learning Using Preconditioned Mixing of Local Parameters」がThe 40th Annual AAAI Conference on Artificial Intelligence (AAAI)に採択されました。
Cong Baiさん(D2)の論文がNeruIPS2025に採択されました Cong Baiさん(D2)とRIKEN AIPの共同研究「Variational Learning Finds Flatter Solutions at the Edge of Stability」が Annual Conference on Neural Information Processing Systems (NeurIPS)に採択されました。
田島さん(M1)の論文がNeruIPS2025に採択されました 田島さん(M1)とDenso ITラボ、情報理工学院の井上先生の共同研究「Masked Gated Linear Unit」が Annual Conference on Neural Information Processing Systems (NeurIPS)に採択されました。
Sunさん(D1)の論文が2本ICLR2025に採択されました
Qi Sunさん(D1)とSakana AIの共同研究「Transformer^2 Self-adaptive LLMs」と「An Evolved Universal Transformer Memory」が International Conference on Learning Representations (ICLR)に採択されました。
石川 智貴さん(M2)の論文が2本ICLR2025に採択されました
石川 智貴さん(M2)と産総研の共同研究「Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation」とOISTとの共同研究「PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis」がInternational Conference on Learning Representations (ICLR)に採択されました。
中村 泰士さん(M1)の論文が2本ICLR2025に採択されました
中村 泰士さん(M1)とNIIとSakana AIの共同研究「Drop Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization」とSakana AIとの共同研究「Agent Skill Acquisition for Large Language Models via CycleQD」がInternational Conference on Learning Representations (ICLR)に採択されました。
Stability AI JapanのDavid Ha, Jerry Chi, Kamil Rockiによる特別セミナーを開催します。
Zoomによるオンライン配信も実施いたします。
日時：
４月２５日（火）11:00-12:00
場所：
東京工業大学 学術国際情報センター 情報棟 2F 会議室
Zoom：
終了したイベントのリンクは削除しました。
参加登録不要、どなたでも聴講可、講演は英語で行われます。
講演者：
David Ha, Jerry Chi, Kamil Rocki
題目：
Collective Intelligence of Generative AI
要旨：
Generative machine learning models, such as generative adversarial networks for images, and language models for text have been around for many years. While impressive, their use cases had been largely confined to research or technical communities. However, from 2022-2023, we are witnessing an explosion of interest in text-to-image models, which are generative ML models that combine both text and image modalities. The ability to generate images simply from text input created interest far beyond the technical community, resulting in an explosion of casual creativity. What is it about the multi-modality of the models that make them so interesting to people and how will this technology fundamentally change our relationship with technology, and with each other? In this talk, we first give an overview of the state text-to-image technology, and explore deep questions concerning what makes this technology so compelling to large groups of users and continually drives iterative exploration. We explain why text-to-image models are a fundamental technology that enables our desire as social animals to share novel cultural artifacts and innovative uses of the technology itself with others, and, like previous culture-changing technology such as photography and mobile phones, will drive large shifts in our collective behavior that will fundamentally alter human culture.
講演者紹介：
- David Ha is the Head of Strategy at Stability AI. He previously worked as a Research Scientist at Google, working in the Brain research team. His research interests include complex systems, self-organization, and creative applications of machine learning. Prior to joining Google, He worked at Goldman Sachs as a Managing Director, where he co-ran the fixed-income trading business in Japan. He obtained his undergraduate and masters degrees from the University of Toronto, and his PhD from the University of Tokyo.
- Kamil Rocki graduated from the University of Tokyo with a PhD degree in Computer Science in 2011. Currently, he is a Senior Machine Learning Research Engineer at Stability AI, where he pushes the GPUs to their limits. Prior to that the led the dense linear solver team at NVIDIA. Before that he worked at Neuralink, Cerebras Systems and IBM Research. During that time he worked he decoded brain signals using a AI on an 64-MHz ARM chip in real-time, wrote implemented a neural network as well as faster-than-realtime Fluid Dynamics simulation on a 400.000-core wafer in assembly as well as prototyped a distributed Reinforcement Learning on an 1000-node FPGA cluster.
大友広幸さん(D3)の研究がHPC Asia 2023でBest Paper賞を受賞しました 大友広幸さん(D3)の研究「Reducing shared memory footprint to leverage high throughput on Tensor Cores and its flexible API extension library」がHPC Asia 2023でBest Paper賞を受賞しました。
高島空良さん(M2)と産総研の共同研究がCVPR2023に採択されました 高島空良さん(M2)と産総研の共同研究「Visual Atoms: Pre-training Vision Transformers with Sinusoidal Waves」が画像認識分野のトップカンファレンスIEEE/CVF Conference on Computer Vision and Pattern Recognitionに採択されました (採択率25.78%)。
大沢和樹さん(卒業生)がDeepMindに就職しました 大沢和樹さん(卒業生)がDeepMindのOptimization and Bayesian Deep Learning Teamに就職しました。
2022年
Aoyu Liさん(卒業生)の研究がACM Multimedia Asia 2022でBest paper賞を受賞しました Aoyu Liさん(卒業生)の研究”Informative Sample-aware Proxy for Deep Metric Learning”がACM Multimedia Asia 2022でBest paper賞を受賞しました
Qianxiang Maさん(D2)とSameer Deshmukhさん(D3)の研究がSC22に採択されました
Qianxiang Maさん(D2)とSameer Deshmukhさん(D3)の研究”Scalable Linear Time Dense Direct Solver for 3-D Problems Without Trailing Sub-Matrix Dependencies”がThe International Conference for High Performance Computing, Networking, Storage, and Analysis (SC22)に採択されました
Muhammad Ridwan Apriansyahさん(D2)の研究がACM TOMSに採択されました
Muhammad Ridwan Apriansyahさん(D2)の研究”Parallel QR Factorization of Block Low-Rank Matrices”がACM Transactions on Mathematical Softwareに採択されました
Edgar Martinez Noriegaさん(ポスドク)、高島空良君(M1)、張新宇君(M1)と産総研の共同研究がCVPR2022に採択されました Edgar Martinez Noriegaさん(ポスドク)、高島空良君(M1)、張新宇君(M1)と産総研の共同研究”Replacing Labeled Real-image Datasets with Auto-generated Contours”が画像認識分野のトップカンファレンスIEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2022)に採択されました(採択率25.33%)
大友広幸さん(D2)の研究がIJHPCAに採択されました 大友広幸さん(D2)の研究”Recovering Single Precision Accuracy from Tensor Cores While Surpassing the FP32 Theoretical Peak Performance”がThe International Journal of High Performance Computing Applicationに採択されました
星野華さん(M2)の研究がICRA2022に採択されました 星野華さん(M2)の研究”OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching”がロボティクス分野のトップカンファレンスIEEE International Conference on Robotics and Automation (ICRA2022)に採択されました(採択率43%)
2021年
理研AIPのEmtiyaz Khan先生との共同研究プロジェクトがCRESTに採択されました 理研AIPのEmtiyaz Khan先生との共同研究プロジェクト"A new Bayes-Duality principle for adaptive, robust, and life-long learning of AI”がCREST領域「数学・数理科学と情報科学の連携・融合による情報活用基盤の創出と社会課題解決に向けた展開」の課題として採択されました
岩瀬駿君(卒業生)の研究がICCV2021に採択されました 岩瀬駿君(卒業生)の研究”RePOSE: Real-Time Iterative Rendering and Refinement for 6D Object Pose Estimation”が画像処理分野のトップカンファレンスThe International Conference on Computer Vision (ICCV2021)に採択されました(採択率25.9%)
中田光君(卒業生)の研究がCVPR2021 Workshop CLVISIONに採択されました 中田光君(卒業生)の研究”Self-supervised Continual Pretraining for Class Incremental Image Classification”が画像処理分野のトップカンファレンスCVPR併設のWorkshop on Continual Learning in Computer Visionに採択されました
大沢和樹君（D3）の研究が NeurIPS 2020 (oral) に採択されました 大沢和樹君（D3）の研究 "Understanding Approximate Fisher Information for Fast Convergence of Natural Gradient Descent in Wide Neural Networks"が機械学習分野のトップカンファレンス Thirty-forth Conference on Neural Information Processing Systems (NeurIPS 2020) の oral presentation に採択されました。（採択率
1.1%）
上野裕一郎君（M2）と大沢和樹君（D3）の研究を KDD 2020 で発表しました 上野裕一郎君（M2）と大沢和樹君（D3）の研究 "Rich Information is Affordable: A Systematic Performance Analysis of Second-order Optimization Using K-FAC" を KDD 2020 で発表しました
大友広幸君（D1）とSameer君（D1）がISC2020 Research Posters の発表をオンラインで行いました
大沢和樹君（D3）と上野裕一郎君（M2）の研究が IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) に採択されました。 大沢和樹君（D3）と上野裕一郎君（M2）の研究 "Scalable and Practical Natural Gradient for Large-Scale Deep Learning" が AI/機械学習分野の最難関国際ジャーナル IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) に採択されました。
上野裕一郎君（M2）と大沢和樹君（D3）の研究が KDD 2020 に採択されました 上野裕一郎君（M2）と大沢和樹君（D3）の研究 "Rich Information is Affordable: A Systematic Performance Analysis of Second-order Optimization Using K-FAC" が 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2020, Virtual Event, USA) の Research Track に採択されました。（採択率 16.9% 216/1279）
大友広幸君（D1）とSameer君（D1）の研究がISC2020 Research Posters に採択されました
大友広幸君（M2）がSC19にてResdearch Poster, Best Poster候補として一件の研究発表を行いました。 大友広幸君（M2）がColorado Convention Centerにて行われたSC19にてBest Poster候補として研究 "TSQR on TensorCores" の発表を行いました．
大友広幸君（M2）、Qianxiang Ma君（M1）がSC19にてResearch Posterの発表を行いました。 大友広幸君（M2）が "TSQR on TensorCores"、Qianxiang Ma君（M1）が "Runtime System for GPU-based Hierarchical LU factorization" のポスター発表を SuperComputing (SC19) Research Posters にて行いました。 https://sc19.supercomputing.org/
大友広幸君（M2）、Qianxiang Ma君（M1）の研究がSC19 Research Posters に採択されました
大友広幸君（M2）の研究 "TSQR on TensorCores"（Best Poster候補）、Qianxiang Ma君（M1）の研究
"Runtime System for GPU-based Hierarchical LU factorization" が
SuperComputing (SC19, Denver, Colorado, U.S.A) Research Posters に採択されました。 https://sc19.supercomputing.org/
大沢和樹君（D2）の研究が NeurIPS 2019 に採択されました
大沢和樹君（D2）の研究 "Practical Deep Learning with Bayesian Principles"
が機械学習分野のトップカンファレンス Thirty-third Conference on Neural Information Processing
Systems (NeurIPS 2019, Vancouver, CANADA) の main conference に採択されました。（採択率
21.1% 1428/6743） https://neurips.cc/Conferences/2019/
長沼大樹君(D1)の研究が2nd High Performance Machine Learning Workshop Held in conjunction with CCGrid2019に採択されました
長沼大樹君(D1)がCyprusで行われた2nd High Performance Machine Learning Workshop Held in conjunction with CCGrid2019にて発表を行いました。 https://hpml2019.github.io/
大沢和樹君（D1）と上野裕一郎君（B4）の研究が CVPR 2019 に採択されました 大沢和樹君（D1）と上野裕一郎君（B4）の研究 "Large-scale Distributed Second-order Optimization Using Kronecker-factored Approximate Curvature for Deep Convolutional Neural Networks" が IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019, Long Beach, CA) の main conference に採択されました。（採択率 25.2% 1300/5160）
上野裕一郎君（B4）の研究がCCGrid 2019 に採択されました 上野裕一郎君（B4）の研究 "Exhaustive Study of Hierarchical AllReduce Patterns for Large Messages Between GPUs" が IEEE/ACM International Symposium in Cluster, Cloud, and Grid Computing (CCGrid 2019) の main conference に採択されました。（採択率22.7% 47/207）
修士構想/中間発表 張晨舞君(M2)、Sameer Deshmukh君(M2)、岩瀬駿君(M1)、大友広幸君(M1)、桑村裕二君(M1)、Elket Ahmed君(M1)、Miglena Zheleva(M1)さん、Spalthoff Peter君(M1)が学部卒論発表を行いました。
発表タイトルは以下の通りです。
張晨舞、「Accelerating Fast Multipole Method with Precomputed Kernel Matrices」
Sameer Deshmukh「Distributed Memory Parallelization of Hierarchical Matrices」
岩瀬駿、「物体検出を用いた意味的変化の検出に関する研究」
大友広幸郎、「TensorCoreとbatch処理を用いたQR分解の高速GPU実装」
桑村裕二郎、「二次最適化の強化学習への適用」
Spalthoff Peter、「Hierarchical Low-Rank Factorizations operations on GPU-clusters」
Miglena Zheleva、「Improving Energy Conservation of FMM for Molecular Dynamics Simulation」
Elket Ahmed、「Kernel Independent Fast MutipoleMethod on GPUs」
Miquel Pericas 先生が横田研究室を訪問しました
Chalmers University of Technology の Miquel Pericas 先生が横田研究室を訪問しました。
Task Assembly Objects (TAO)を用いたFast Multipole Method (FMM)の最適化の共同研究を行いました。
SC16 HPC for Undergraduates Programに選抜されました 長沼大樹君(B4)がSC16の学部生プログラム(HPC for Undergraduates Program)に、日本人で初めて選抜され、SC16に参加しました。 http://sc16.supercomputing.org/
- David Ha is the Head of Strategy at Stability AI. He previously worked as a Research Scientist at Google, working in the Brain research team. His research interests include complex systems, self-organization, and creative applications of machine learning. Prior to joining Google, He worked at Goldman Sachs as a Managing Director, where he co-ran the fixed-income trading business in Japan. He obtained his undergraduate and masters degrees from the University of Toronto, and his PhD from the University of Tokyo.
- Jerryは、日中韓英流暢な台湾系アメリカ人で、今はStability AIの日本支社の立ち上げを頑張っています。2006年にスタンフォード大学工学部を、2012年にペンシルバニア大学ウォートン校を卒業しました。これまでに彼は、Google、Supercell、スマートニュース、Indeedでアナリティクスや機械学習関連の役職を経験してきました。また、起業家としての経験を活かし、様々なスタートアップのアドバイザーを勤めてきました。Jerryのパッションは生成AI及び機械学習のクリエイティブ分野への応用です。
- Kamil Rocki graduated from the University of Tokyo with a PhD degree in Computer Science in 2011. Currently, he is a Senior Machine Learning Research Engineer at Stability AI, where he pushes the GPUs to their limits. Prior to that the led the dense linear solver team at NVIDIA. Before that he worked at Neuralink, Cerebras Systems and IBM Research. During that time he worked he decoded brain signals using a AI on an 64-MHz ARM chip in real-time, wrote implemented a neural network as well as faster-than-realtime Fluid Dynamics simulation on a 400.000-core wafer in assembly as well as prototyped a distributed Reinforcement Learning on an 1000-node FPGA cluster.