こんにちは、CCCMKホールディングスTECH LABの三浦です。今回はカナダのバンクーバーから、機械学習・AIに関する国際カンファレンスである"NeurIPS 2024"に現地参加したレポートをお送りしたいと思います！
NeurIPSとは
"NeurIPS(Neural Information Processing Systems)"は毎年12月に開催される機械学習・AIにおけるとても重要な国際カンファレンスです。1987年から開催されていて、カンファレンスに提出され、審査を通過した査読付の論文が口頭発表またはポスター形式で多数展示されます。さらに各領域の専門家による招待講演や技術セッション、協賛企業による展示会など、様々なイベントが行われていました。
NeurIPS 2024の開催期間は12/10～12/15の5日間です。そのうち12/14と12/15は"ワークショップ"と"コンペティション"に当てられていて、ワークショップではあるテーマに沿って招待講演やセッション、論文の口頭発表が1日を通して実施されました。コンペティションは私は参加しなかったのですが、あるテーマに関する競技形式のイベントのようでした。
今私は12/14のワークショップが終わって、戻ってきたホテルでこの記事を書いています。あと1日残っていますが、一通りNeurIPSのイベントを体験することが出来たので日本に帰って記憶が薄れないうちに、体験したことをまとめていきたいと思います。
最初に会場で受け付け
バンクーバー国際空港にカンファレンス前日の12/9に到着し、入国手続きを済ませた後、そのまま会場に向かいました。会場は"Vancouver Convention Centre"というところで、空港からはスカイトレインという電車に乗って終点の"Waterfront"駅から歩いていくことが出来ます。タッチ機能付きの対応している会社のクレジットカードがあれば、電車のチケットを買わないで乗ることが出来ます。とても便利だなと思いました。
会場はWESTとEASTに分かれているのですが、受け付けはWEST側で行われていました。事前にメールで送られていたQRコードを受付で提示すると、ストラップとプレート(バッチ)を受け取ることが出来ます。受け付けはこれで完了でした。
カンファレンス中はバンクーバーの色々なところでこのストラップを首からかけている人に出会いました。バッチは会場に入るのに必須で、これを付けていないと入口で警備員さんに入場を止められてしまいます。また、もし無くしてしまった場合は再発行出来るのですが、再発行手数料を現金で支払う必要があります(しかも結構高い)。
カンファレンス期間中の様子について
１日目
カンファレンスの1日目は論文の口頭発表はなく、"チュートリアル"という機械学習・AIのトピックについて学ぶことが出来るセッションに参加しました。いくつかトピックは用意されているのですが、私は"Language Model"のチュートリアルに参加をしました。このチュートリアルではLMの事前学習(Pre-Training)から事後学習(Post-Training)まで、データセットの構築の方法を含めて説明されていました。このチュートリアルでもそうだったのですが、カンファレンスを通じて"Adaptive(適応可能な)"という言葉を頻繁に聞いた印象があります。AIが人の好みや任意のドメインに"Adaptive"かどうかを重視しているように感じました。
1日目は他にも企業の展示ブースを少し覗いてみたりしました。ビッグテックのブースもたくさん出展されていて、なんだかとても迫力を感じました。
また、1日目はウエルカムパーティも開催されました。とても大勢の人で大盛況な様子でした。
2日目/3日目/4日目
この3日間が特にメインとなる日程です。あちこちのホールで論文の口頭発表が行われ、会場のWEST、EASTそれぞれでとても大きなスペースで論文のポスター展示が開催されていました。口頭発表だけでなく、各領域の専門家による招待講演や技術的なトピックを扱うセッションも開かれていて、一日中あちこち移動していました。
口頭発表は、たとえば"Agent"というトピックで1時間枠が押さえられていて、その中で3つの論文がそれぞれ20分ずつ発表されていました。発表者が発表した後、会場に設置されたスタンディングマイクを使って聴講者が質問する、という形式です。中には非常に多くの人が質問をするために列を作っている発表もあり、注目度の高さが伺えました。
期間中に採用された論文の中で特に評価が高かった"Best Paper Awards"がNeurIPSのブログで発表され、ちょうど自分が聴講していた論文がBest Paperに選ばれていて、こちらもちょっとうれしくなりました。"Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction"という論文だったのですが、Diffusion Modelとは違うアプローチでの画像生成の手法で、とても面白いです。別のセッションでつたない英語力で耳にしたのですが、"Diffusion Model"と"Autoregressive Model"は実は同じように考えた方がいいのではないか、という話もあって、この辺りはもう少し深く知りたいな、と感じました。
ポスター展示は本当に本当にたくさんのポスターが展示されていて、それぞれのポスターから研究者の熱意が伝わってくるようでした。WESTとEASTの両方で開催されていたのですが、それぞれで取り扱っているトピックの方向性が異なります。WESTの方はOptimizerの話や学習の方法など、より機械学習の基盤に近いトピックで、EASTの方はGenerative AIやMulti-Modalなど、応用に近いトピックが多いように感じました。
あと、個人的に印象に残っているのが13日に行われた"Test Of Time Paper"の受賞イベントでした。"Test of Time Paper Awards"は10年前に発表された論文の中で、現在に至る10年間で研究分野に特に貢献したものに与えられる賞です。今回は"Generative Adversarial Nets"と"Sequence to Sequence Learning with Neural Networks"の2つの論文が選ばれ、それぞれの論文執筆者による発表が行われました。前者は画像生成で有名な"GAN"に関するもので、生成AIの発展に大きく貢献したものです。後者はテキストからテキストを生成する技術に関するもので、現在のLLMにつながる研究です。どちらもこの10年間の技術の進歩に大きく貢献した研究ですよね。
5日目
5日目からはワークショップが始まりました。1日を通じて1つのテーマが設定され、それに関するサブテーマについての講演が行われました。また、ここでも論文の口頭発表の時間がありました。 たとえば私が参加した"Adaptive Foundation Models: Evolving AI for Personalized and Efficient Learning"というワークショップでは、Foundation Model(基盤モデル)の任意のドメインへの適用や継続学習を用いた時間によって生じる変化への適用、エッジデバイスへの適用など、様々な"Adaptive(適応可能な)"へのアプローチを知ることが出来ました。
NeurIPS 2024に参加してみて
ここからは参加して感じたこと、次回参加するならこうしたい、といった内容をまとめてみたいと思います。
参加して感じたこと
モデルの学習アルゴリズムに関するものからベンチマークの構築やロボティクス、さらに扱うデータ領域も画像、自然言語、時系列に及び、機械学習・AIについて広く深くテーマアップされたカンファレンスだと感じました。毎日参加してホテルに戻ってくると、読みたい論文リストが10件以上増え続けていったくらいで、日々超大盛のご飯を食べている感じでした。
毎日知らないといけないことが増えていくことは大変なことですが、まだまだ自分の未知の領域があることはすごくワクワクすることだし、その領域に取り組んでいる人がいることは励みにもなります。
一方で悔やまれるのが自分に英語の能力がないことで、英語が出来ればもっと講演者の話や聴講者の質問の内容が聞き取れるだろうし、自分が感じたことをシェアすることだって出来たはずです。今回参加して、自分にとって一番なんとかしないといけない課題だと感じたのは英語力でした。
次回参加するならこうしたい
先ほど述べたように、まず英語力を今よりも伸ばして参加したいです。今回参加してみて、英語の講演の内容に付いていくのは本当に難しい・・・と感じました。英語の講演は、動画で配信されているものがたくさんあるので、事前にそれらを視聴して聞き取れるように訓練しておいた方が良いと思いました。
また、開催中にいくつかコミュニティが出来ていて、その中で日本からの参加者のコミュニティがあることにカンファレンス終盤で気が付きました。もし早くに参加出来ていれば交流が出来ていたかもしれません。カンファレンス中は"Whova"というアプリを使ってスケジュールの確認をするのですが、このアプリでコミュニティとやり取りすることが出来ます。次回もし参加するなら、早い段階でこのアプリを使ってコミュニケーションを取れるようにしたいと思いました。
最後に、これは人に依りけりだと思いますが、見るセッションの領域をもう少し絞った方が良かったかな、と思いました。本当に1つ1つのセッションが深く、それこそ論文1本分の内容に相当するため、見るセッションの数が多くなればなるほど色んなことに目移りして結局あまり記憶に残らなかった、ということになりかねません。一方で色々なことに触れることで多くの刺激を受けることが出来るので、いろんなセッションを見ることによるメリットももちろんあると思います。
気になるトピックと日本に帰ったら取り組みたいこと
とりあえず今思いつく限りの、もう少し深掘りしたいと思ったトピックをリストアップします。振り返ったらもっと色々出てくると思います。
- 画像のフーリエ変換による表現
- xLSTM
- Post-Training(DPO, RLHF)
- Fully Sharded Data Parallel(FSDP)
- VQ-VEA, VQGAN
- WebArena, VisualWebArena
- Domain generalization (DG)
- Watermarking for LLM
- LoRA＆DoRA
また、自分が思っていた以上に画像とテキストを両方扱えるvLLMに関する話が多かったように感じました。vLLMはこれまであまり触れてこなかったので、これから積極的に使ってみたいと思いました。また"Adaptive"という観点に繋がるのかもしれませんが、カンファレンスで見てきた研究内容が私たち日本人にとって同様に効果のあるものなのか、例えば日本語に適応可能なのか、あるいは日本人特有の表現に適応可能かどうかについて、今後取り組んでみたいな、と感じました。
その他
ChatGPTが大活躍
分からない英単語、英文があれば翻訳してくれて、論文の内容を一瞬で分かりやすくまとめてくれて、英会話の練習にも付き合ってくれて・・・。今回はChatGPTにいたるところで助けられました。特にタブレットで写真を撮って、その写真をChatGPTに入力すれば英語が含まれていても日本語で説明してくれるのが本当に便利でした。
意外と寒くなかったバンクーバー
カナダは北にある国で寒いイメージを持っていたのですが、バンクーバーはそれほど寒くなかったです。最低気温は5度くらいでした。ただ日照時間は短く、日中の気温は最低気温からそれほど上がらなかったです。私が滞在していた間は曇りの日が多く、雨が降った日もありました。もし今度バンクーバーに行く機会があったら、防寒着と合わせて傘も持って来ようと思いました。
まとめ
今回はカナダのバンクーバーで開催された、機械学習・AIの国際カンファレンスNeurIPS 2024に参加し、カンファレンスの内容や私自身が感じたことをまとめてみました！とにかく内容の濃い1週間でした。まもなくカンファレンスは終わってしまいますが、カンファレンスで学んだことやもっと深掘りしたい！と思ったことを、日本に持ち帰って取り組んでいきたいと思います！
