Xアルゴリズムの全体像と思想

あなたがXを開くたびに、画面には何百万もの投稿の中から選ばれた数十件だけが表示されます。この「選別」を行っているのが、推薦アルゴリズムです。

多くの人は、Xのタイムラインを「フォローしている人の投稿が時系列で流れてくる場所」だと考えています。しかし現実は大きく異なります。Xは2016年から、機械学習を用いた推薦システムを導入しており、あなたが見る投稿は、高度なアルゴリズムによって厳選されたものです。

2023年3月、イーロン・マスク氏の決定により、Xの推薦アルゴリズムがオープンソースとして公開されました。これにより、私たちは初めて「なぜある投稿が広く表示され、別の投稿が埋もれるのか」を技術的に理解できるようになりました。

Xの推薦アルゴリズムには、明確な設計思想があります。それは「ユーザーの滞在時間を最大化する」ことです。

これは単純な「いいねが多い投稿を上に表示する」というものではありません。アルゴリズムは以下を予測しています：

つまり、アルゴリズムは「今この瞬間の反応」だけでなく、「この投稿がユーザーの行動にどう影響するか」までを予測しているのです。この理解は極めて重要です。

Xの推薦システムは、3つの主要コンポーネントで構成されています。

Home Mixer：オーケストラの指揮者

Home Mixerは、ユーザーがXを開いた瞬間にリクエストを受け取る「入口」です。Rustで書かれた高速なサービスで、各コンポーネントに処理を依頼し、結果を統合してタイムラインを構築します。

Thunder：パイプラインの実行者

Thunderは、推薦処理の中核を担うコンポーネントです。8段階のパイプラインを通じて、数百万の候補から数十件の「あなたに最適な投稿」を選び出します。

Phoenix：予測の頭脳

Phoenixは、機械学習モデルを用いてエンゲージメント予測を行うコンポーネントです。「この投稿を見たユーザーは、いいねするか？リプライするか？」といった19種類の行動確率を予測します。

Thunderが実行する8段階のパイプラインを詳しく見ていきましょう。

この8段階のパイプラインは、1リクエストあたり数百ミリ秒で処理されます。あなたがXを開くたびに、このすべての処理が裏側で実行されているのです。

2023年3月31日、イーロン・マスク氏のツイートとともに、Xの推薦アルゴリズムがGitHubで公開されました。

├── home-mixer/          # Home Mixer（Rust）
├── thunder/             # Thunder パイプライン（Rust）
├── phoenix/             # Phoenix MLモデル（Python/JAX）
└── candidate-pipeline/  # 候補生成パイプライン

ただし、すべてが公開されているわけではありません：

つまり、私たちが見ることができるのは「システムの設計図」であり、「学習された知識」ではありません。しかし、設計図だけでも、アルゴリズムがどのように動作するかを深く理解することは可能です。