Movatterモバイル変換


[0]ホーム

URL:


はてラボはてな匿名ダイアリー
ようこそ ゲスト さんログインユーザー登録
< anond:20250606112253 |anond:20250606104222 >

2025-06-06

Twitter「the-algorithm」における推薦システム数学抽象化

Twitterの「the-algorithm」リポジトリをもとに、推薦アルゴリズム数学的に極限まで抽象化すると、以下のように表現できます

1.問題設定

ユーザー u ∈ U に対して、一連の候補アイテムツイート) i ∈ I をスコア付けし、降順に並べて上位 K を表示します。

要するに、以下を最大化する推薦問題です:

argmax{i∈C(u)} S(u,i)

ここで C(u) は候補集合、S(u, i) はスコア関数

2.パイプライン構造:4段階モデル

(1)候補生成(Retrieval)

千万から単位ツイート全体 Iから、まず候補集合 C(u) ⊂ I を生成。

グラフ構造フォロー関係)や「SimClusters」「TwHIN」など埋め込みから近似。

検索インデックスLucene/Earlybird)による検索スコアによる絞り込み 。

数理的には、潜在空間中でユーザーアイテム距離または類似sim(u, i) が上位のものを選ぶ操作

(2) 軽量ランク付け(Light Ranker)

候補数をさらに削減。特徴量 xᵤ,ᵢ を簡易学習モデル線形モデルなど)に入力し出力スコア

Slight(u,i) = wᵀxᵤ,ᵢ

重み w やバイアス学習済み。

(3) 重量ランク付け(Heavy Ranker)

多層ニューラルネットマルチタスク学習で、複数ユーザー行動(いいねリプライリツイートなど)確率 Pₖ(u, i) を予測

スコア関数は以下の形:

S(u,i) = Σₖ αₖPₖ(u,i)

例:リプライ Pᵣₑₚₗᵧ に重み 27、著者返信あり Pᵣₑₚₗᵧ_ₐᵤₜₕₒᵣ に 75 など。

ここで係数 αₖ は A/Bテストなどで最適化されます

(4)可視フィルタスコア調整(Filtering &amp; Boosting)

ランキング後、フィルタスコア修正を施す:

ブロックミュート・NSFWスパムなどで除外。

投稿者Blue Verifiedなどでスコアを×4または×2倍。

同一投稿者続出の抑制、逆風バイアスnegativefeedback)などが入る。

これは以下のような修正

S̃(u,i) =mS(u,i)

ただし m はフィルタブーストによる乗数。

3.数学抽象表現

以上を統合すると、推薦問題は以下のように整理できます

  • 候補生成:C(u) = {i ∣sim(u,i) ≥ τ}
  • ランク:Slight(u,i) = wᵀxᵤ,ᵢ
  • ランク:P = fᶿ(u,i) ∈ [0,1]ᴷ,重み α によるスコア合成
  • 調整後最終スコア:S̃(u,i) = m(u,i) Σₖ αₖPₖ(u,i)
  • 推薦:argmaxₖ S̃ を選定し表示。

この構成一般的レコメンダシステムの「Retrieval → Ranking → Filtering」の標準パイプライン整合

4.抽象化限界と詳細(モデル信号推定

学習モデル fᶿ は特徴量集合・ニューラ構造・訓練データによって依存し、ブラックボックス的。

特徴量 xᵤ,ᵢ は埋め込み、行動履歴文脈信頼性指標(tweepcred)等多次元で複雑。

スコア重み αₖ は明示されるが、最適化は A/Bテスト・実システムでの評価に基づく。

信頼性安全性ルールフィルタとして明示されるが、その詳細(具体的しきい値など)は省略・秘匿されている。

数学的に本質抽象すると

S̃(u,i) = m(u,i) Σₖ αₖ fᶿₖ(u,i)

ここで、

という、レコメンドパイプライン抽象テンプレート帰着します。

5.結論

Twitterの「the-algorithm」は、コード構造の多くを公開しているものの、モデルパラメータ学習データ設定ファイルは秘匿されており、上述パイプライン数学的な枠組みは把握できても、実際の挙動はまだブラックボックスです。

とはいえレコメンデーション理論観点からは、上記抽象モデルで十分に説明可能であり、汎用の数学モデルとして整合しています

Permalink |記事への反応(0) | 11:25

このエントリーをはてなブックマークに追加ツイートシェア

記事への反応 -

記事への反応(ブックマークコメント)

全てのコメントを見る

人気エントリ

注目エントリ

ログインユーザー登録
ようこそ ゲスト さん
Copyright (C) 2001-2025 hatena. All Rights Reserved.

[8]ページ先頭

©2009-2025 Movatter.jp