  |
はてなキーワード:カーネル法とは
フェミニズムの分類が多すぎると聞いて
記述集合論（Borel階層, Projective階層, 汎加法族）
モデル理論（型空間, o-極小, NIP, ステーブル理論）
再帰理論/計算可能性（チューリング度, 0′, 相対計算可能性）
構成主義,直観主義,ユニバース問題,ホモトピー型理論（HoTT）
体論・ガロア理論
表現論
K-理論
初等数論（合同, 既約性判定,二次剰余）
解析数論（ゼータ/ L-関数,素数定理,サークル法, 篩法）
p進数論（p進解析, Iwasawa理論, Hodge–Tate）
超越論（リンドマン–ヴァイエルシュトラス, ベーカー理論）
実解析
多変数（Hartogs現象, 凸性, severalcomplex variables）
関数解析
バナッハ/ヒルベルト空間,スペクトル理論, C*代数, von Neumann代数
フーリエ解析,Littlewood–Paley理論, 擬微分作用素
確率解析
常微分方程式（ODE）
偏微分方程式（PDE）
非線形PDE（Navier–Stokes, NLS, KdV, Allen–Cahn）
幾何解析
リッチ流, 平均曲率流,ヤン–ミルズ,モノポール・インスタントン
エルゴード理論（Birkhoff, Pesin）,カオス, シンボリック力学
点集合位相,ホモトピー・ホモロジー, 基本群,スペクトル系列
4次元トポロジー（Donaldson/Seiberg–Witten理論）
複素/ケーラー幾何（Calabi–Yau, Hodge理論）
スキーム, 層・層係数コホモロジー, 変形理論, モジュライ空間
多面体, Helly/Carathéodory,幾何的極値問題
ランダムグラフ/確率的方法（Erdős–Rényi, nibble法）
加法的組合せ論（Freiman, サムセット, Gowersノルム）
彩色,マッチング,マイナー理論（Robertson–Seymour）
列・順序・格子（部分順序集合, モビウス反転）
測度確率, 極限定理, Lévy過程, Markov過程, 大偏差
統計学
ノンパラメトリック（カーネル法, スプライン,ブーストラップ）
時系列（ARIMA,状態空間, Kalman/粒子フィルタ）
非凸最適化
離散最適化
整数計画,ネットワークフロー, マトロイド, 近似アルゴリズム
Littleの法則, 重み付き遅延, M/M/1, Jackson網
エントロピー,符号化（誤り訂正, LDPC,Polar）, レート歪み
公開鍵（RSA,楕円曲線, LWE/格子）,証明可能安全性,MPC/ゼロ知識
計算複雑性
機械学習の数理
量子場の数理
相転移, くりこみ, Ising/Potts, 大偏差
数理生物学
数理神経科学
データ解析
高次元データ空間の幾何学的構造は、情報科学におけるテーマであり、非線形性、トポロジー、リーマン多様体などの数学的概念を必要とする。
このような多様体は、局所的には線形空間として振る舞うが、全体としては非線形構造を持つ。
例えば、データがN次元ユークリッド空間に埋め込まれている場合、その埋め込みは必ずしもユークリッド距離に基づくものではなく、リーマン計量を用いた距離関数が適用されることが多い。
このアプローチは、確率分布のパラメータ空間をリーマン多様体として扱うことで、統計的推定や機械学習アルゴリズムの設計に新たな視点を提供する。
リーマン多様体上の最適化問題を扱う際には、フィッシャー情報行列が重要な役割を果たす。
フィッシャー情報行列は、パラメータ空間内の点での曲率を測定し、その逆行列は最適化アルゴリズムにおける収束速度に影響を与える。
具体的には、フィッシャー情報行列の固有値分解を通じて、多様体上の最適化問題における局所的な最適解の安定性や収束性を評価することが可能となる。
トポロジカルデータ解析は、高次元データの幾何学的構造を理解するための強力な手法である。
特に、持続的ホモロジーやベッチ数といったトポロジーの概念を用いることで、高次元空間内でのデータポイント間の関係性を捉えることができる。
持続的ホモロジーは、データセットが持つトポロジカル特徴を抽出し、その変化を追跡する手法であり、多様体の形状や穴の数などを定量化することが可能である。
これは、異なるスケールでデータを観察しても同じトポロジカル特徴が得られることを意味する。
具体的には、フィルタリング手法（例：距離行列やk近傍グラフ）を用いてデータポイント間の関係性を構築し、その後持続的ホモロジーを計算することで、高次元空間内でのデータ構造を明らかにする。
ユークリッド距離だけでなく、マンハッタン距離やコサイン類似度など、多様な距離関数が存在し、それぞれ異なる幾何学的特性を反映する。
特に、高次元空間における距離関数の選択は、クラスタリングアルゴリズムや分類器の性能に直結するため、その理論的根拠と実用的応用について深く考察する必要がある。
さらに進んだアプローチとして、構造化された距離関数（例：Mahalanobis距離）やカーネル法による非線形変換が挙げられる。
これらは、高次元空間内でのデータポイント間の関係性をより正確に捉えるために設計されており、多様体学習やカーネル主成分分析（KPCA）などで活用されている。
あと一応指摘しておくとわざわざ回帰の式にφを使っているのは何か意味があるんだろうか？y=ax+εとせずわざわざφとか使っている時点で非線形関数を考えているのかと思うが、例えばφ(x)=x^2などとすればσ=0でも相関がとても小さくなる例が作れる 急にカーネル法の話でも始めるつもりだろうか
軽い気持ちで相関って書いたら突っかかられて面倒になってきたな
コメントでの記法に準拠するけど、ここで相関の強さという語は普通想定されると思われる相関係数の大小を指していると想定する
まず回帰の確率モデルがxを確率的に扱わないというのは単に解きやすいから初等的にはそういう仮定を置くというだけであって、一連の変数誤差モデルなどx側にも誤差の入る確率モデルは普通に使われている
あとこういう統計推論の文脈で用いられる「分散」という語は確率変数の分散ではなく標本分散なので、背後に何の確率モデルを仮定するかどうか関係なく形式的に計算される xが広がれば標本分散は大きくなるので分散と無関係という説明も意味が分からない
一応指摘しておくとわざわざ回帰の式にφを使っているのは何か意味があるんだろうか？y=ax+εとせずわざわざφとか使っている時点で非線形関数を考えているのかと思うが、例えばφ(x)=x^2などとすればσ=0でも相関がとても小さくなる例が作れる 急にカーネル法の話でも始めるつもりだろうか
もともとの文脈では分散の話をしていなかったし、（あなたが持ち出した）分散という語を使って議論するのが正しいわけではないと思うが、単に相関係数は分散でスケーリングをかけているので（あなたのいうところの）分散も考慮している、という程度の意味で書いた。そもそも回帰係数と相関係数は別の概念でしょう
分散は単にスケーリングとしてしか作用しないから、おそらくあなたの言いたかったことは分散ではなく分布を考慮できるかどうかではないかと思うが、共分散部分が分布の影響をきちんと考慮してくれている。
あと相関の強さについても度合は何も言及していなかったのに、突っかかりたいだけでしょうあなたは
他人に向かってバカをさらしちゃったなとか嘲る前に、その程度の知識でマウントを取ろうとするのをやめたほうがいいと思う
凸最適化になってるか(なってない場合に一般的に最適化をどう構成するか)とか、カーネル法で非線形に写像した嵜が気軽に"無限次元"とかいうけどどういう意味で無限なのか(例えばそもそもその"内積"は写像したさきの空間で完備化されてるのか、もっと言えば可分なヒルベルト空間でなければ高々可算個の直交基底の存在すら一般には言えないけど計算機で表現するときには有限次元で近似するわけでそのへんどうするのか)とか、そういう数学的に素性のいい空間での議論になってないと色々厳しい気が。(いや私もﾃﾞｨｲｲｲｨｨｰｰｰﾌﾟﾗｰｰｰｰｰﾆﾝｸﾞは全然知らないのでそのへんどうなってるのか無知なんだけど)
なんか話が合いそうだなと思ったので返信。増田なのがちょっと勿体ない気もするけど。
ちなみに俺のバックグラウンドを書いておくと、学生時代の専攻は工学系なんだけど、それにしてはオーバースペックなぐらい数学をかじってた感じの方面。あんまり詳しく書くと特定されそうなんでこの程度で勘弁ね。
"Pattern Recognition andMachine Learning"のビショップも物理出身だけど、あの年代は確かにそういう色が強かったのかもしれない。
確かにその種の傾向は上の世代までかもしれないね。
ビショップが物理出身なのは知らなかったけど、それ聞いてなんか合点のいく気がした。何か妙に数学へのマニアックなこだわりの片鱗が見える割に、数学屋から見ると妙な記号法を使うんだよね、あの人。
全然高度じゃないです＞＜
いや、だからあくまで「工学として」ね。線型代数と、微積の「計算」以外を使うことって工学ではそうないでしょ（フーリエ変換とかだって工学の文脈では所詮「計算」だもんね。）。
制御理論とか機械学習では、関数解析の概念がちょっとだけ出てくるけど、あんなんでも数学屋にとってはオアシスだね。
もっとも、カーネル法関係ではいつも申し訳程度にMercerの定理が言及されているのを見ると「なんだかなあ」っていつも思うけど。
そうそう、あれに限らず統計学の理論の一部にはものすごく違和感あるんだよね。
増田だから書けるけど、情報幾何なんて「お前、双対接続って言いたいだけちゃうんかと」って感じだし、他にも色々、何でも抽象化して一般化すりゃいいってもんじゃないんだぞと言いたくなることが色々。
統計学の理論と機械学習・パターン認識の関係は、数理物理・理論物理と実験物理の関係に似てる気がするんだよね。しかも統計学の場合、普遍的に綺麗な構造なんてものがあると思えないだけに余計に始末が悪い。「ひも理論は実験で検証できないから科学ではない」って批判があるらしいけど、統計学にも同じ批判されても仕方ない理論が色々あるよね。データから何かを推定する理論なのに、データがどれだけあっても実用的には絶対まともな結果が出せないモデルとか。
CVのレイトレーシングで経路積分使って云々というのもあったけど（その人はGoogleに言ってアドセンスかなんか作ってるらしい）、あれもまぁ適当なパス空間で平均とるだけって感じがするし…。
CVはまあ何でもありの世界だよね。誰か無限次元リー群とか使ってみてくれないかなと思う。というか俺自身が一度やろうとして無意味なことに気づいてやめたんだけどさ。
イジングモデルとかその辺は不勉強なんであまりよく知らないんだけど、一般的にその手のモデルは、性能が変わらないだけならいいけど、計算量がどうとかデータ量がどうとかで事実上使えなかったりすることが多いんだよね。着想として物理からアイディアを持ってくるのはいいんだけど、物理から持ってきたアイディアなら必ず筋がいいはずみたいな思いこみ（そう思いたくなる気持ちはよくわかるけど）はどうかと思う。
普通に日本の伝統的新卒採用でそういう会社に行く人はいるけど、やってることは工学とかあるいは良くわからない専攻の人と同じな気がする。これはちょっと曖昧だけど。
うん、そうなってしまうのは仕方ないでしょうね。
ただ逆に、変わり種のバックグラウンド持ってる人は道具箱が豊富だから、新しいこと思いつく可能性もあるわけで、採用されるとしたらむしろそれを買われてじゃないかな。俺自身、工学部の人は普通は絶対知らない数学を色々知ってるので、それをどうにか武器にできないかいろいろ試行錯誤中だよ。というか特許とかの形で発表したのもすでにあるけどね。
特に情報系の分野は実装力で評価されることが多いし…。実装力は数値計算得意とかそういうのとは全く別のスキルだよね。プログラミングマニア的な要素が必要。
分野にもよるけどね。情報システムや計算機自体を専門にして、ハードとかインターフェイスに近い部分をやってたらどうしてもそうなるけど、信号とか画像とか音声とか言語とかの処理のコア部分を作るときにはコーディング能力よりも紙と鉛筆の能力の方が大事・・・、だと思いたい。
どうもパソコンマニア的気質は中高生のときに飽きてしまって、「PCパーツの種類とか流行の言語とか覚えたってどうせ10年したらすぐに廃れるんだから」という感じで、余りはてな民的に新しいネタ追いかけたくないんだよね。クロージャって何ですか、ああそうですね閉包ですね、集合の内部と境界の和集合ですねっていう感性の持ち主なので。正直、コーディングは単純作業と認識してます。
