Stacking 実装中

ちょうどよい加減に抽象化された Stacking の例が意外と見つからない。base models での CV、meta model での CV それぞれどうやるべきなのか。meta model は linear で良いのか。 tree base が良いのか。実践的な例をがんばって探してみている。このコンペ…

Kaggle Ensembling Guide + 実装例

Kaggle Ensembling Guide | MLWave という良記事を読み込む。そして1ミリもごまかさずに理解する過程をメモ。 Creating ensembles from submission files Voting ensembles これは分かりやすい。モデルが3つ以上あるときに prediction 結果の多数決をとって…

Kaggle 今日の作業記録

新コンペ。ネタバレ無しで。 安定した local CV の確立 いくつかのモデルを試す

Kaggle 新コンペ Santander Customer Transaction Prediction

とりあえず Starter Kerne 書いた。コンペ開催中はブログに何もかけないのが辛いですね。 www.kaggle.com

Quora コンペ入賞者手法まとめ

自分のコメントはかなり適当。後で更新するかも。 3rd 3rd place kernel | Kaggle Keras embedding load 時に stemmer and lemmetizer してできるだけ dictionary の中から見つける bidirectional GRU と LSTM の output の maxpool を concat max_length = …

Transformer - Attention Is All You Need の概要が理解できるリンク

Attention Is All You Need https://t.co/eUZ17XVu8L で提案された Transformer 以降は self-attention が主流な印象です。先日おおきな話題になった BERT も Transformer 系です。— agatan (@agatan_) February 12, 2019 で教えていただいた [1706.03762] A…

今回のコンペでやるべきだったこと

今回のコンペでやるべきだったこと、次回のコンペで活かせることに絞って覚書。 debug mode をつけるべきだった。train/test data のサイズを極端に小さくするモード。 Kernel を commit する前に小さいデータで動作確認をすべき。特に自分は typo が多いの…

Quora コンペ takuko さんのコード

Twitter で takuko さんが使用したスクリプトを公開してくださった。こういうのは本当にありがたい。 Quoraのスクリプトをまとめて、久々にgitでコードを公開しました！(requirementsとかREADMEとかめんどくさくて手をつけてないです。。。)https://t.co/jfh…

Kaggle における K-Fold CV まとめ

背景 参考 K-Fold CV と Train Test Split 違い K-Fold CV 例 K-Fold 亜種 CV FAQ Local CV の値が安定しない Local CV と public LB で傾向が違う 考えられる理由1 考えられる理由2 Local CV と public LB どちらを信じるか 背景 先日 submission の締切が…

RNN Attention の理解と bias の議論

背景 参照 前提 RNN を利用した Encoder& Decoder MNP モデル 特徴 図 Attention 理解のキーポイント 重み PyTorch での Attention の実装例 コードの解説 問題とされた点 筆者の疑問点 間違いを見つけたら 背景 Quora Insincere Questions Classification |…