Movatterモバイル変換

MS COCO datasetsの紹介（主にCaptionについて）Presenter: Seitaro ShinagawaAugmented Human Communication-labGraduate School of Information ScienceNara Institute of Science and Technology

What is MS COCO dataset ?画像とキャプションのデータセット1画像あたり5以下のキャプション（6以上のもある）http://arxiv.org/abs/1405.0312

How to Usehttp://mscoco.orgより色々ダウンロード便利なAPIがGithubで提供されているhttps://github.com/pdollar/coco : セグメンテーションなど用https://github.com/tylin/coco-caption : キャプション用（※サイトより引用）

MS COCO APIフィルター条件を満たすアノテーションIDをゲットフィルター条件を満たすカテゴリIDをゲットフィルター条件を満たす画像IDをゲット[ID]のアノテーションをロード[ID]のカテゴリをロード[ID]の画像をロードアルゴリズムの結果をロードし、アクセスするAPIをつくるアノテーションを表示ポリゴンセグメンテーションをバイナリマスクにコンバートrun-length encoding (RLE)エンコード済みバイナリマスクMをデコードRLEによってバイナリマスクMをエンコード

Annotation formatStored with JSON format ２つのアノテーションタイプ“instance” と “caption”

Instance Annotationsobjectがひとつか(0)複数か(1)ひとつobjectはポリゴンのarrayとして格納複数objectはRun LengthEncoding (RLE)のバイナリマスクとして格納

Caption Annotationsキャプションは画像あたり基本的に5つ以下（いくつかは6つ以上あるので注意）

Results Format Requirements基本ダウンロードしたデータと合わせる（評価用API、サーバを使う場合必須）最終的に全ての結果は一つのJSONファイルに格納される（Matlabならgason, Pythonならjson.dumpを通して格納）Object detection(boundary box) Object detection(segmentation)Caption generation

Dataset Details学習時、キャプションはPTBTorknizer in Stanford CoreNLP によって前処理推奨（評価用サーバ、API(coco-caption)が評価時にそうしているため）Collected captions using Amazon Mechanical Turk訓練データ82,783画像413,915キャプションバリデーションデータ40,504画像202,520キャプションテストデータ(評価サーバ)40,775画像379,249キャプション（c5: 179,189キャプション）（c40:200,060キャプション）参考：https://github.com/tylin/coco-caption/blob/master/pycocoevalcap/tokenizer/ptbtokenizer.py

More Detail 記号の削除PTBTorknizer in Stanford CoreNLPの役割について（前ページ参考コードより）-LRB-, -RRB- == ( , )-LCB-, -RCB- == { , }-LSB-, -RSB- == [ , ]は最初からないっぽい？PUNCTUATIONS = ["''", "'", "``", "`", "-LRB-", "-RRB-", "-LCB-", "-RCB-",".", "?", "!", ",", ":", "-", "--", "...", ";"] 小文字への統一-lowerCase lineの削除の例外処理（cutting-edgeなどの横棒は例外的に削除しない）-preserveLinescmd = ['java', '-cp', STANFORD_CORENLP_3_4_1_JAR,'edu.stanford.nlp.process.PTBTokenizer','-preserveLines', '-lowerCase']

However…実際に使ってみると色々落ち度がある・・・？？COCO_train2014_000000167126.jpgホットドック・・・らしい例外処理をしておかないと普通に死ぬ1. PILで読み込めない画像がある大部分の原因は読み込む環境依存かもしれないがたまにこんな画像が紛れている例外処理をしておかないと普通に学習が死ぬCOCO_val2014_000000200365.jpg2. 面積ほぼゼロのセグメントアノテーションがある

キャプションの実例(validationから)最初が大文字、ピリオド A woman standing in a kitchen preparing tea.全部小文字（理想的） a woman wearing a hat holding onto an umbrella全部大文字 A MAN OPENING A DOOR TO AN OVEN IN ARESTAURANT KITCHEN最初にスペース A man riding his bike with his dog in the side kick seatどうしようもないケース a corner of a bathroom shows part of a vanity and thecommode sits of the other side of the wa]]キャプションを前処理なく使うのは自殺行為最初が大文字、小文字、ピリオドがあるない、全て大文字、など表記ゆれが結構ひどい最後のは wall がwa]] となっていて笑う悪いことは言わない、前処理にcoco-caption API のPTBTorknizer in Stanford CoreNLPを使おうHowever…

Another Method自前でやると100枚以上の画像がだめになるので、CNN部分の再学習が必要なければ先人のおこぼれを頂戴するのがよいhttps://github.com/ryankiros/visual-semantic-embeddinghttp://cs.stanford.edu/people/karpathy/deepimagesent/などからcoco.zipというファイルをダウンロードできる→VGGによるvisual feature(4096次元)とキャプション(tokenize済み)が手に入るどーやって画像読み込んだかわからんけど使えるものは使わせてもらおう

Caption Evaluationcoco-caption APIにはBLEU, METEOR, ROUGE-L, CIDErによる自動評価尺度が用意されている必要なもの・・・生成したキャプションと対応する画像idの組（データセット内の任意の数）をdumpしたjsonファイル[{“image_id”: 404464, “caption”: “blackand white photo of a man standing infront of a building”}, {“image_id”:380932, “caption”: “group of people areon the side of a snowy field”},{“image_id”: 565778, “caption”: “traintraveling down a train station”}, … ](coco-caption/results/captions_val2014_fakecap_results.json)http://arxiv.org/abs/1504.00325

Storing Caption EvaluationevalImgs.json : 画像ごとの評価値 eval.json : テストセット全体の評価値APIを使うことで最終的な評価をjson形式で保存できる以下、各手法の説明です

BLEU仮説(生成した文)とリファレンスのN-gramの一致率による評価尺度N-gram : 局所的な単語の塊、Nは塊あたりの単語数例： I have a pen .N N-gram 語彙数1 I have a pen . 52 I have a pen . 43 I have a pen . 34 I have a pen . 2I, have, a, pen, .の５つI have, have a, a pen, pen .の4つI have a, have a pen, a pen .の3つI have a pen, have a pen .の2つN-gramの一致率が高いほど良い仮説を生成しているだろうという仮定がある(高いほど良い)

BLEU1. 仮説𝑐𝑖のある単語𝑤 𝑘(n-gramの語彙)に注目する。その出現回数をℎ 𝑘(𝑐𝑖)とする2. 仮説𝑐𝑖に対応する全てのリファレンス𝑠𝑖1, 𝑠𝑖2, ⋯ , 𝑠𝑖𝑚それぞれについて、単語𝑤 𝑘の出現回数ℎ 𝑘 𝑠𝑖1 , ℎ 𝑘 𝑠𝑖2 , ⋯ , ℎ 𝑘 𝑠𝑖𝑚 を算出、この中で最大のものを選んでℎ 𝑘(𝑐𝑖)と比べると、小さい方の値が単語𝑤 𝑘の一致数になる3. マッチ数を仮説𝑐𝑖中の全ての語彙についてマッチ数を加算4. すべての仮説について加算し、最後に仮説全体の単語数で除算n-gramの一致率の計算方法各n-gramの一致率(𝐶𝑃𝑛)の幾何平均を計算する𝑤 𝑛 =1𝑁

BLEUbrevity penalty一致率を高めるために生成される文章は往々にして極端に短くなる傾向がある（recallが低くなりがち）⇒不自然になりやすいのでペナルティをかける未確認 普通のBLEUスコアの計算では仮説ごとに一番良いリファレンスを選ぶが、MS COCOのAPIのBLEUは数式を見る限り単語ごとに良いリファレンスを選んでいるように見える brevity penaltyも普通のBLEUでは仮説より短くかつ一番近い長さのリファレンスが選ばれるが、MS COCO APIではどう算出しているかまだ確認していない（Arxiv論文を見る限りだと仮説𝑐𝑖ごとに近い長さのリファレンスを選択している模様）

ROUGE要約の評価尺度この数式はBLEUと違って仮説𝑐𝑖ごとの算出になっているので注意仮説𝑐𝑖と対応する全てのリファレンスにおける単語の出現回数の最小の共通部分を数える。𝑅𝑂𝑈𝐺𝐸 𝑁が高いほどrecallが高いといえる(亜種)𝑅𝑂𝑈𝐺𝐸𝐿 : based on the Longest Common Subsequence(LCS)𝑙 𝑐𝑖, 𝑠𝑖𝑗 ：𝑐𝑖, 𝑠𝑖𝑗間で一致している部分で最長の部分の単語列の長さ𝑅𝑙, 𝑃𝑙はrecallとprecision𝑅𝑙, 𝑃𝑙の重み付きF値(調和平均)で評価デフォルトで𝛽 = 1.2N-gramを用いる方法(高いほど良い)

ROUGE(亜種)𝑅𝑂𝑈𝐺𝐸𝑠 : based on the skip bi-gramsskip bi-gram : 飛び越しありのbi-gram例： I have a pen . bi-gramI havehave aa penpen .skip bi-gramで追加される語彙I a, I pen, I .have pen, have .a .Iとの組み合わせ語彙数（文中の単語数をWとする）bi-gram : W-1skip bi-gram : 𝑊∁2あとは𝑅𝑂𝑈𝐺𝐸 𝑁と似た方法でrecallとprecisionから算出（ただし、計算量が増えるのでAPIでは飛び越しは３つまでに制限されている）

METEOR仮説(生成した文)とリファレンスの単語の一致率による評価尺度BLEUの問題点 recallが低い 文法的に問題があっても検出できない 高いnのn-gramが０だと1文全体のスコアが幾何平均で0になってしまうこれらの問題を単語レベルの一致率で解決しようという評価尺度mは単語の一致数（アラインメントの数）precision, recallを計算(高いほど良い)

METEORprecisionとrecallから求められる調和平均によって算出（論文ではF値と呼称）𝑃𝑒𝑛はペナルティ(チャンク𝑐ℎの数が多い)＝(アライメントの塊がばらばら)ほど高いペナルティAPIのハイパーパラメータ𝛼, 𝛾, 𝜃の値は未確認

CIDEr𝑔 𝑘 𝑠𝑖𝑗 =ℎ 𝑘 𝑠𝑖𝑗𝑤 𝑙∈Ω ℎ𝑙(𝑠𝑖𝑗)log𝐼𝐼 𝑝∈𝐼 min(1, 𝑞 ℎ 𝑘(𝑠 𝑝𝑞))image-captioningの評価尺度として提案された。n-gram 𝑤 𝑘の出現回数ℎ 𝑘(𝑠𝑖𝑗)のTF-IDF重み付き評価尺度 ( j : リファレンス番号 i : 画像番号)Term Frequency Inverse Document FrequencyFirst Termリファレンス𝑠𝑖𝑗の中で出現回数の多いn-gramに大きい重みを付けるSecond Term全画像を通して全てのセンテンスの中で出現回数の多いn-gramに小さな重みを付ける(高いほど良い)

CIDEr𝑗仮説𝑐𝑖 と対応する全てのリファレンス𝑠1, 𝑠2, ⋯ , 𝑠 𝑚 についてコサイン類似度とり、対応する全リファレンスの平均をとるnはn-gramのnに対応している。𝑤 𝑛はuni-gramからn-gramまでを正規化する項で、APIではBLEUと同様𝑤 𝑛 = 1/𝑁を使っているNの値も、APIではBLEU同様N=4を用いている

CIDEr-DCIDErの亜種n-gramごと

Movatterモバイル変換

Change Language

MS COCO Dataset Introduction

Embed presentation

Recommended

More Related Content

What's hot

Viewers also liked

Similar to MS COCO Dataset Introduction

More from Shinagawa Seitaro

MS COCO Dataset Introduction

Editor's Notes