Repository files navigation

• ClipCap: CLIP Prefix for Image Captioning

• This repository usesrinna/japanese-gpt2-medium andrinna/japanese-clip-vit-b-16

  • Thanks for rinna Co., Ltd. ;)

• This code usesSTAIR Captions for training Japanese image captioning model.

  • So you should download STAIR Captions andCOCO datasets

1. Dowloaddatasets & unzip & place it in./ (./STAIR-captions).
2. DownloadCOCO datasets & unzip & place it in./ (./train2014,./val2014).

python train.py

  python train.py --eval

output: 庭の芝生の上に青い服の男性がいる

output: 男性がスケートボードをしている

output: 窓の外にテントが立ている

output: パソコンのキーボードの上に黒い猫がいる

output: 黒い猫が黒い猫のトイレに頭を付けている

output: キッチンの中にたくさんの商品が並べられている

output: 猫がテーブルの上にある器を見ている

output: 野球の応援をしている男性と、その後ろで観戦している男性

This work is licensed under the MIT License. To view a copy of this license, see LICENSE.