Web wide crawl with initial seedlist and crawler configuration from March 2011. This uses the new HQ software for distributed crawling by Kenji Nagahashi.
What’s in the data set:
Crawl start date: 09 March, 2011
Crawl end date: 23 December, 2011
Number of captures: 2,713,676,341
Number of unique URLs: 2,273,840,159
Number of hosts: 29,032,069
The seed list for this crawl was a list of Alexa’s top 1 million web sites, retrieved close to the crawl start date. We used Heritrix (3.1.1-SNAPSHOT) crawler software and respected robots.txt directives. The scope of the crawl was not limited except for a few manually excluded sites.
However this was a somewhat experimental crawl for us, as we were using newly minted software to feed URLs to the crawlers, and we know there were some operational issues with it. For example, in many cases we may not have crawled all of the embedded and linked objects in a page since the URLs for these resources were added into queues that quickly grew bigger than the intended size of the crawl (and therefore we never got to them). We also included repeated crawls of some Argentinian government sites, so looking at results by country will be somewhat skewed.
We have made many changes to how we do these wide crawls since this particular example, but we wanted to make the data available “warts and all” for people to experiment with. We have also done somefurther analysis of the content.
If you would like access to this set of crawl data, please contact us at info at archive dot org and let us know who you are and what you’re hoping to do with it. We may not be able to say “yes” to all requests, since we’re just figuring out whether this is a good idea, but everyone will be considered.
過去のアニメーション神戸ホームページを閲覧される際は、リンク切れや、すでに使われていないメールアドレスが掲載されている場合があります。あらかじめご了承ください。なお、アニメーション神戸に関するお問い合わせは""までお願いいたします。
※各回のロゴマークから、過去のアニメーション神戸のホームページへリンクしております。
神戸賞 | : | (株)サテライト |
劇場映画の部 | : | GHOST IN THE SHELL/攻殻機動隊 |
テレビ番組の部 | : | 新世紀エヴァンゲリオン |
オリジナル・パッケージ・ソフトの部 | : | KEY THE METAL IDOL |
インタラクティブの部 | : | ジャングルパーク |
外国作品賞 | : | トイストーリー |
部門賞・デジタル技術部門 | : | オムニバス・ジャパン |
部門賞・演出部門 | : | 庵野秀明 |
部門賞・主題歌部門 | : | 田村直美「ゆずれない願い」 |
部門賞・声優部門 | : | 林原めぐみ |
読売賞 | : | 藤子・F・不二雄(漫画家) |
神戸賞 | : | 幾原邦彦(監督) |
特別賞: | : | 野沢雅子(声優) |
劇場映画の部: | : | もののけ姫 |
テレビ番組の部 | : | 少女革命ウテナ |
オリジナル・パッケージ・ソフトの部 | : | 新機動戦記ガンダムWEndlessWaltz |
インタラクティブ・ソフトの部 | : | 新世紀エヴァンゲリオン鋼鉄のガールフレンド |
外国作品賞 | : | ウォレスとグルミット、危機一髪! |
部門賞・デジタル技術部門 | : | スタジオジブリ |
部門賞・演出部門 | : | 宮崎駿 |
部門賞・音楽部門 | : | 鷺巣詩郎 |
部門賞・声優部門 | : | 椎名へきる |
会場特別賞 | : | 「新世紀エヴァンゲリオン劇場版 シト新生DEATH&REBIRTHTHEENDOFEVANGELION」 「新世紀エヴァンゲリオン劇場版 Air/まごころを、君に」 |
神戸市民特別賞 | : | 地球が動いた日 |
個人賞 | : | ワタナベシンイチ(監督) |
特別賞 | : | 大塚康生(アニメータ-) |
作品賞・劇場部門 | : | 劇場版ポケットモンスター ミュウツーの逆襲 |
作品賞・テレビ部門 | : | カウボーイビバップ |
作品賞・パッケージ部門 | : | サクラ大戦2~君、死にたもうことなかれ~ サクラ大戦~桜華絢爛~ |
個人賞 | : | 大地丙太郎(監督) |
特別賞 | : | 小山高生(脚本家) |
作品賞・劇場部門 | : | 劇場版カードキャプターさくら |
作品賞・テレビ部門 | : | ∀ガンダム |
作品賞・パッケージ部門 | : | 青の6号 |
AM神戸賞(主題歌賞) | : | おジャ魔女カーニバル!!(歌:MAHO堂) |
個人賞 | : | 沖浦啓之(監督) |
特別賞 | : | 斯波重治(音響監督) |
作品賞・劇場部門 | : | 劇場版カードキャプターさくら 封印されたカード |
作品賞・テレビ部門 | : | 無限のリヴァイアス |
作品賞・パッケージ部門 | : | シェンムー1章横須賀 |
作品賞・ネットワーク部門 | : | 「ポケットモンスター金」「ポケットモンスター銀」 |
AM神戸賞(主題歌賞) | : | ウィーアー!(歌:きただにひろし) |
個人賞 | : | 北久保弘之(監督) |
特別賞 | : | 大河原邦男(メカニックデザイナー) |
作品賞・劇場部門 | : | 千と千尋の神隠し |
作品賞・テレビ部門 | : | 機動天使エンジェリックレイヤー |
作品賞・パッケージ部門 | : | グランツーリスモ3 A-spec |
作品賞・ネットワーク部門 | : | ファンタシースターオンライン |
AM神戸賞(主題歌賞) | : | W-Infinity(歌:三重野瞳With影山ヒロノブ) |
個人賞 | : | 原恵一(監督) |
特別賞 | : | 丸山正雄(プロデューサー) |
作品賞・劇場部門 | : | 猫の恩返し |
作品賞・テレビ部門 | : | ラーゼフォン |
作品賞・パッケージ部門 | : | ほしのこえThevoicesofadistantstar |
作品賞・ネットワーク部門 | : | ファイナルファンタジーXI |
AM神戸賞(主題歌賞) | : | Forフルーツバスケット(歌:岡崎律子) |
個人賞 | : | 黒田洋介(脚本家) |
特別賞 | : | 松本零士(漫画家) |
作品賞・劇場部門 | : | 千年女優 |
作品賞・テレビ部門 | : | 機動戦士ガンダムSEED |
作品賞・パッケージ部門 | : | 戦闘妖精雪風 |
作品賞・ネットワーク部門 | : | Grand‐Ma |
AM神戸賞(主題歌賞) | : | 明日へのbrilliantroad(歌:angela) |
個人賞 | : | 神山健治(監督) |
特別賞 | : | 渡辺繁(プロデューサー) |
作品賞・劇場部門 | : | イノセンス |
作品賞・テレビ部門 | : | 鋼の錬金術師 |
作品賞・パッケージ部門 | : | ジャングルはいつもハレのちグゥ FINAL |
作品賞・ネットワーク部門 | : | スキージャンプ・ペア |
ラジオ関西賞(主題歌賞) | : | DANZEN!ふたりはプリキュア(歌:五條真由美) |
個人賞 | : | 吉田健一(アニメーター) |
特別賞 | : | 九里一平(ゼネラルプロデューサー) |
作品賞・劇場部門 | : | 機動戦士Zガンダム-星を継ぐ者- |
作品賞・テレビ部門 | : | 巌窟王 |
作品賞・パッケージ部門 | : | トップをねらえ2! |
作品賞・ネットワーク部門 | : | まゆとろ THE TOONS |
ラジオ関西賞(主題歌賞) | : | ハッピー☆マテリアル(歌:麻帆良学園中等部2-A) |
Copyright ©1996-2011. Executive Committee of Animation Kobe All rights reserved.