Movatterモバイル変換


[0]ホーム

URL:


はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • はてなブックマーク
  • 暮らし
  • ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
  • Twitterでシェア
  • Facebookでシェア

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

386usersがブックマークコメント36

    ガイドラインをご確認の上、良識あるコメントにご協力ください

    0/0
    入力したタグを追加

    現在プライベートモードです設定を変更する

    おすすめタグタグについて

      よく使うタグ

        ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改

        ガイドラインをご確認の上、良識あるコメントにご協力ください

        0/0
        入力したタグを追加

        現在プライベートモードです設定を変更する

        おすすめタグタグについて

          よく使うタグ

            はてなブックマーク

            はてなブックマークで
            関心をシェアしよう

            みんなの興味と感想が集まることで
            新しい発見や、深堀りがもっと楽しく

            ユーザー登録

            アカウントをお持ちの方はログインページ

            記事へのコメント36

            • 注目コメント
            • 新着コメント
            fcicq
            inode number can be sorted.http://web.archive.org/web/20120522053813/http://kodou.net/~tkng/dirdump.c

            その他
            yass
            " ということで、inode番号はext3ではブロック番号の近似として十分に使え、inode番号でソートすることで、ファイル数が多い場合のディレクトリ内のファイル読み込みを高速化することができた。"

            その他
            naoh16
            ファイルリストを作るときにinode順にすれば読み込みが早くなるかもしれない。

            その他
            diary193
            「inode番号はext3ではブロック番号の近似として十分に使え、inode番号でソートすることで、ファイル数が多い場合のディレクトリ内のファイル読み込みを高速化することができた」

            その他
            toton
            "圧倒的な速度差(23.6倍!)が得られた"、inode順に読む、ユーザースペースでのI/Oスケジューリング,

            その他
            sotarok
            inode順にソート

            その他
            tl_bkmk
            ブロック番号が近い順に並べてアクセスすれば、読み取りヘッダを移動させる時間が減るので、読み取りが高速に行える。

            その他
            karronoli
            小さなっていうのはHDDのキャッシュサイズ依存かー。それを超えたとしてもいくらか効果はありそう。

            その他
            hiroyadoraemon
            inode

            その他
            amachang
            inode 番号でソートしてアクセスするだけで 20 倍速く読める。/お手軽!

              その他
              tomoemon
              hdd

              その他
              T-miura
              STATのNCQがある程度ヘッドの動きが少ないよう、シーケンシャル的にしてくれると思っているのだが?それを超えた単位でのアクセス制御・・・?

                その他
                decoy2004
                36秒と850秒という、圧倒的な速度差(23.6倍!)が得られた。

                その他
                oza_x86
                inode番号の順番 = 対応するファイルの物理ブロックの順番 という条件が成立するときに、HDDのヘッダの動きを最適化するアプローチ. 要検証.

                その他
                suu-g
                勉強になる、たのしい、255人目のぶくま

                その他
                omaya
                逆にファイルシステムがファイル名をヒントにして実体の配置を考慮するようなものはあるかなぁ。

                  その他
                  ko-ya_ithaqua
                  http://blog.livedoor.jp/dankogai/archives/51239267.html

                  その他
                  takeshiketa
                  ダンコガイの説とどっちが正解かな

                    その他
                    tzt
                    ファイルシステムを使った時点で負けと言う気もする。

                    その他
                    inurota
                    これは素晴らしい

                      その他
                      asari3
                      とある連想検索エンジンを使うときに使えるかもと思った

                      その他
                      llill
                      汎用系を思わせるtips

                      その他
                      Fu-ki
                      [I/O][file]

                      その他
                      seiunsky
                      inodeでシーケンシャルにアクセスしてディスクアクセスを高速化する

                      その他
                      tacroe
                      inode番号はext3ではブロック番号の近似として十分に使え、inode番号でソートすることで、ファイル数が多い場合のディレクトリ内のファイル読み込みを高速化する

                      その他
                      nakag0711
                      ウイルススキャナとかはやっぱりこれやってるのかね

                        その他
                        potato777
                        [I/O]

                        その他
                        otonasi_kaoru
                        面白い

                          その他
                          k12u
                          すごい

                          その他
                          chroQ
                          へぇ。ext2系だけかと思ったらReiserFSにも使えるんだ。でもReiserってinode持ってるんだっけ?全く覚えてないなー。

                          その他

                          注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

                          リンクを埋め込む

                          以下のコードをコピーしてサイトに埋め込むことができます

                          プレビュー
                          アプリのスクリーンショット
                          いまの話題をアプリでチェック!
                          • バナー広告なし
                          • ミュート機能あり
                          • ダークモード搭載
                          アプリをダウンロード

                          関連記事

                            usersに達しました!

                            さんが1番目にブックマークした記事「ディレクトリの中...」が注目されています。

                            気持ちをシェアしよう

                            ツイートする

                            ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改

                            ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定し...ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号(メモリアドレスみたいなもんだな)を調べて、そのブロック番号を指定してHDDやSSDにアクセスす

                            ブックマークしたユーザー

                            • techtech05212023/10/07techtech0521
                            • darwinia2017/11/13darwinia
                            • nishidy2017/02/07nishidy
                            • k2k2monta2016/07/28k2k2monta
                            • satojkovic2016/02/04satojkovic
                            • sucrose2016/01/16sucrose
                            • yuhei_kagaya2015/02/08yuhei_kagaya
                            • motobrew2014/11/25motobrew
                            • fcicq2014/06/29fcicq
                            • yass2014/06/28yass
                            • azihsoyn2014/01/23azihsoyn
                            • bero20062013/07/09bero2006
                            • hohoho_ho20052013/04/16hohoho_ho2005
                            • itmst712013/03/27itmst71
                            • kkoonn842012/01/01kkoonn84
                            • emonkak2011/04/16emonkak
                            • fubar_foo2011/01/19fubar_foo
                            • naoh162010/11/25naoh16
                            すべてのユーザーの
                            詳細を表示します

                            ブックマークしたすべてのユーザー

                            同じサイトの新着

                            同じサイトの新着をもっと読む

                            いま人気の記事

                            いま人気の記事をもっと読む

                            いま人気の記事 - 暮らし

                            いま人気の記事 - 暮らしをもっと読む

                            新着記事 - 暮らし

                            新着記事 - 暮らしをもっと読む

                            同時期にブックマークされた記事

                            いま人気の記事 - 企業メディア

                            企業メディアをもっと読む

                            はてなブックマーク

                            公式Twitter

                            はてなのサービス

                            • App Storeからダウンロード
                            • Google Playで手に入れよう
                            Copyright © 2005-2025Hatena. All Rights Reserved.
                            設定を変更しましたx

                            [8]ページ先頭

                            ©2009-2025 Movatter.jp