Movatterモバイル変換

[0]ホーム

サクサク読めて、
アプリ限定の機能も多数！

アプリで開く

はてなブックマーク

閉じる

暮らし
xargs を使ってカジュアルに並列処理 - たごもりすメモ

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

xargs を使ってカジュアルに並列処理 - たごもりすメモ

暮らしカテゴリーの変更を依頼記事元:

tagomoris.hatenablog.com

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

539usersがブックマークコメント

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

xargs を使ってカジュアルに並列処理 - たごもりすメモ

539 users

tagomoris.hatenablog.com

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント59件

注目コメント
新着コメント

riywoひぃ！xargsにもあったのか！でも僕はGNU Parallel派。

2011/05/13リンク

その他

HHRfindの結果とかをサクッとxargsで並列処理できる。-Lスイッチで渡す引数の数を1にしなければならない点が嵌りポイント

bash

2020/07/27リンク

その他

U1and0xargs -L 引数上限 -P コア数として使用する。-P0で最大まで使うとOS動かなくなっちゃうから重い処理には使わない。 -L指定しないと引数が5000とか1万とか越えない限りパラレルに実行してくれない

2019/06/29リンク

その他

el-condorシェル芸だ

shell script

2018/11/06リンク

その他

nntsugu xargs -Pで同時実行されるプロセス数を指定しても、-Lなり-nで1度の実行の際に使われる引数の数を定義してあげないと、並列処理されないよ話。※ARG_MAXを越える場合は異なる

2018/05/06リンク

その他

higedxargsで並列実行をしてマルチコアを効率良く使おう、という話。Parallelコマンドを使う代わりに大量のファイルを削除する時に使っている。

2017/06/13リンク

その他

ainamexargs便利屋

2017/03/01リンク

その他

mactkg-Pだけで良いかと思ったらだめだった。-Lがあるのかー

Linux

2016/12/27リンク

その他

zyxwv xargs -P (同時実行するプロセス数) -L (ひとつのコマンドに渡す引数の最大数)

linux

2016/02/23リンク

その他

azihsoyn“xargs の -P (--max-procs) オプションを使う”知らなかった

2015/03/19リンク

その他

nyaocatと思ったら， xargs 自体に並列実行オプションあったのか。知らなかった。

2014/07/07リンク

その他

hansode86 ガッツリ検証する前に検索してみてよかった。あっさり良エントリに辿り着いた。

2014/02/23リンク

その他

Chiseixargsすごい！

xargs

2012/09/05リンク

その他

uzuki-firstなるほど

2012/07/19リンク

その他

ablabocpuを活用しきる

2012/03/19リンク

その他

y0sh1kawxargsスキスキ

2012/02/27リンク

その他

shiumachi-L とか -P とか全く知らなかった

linux

2012/02/26リンク

その他

hiro_yxargsで並列処理させる

linux

2011/08/22リンク

その他

hazisarashixargs で分割し、並列処理

2011/06/08リンク

その他

nantan "xargs を使ってカジュアルに並列処理 - tagomorisのメモ置き場"

2011/06/04リンク

その他

mokemokechickenこれはしらなんだ・・・

2011/06/03リンク

その他

fumokmmほほぉ。

2011/05/27リンク

その他

Akaza xargs 並列処理

linux

2011/05/18リンク

その他

twainyxargsの-Pオプション

linux

2011/05/16リンク

その他

nobu666xargs -P! そういうのもあるのか

parallel-processing

2011/05/16リンク

その他

mas-higa初めて xargs の使い所が分かった。

2011/05/16リンク

その他

pmakinoparallel なくても xargs で並列化できたのか

2011/05/16リンク

その他

kennakシェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログフ

2011/05/15リンク

その他

yoshidaaところでxargsには -P というオプションがある(ことに今日気付いた)。詳しくは各自 man xargs していただきたいが、なんと複数プロセスを並列に実行してくれるらしい

2011/05/15リンク

その他

a24-watanabexargsスキスキ。

2011/05/15リンク

その他

Hashxargs以外と高性能

unix

2011/05/15リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「xargs を使ってカ...」が注目されています。

気持ちをシェアしよう

ツイートする

xargs を使ってカジュアルに並列処理 - たごもりすメモ

シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮した...シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて