Movatterモバイル変換


[0]ホーム

URL:


はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • Twitterでシェア
  • Facebookでシェア

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

1062usersがブックマークコメント31

    ガイドラインをご確認の上、良識あるコメントにご協力ください

    0/0
    入力したタグを追加

    現在プライベートモードです設定を変更する

    おすすめタグタグについて

      よく使うタグ

        バッチ処理 プラクティス

        1062 userswww.yamarkz.com

        ガイドラインをご確認の上、良識あるコメントにご協力ください

        0/0
        入力したタグを追加

        現在プライベートモードです設定を変更する

        おすすめタグタグについて

          よく使うタグ

            はてなブックマーク

            はてなブックマークで
            関心をシェアしよう

            みんなの興味と感想が集まることで
            新しい発見や、深堀りがもっと楽しく

            ユーザー登録

            アカウントをお持ちの方はログインページ

            記事へのコメント31

            • 注目コメント
            • 新着コメント
            auto_chan
            (特に途中で)コケたときの復旧がスッキリ回るかが腕の見せ所。正常系のパフォーマンス最強でも、障害設計がぐだぐだで毎回手作業で原因を特定してデータをパッチして再開用の特別データをこしらえて…とか怖ッ

              その他
              n314
              自分のシステムの集計とかなら楽なんだけど、大抵外部api連携とか決済とかメール送信とかが絡むんだよなあ…。ロールバックや冪等性は諦めていることが多い。

                その他
                fukken
                「極力バッチ処理をなくす」がしばしば正解だったりするやつ

                  その他
                  yo4raw
                  バッチ処理がないシステムだと「バッチにせず実現するには」という発想になり健全だけど、やむを得ない理由で一つでもバッチ処理をつくると、とたんにバッチ処理に逃げがち。

                    その他
                    circled
                    この辺のコードを書きたい時、Laravelとか初めから殆どの内容が一通り準備されてたりすんのよね →https://laravel.com/docs/9.x/queues

                      その他
                      hiby
                      >常に0からリトライできる構造が理想です うむ

                        その他
                        eos2323
                        90年代からのバッチがずーっと動いてて誰もメンテしていないのでそれはそれでいいのかってなる

                          その他
                          dominion525
                          こういうの、いままでうまく伝えるのに失敗してきたから反省が多くて辛いし、まとめられる人は立派だなあと思うなど。

                            その他
                            versatile
                            集計系日時バッチとかがなぁ。ある日失敗してたのをあとで気づいて、日付指定で再実行するとちゃんとその日から今日までの全部が再計算されるような仕組みつくってたけど、まぁ、めちゃくちゃめんどいね

                              その他
                              for-my-internet-demo
                              未だに反省点が多い

                                その他
                                diveintounlimit
                                わかりすぎて首がもげる

                                  その他
                                  propel
                                  “処理で解決したいことは何か、なぜ解決したいのか (Why) インプットとアウトプットは何か (What) どれくらいの量のデータを扱うのか (How much) いつ実行したいのか、いつまでに完了したいのか (When) 前提条件、実行時制約、

                                    その他
                                    nilab
                                    処理件数,処理時間,回復性,冪等性,整合性,可観測性,論理設計,トリガー,インターフェース,エラーハンドリング,リトライ,ロールバック,バックアップ,ログ,監視/通知/報告,パフォーマンス,ドキュメント

                                      その他
                                      versatile
                                      versatile集計系日時バッチとかがなぁ。ある日失敗してたのをあとで気づいて、日付指定で再実行するとちゃんとその日から今日までの全部が再計算されるような仕組みつくってたけど、まぁ、めちゃくちゃめんどいね

                                        2022/10/26リンク

                                        その他
                                        strawberryhunter
                                        1つの処理やSQLを複雑にしない。元に戻せない外部連携やメール送信などは可能なら分離する。中間テーブルは避けがちだけど単純化のために作って良い。・・・あたりが近年学んだことだな。

                                        その他
                                        Derabon
                                        考えること多くあるよね。良きまとめ。

                                          その他
                                          gambol
                                          弊プロジェクト…(目を反らす

                                            その他
                                            izoc
                                            バッチ連携は全廃が基本。無駄に複雑になるだけだし。ネットワークもサーバーも性能やコストが昔とは全然違う。世のバッチジョブの殆どは予算や惰性やしがらみが原因で残ってるだけでバッチ処理である必要はない

                                            その他
                                            yo4raw
                                            yo4rawバッチ処理がないシステムだと「バッチにせず実現するには」という発想になり健全だけど、やむを得ない理由で一つでもバッチ処理をつくると、とたんにバッチ処理に逃げがち。

                                              2022/10/25リンク

                                              その他
                                              dominion525
                                              dominion525こういうの、いままでうまく伝えるのに失敗してきたから反省が多くて辛いし、まとめられる人は立派だなあと思うなど。

                                                2022/10/25リンク

                                                その他
                                                clubman023
                                                うむ

                                                  その他
                                                  Eiichiro
                                                  なるべくバッチ化しないは、わかるなぁ。でも、コールバック地獄になるぐらいなら、バッチ化する。 あと多段バッヂは、基本的に組まないようにしてる。どこまで進んだかわからなくなるしね。

                                                    その他
                                                    khtno73
                                                    冪等性の単語で通じない人とバッチの話したくないので新人には必ず教える

                                                      その他
                                                      osanaki
                                                      “冪等性”

                                                      その他
                                                      aike
                                                      本文にもあるけどバッチ処理は時間短縮が命。数時間かかるバッチ処理はたとえ冪等性があっても再実行できないことも。かつて汎用機の頃はいかに不正データを迅速に検知し再実行にそなえて処理を中断するかが肝だった

                                                        その他
                                                        pmint
                                                        面白い。「疑似科学読本」とでも呼べそうな新ジャンルにできそう。入社試験問題にも使える。"妥当な選択肢が浮かばない場合、どうするのか"を受けて「妥当性の高い選択肢を挙げます」は天才がやりがちな回答やな。

                                                        その他
                                                        for-my-internet-demo
                                                        for-my-internet-demo未だに反省点が多い

                                                          2022/10/25リンク

                                                          その他
                                                          circled
                                                          circledこの辺のコードを書きたい時、Laravelとか初めから殆どの内容が一通り準備されてたりすんのよね →https://laravel.com/docs/9.x/queues

                                                            2022/10/25リンク

                                                            その他
                                                            eos2323
                                                            eos232390年代からのバッチがずーっと動いてて誰もメンテしていないのでそれはそれでいいのかってなる

                                                              2022/10/25リンク

                                                              その他
                                                              perl-o-pal
                                                              ←理想 現実→

                                                                その他
                                                                arakash
                                                                バッチ処理の考慮点が網羅されてそう

                                                                その他
                                                                fukken
                                                                fukken「極力バッチ処理をなくす」がしばしば正解だったりするやつ

                                                                  2022/10/25リンク

                                                                  その他
                                                                  roshi
                                                                  一通り検討項目が網羅されててよかった。

                                                                    その他
                                                                    auto_chan
                                                                    auto_chan(特に途中で)コケたときの復旧がスッキリ回るかが腕の見せ所。正常系のパフォーマンス最強でも、障害設計がぐだぐだで毎回手作業で原因を特定してデータをパッチして再開用の特別データをこしらえて…とか怖ッ

                                                                      2022/10/25リンク

                                                                      その他
                                                                      send
                                                                      よくまとまってると思う

                                                                        その他
                                                                        n314
                                                                        n314自分のシステムの集計とかなら楽なんだけど、大抵外部api連携とか決済とかメール送信とかが絡むんだよなあ…。ロールバックや冪等性は諦めていることが多い。

                                                                          2022/10/25リンク

                                                                          その他
                                                                          hiby
                                                                          hiby>常に0からリトライできる構造が理想です うむ

                                                                            2022/10/25リンク

                                                                            その他
                                                                            inose660
                                                                            冪等性は失敗したら最初からやり直す設計にすれば簡単だけど、件数が大量過ぎて最初から再実行すると時限までに終わらない時は悩む。ロールバックが効くRDBと効かないファイルとの両方を更新する処理だと更に難しい。

                                                                              その他
                                                                              remonoil
                                                                              手動で特定のデータだけリトライしたいとかが困る

                                                                                その他
                                                                                efcl
                                                                                CronJob バッチ処理の考え方、設計、インターフェース、エラーハンドリングや事前のプレモーテム、リトライと冪等性、監視について

                                                                                その他

                                                                                注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

                                                                                リンクを埋め込む

                                                                                以下のコードをコピーしてサイトに埋め込むことができます

                                                                                プレビュー
                                                                                アプリのスクリーンショット
                                                                                いまの話題をアプリでチェック!
                                                                                • バナー広告なし
                                                                                • ミュート機能あり
                                                                                • ダークモード搭載
                                                                                アプリをダウンロード

                                                                                関連記事

                                                                                  usersに達しました!

                                                                                  さんが1番目にブックマークした記事「バッチ処理 プラク...」が注目されています。

                                                                                  気持ちをシェアしよう

                                                                                  ツイートする

                                                                                  バッチ処理 プラクティス

                                                                                  バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらな...バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か?」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

                                                                                  ブックマークしたユーザー

                                                                                  • kastro-iyan2025/08/17kastro-iyan
                                                                                  • y-teraoka2025/08/04y-teraoka
                                                                                  • connecting-the-dots2025/04/28connecting-the-dots
                                                                                  • ricknigel2025/01/11ricknigel
                                                                                  • progrhyme2024/03/06progrhyme
                                                                                  • taka5122024/02/26taka512
                                                                                  • juser2023/09/11juser
                                                                                  • nariatsu2023/09/04nariatsu
                                                                                  • igrc2023/08/27igrc
                                                                                  • remixed2023/08/04remixed
                                                                                  • yogasa2023/06/14yogasa
                                                                                  • mottie09112023/05/16mottie0911
                                                                                  • suu-g2023/05/09suu-g
                                                                                  • manhole2023/03/25manhole
                                                                                  • snow_black_moon2023/03/08snow_black_moon
                                                                                  • diveintounlimit2023/02/20diveintounlimit
                                                                                  • tetram2023/02/19tetram
                                                                                  • hondabin2023/02/07hondabin
                                                                                  すべてのユーザーの
                                                                                  詳細を表示します

                                                                                  ブックマークしたすべてのユーザー

                                                                                  同じサイトの新着

                                                                                  同じサイトの新着をもっと読む

                                                                                  いま人気の記事

                                                                                  いま人気の記事をもっと読む

                                                                                  いま人気の記事 - テクノロジー

                                                                                  いま人気の記事 - テクノロジーをもっと読む

                                                                                  新着記事 - テクノロジー

                                                                                  新着記事 - テクノロジーをもっと読む

                                                                                  同時期にブックマークされた記事

                                                                                  いま人気の記事 - 企業メディア

                                                                                  企業メディアをもっと読む

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2025Hatena. All Rights Reserved.
                                                                                  設定を変更しましたx

                                                                                  [8]ページ先頭

                                                                                  ©2009-2025 Movatter.jp