テクノロジー
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

テクノロジーカテゴリーの変更を依頼記事元:

joker1007.hatenablog.com

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

1281usersがブックマークコメント

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

1281 users

joker1007.hatenablog.com

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント94件

注目コメント
新着コメント

turanukimaru何よりもまず、手元のマシンで簡単なCRUDでもいいから一千万件試してみる事だね。だんだん遅くなって2時間後にはほぼ停止したりJavaがパーマネント領域使い切って死んだりする。そんな仕事から半年前に逃げ出しました！

2020/11/05リンク

その他

magnoliak案外、この辺ってきちんと古代のバッチおじさん達の知見が上手く現代にマッチさせる形で整理されて継承されていない領域なのかなーってふと思った

2020/11/04リンク

その他

yuzutas0Q. BigQueryを使えば？ → A. BigQueryにデータを入れる箇所でこの設計が必要になります…。

2020/11/05リンク

その他

kuzumimizuku「カジュアルに扱う方法！？あるの！？」と思って見たけど、全然カジュアルじゃなかった(；´Д｀)やっぱり丁寧かつ入念な準備とトラブルに対応できる経験が必要ということですね……。

2020/11/04リンク

その他

robo_pitcher1000万件の処理で990万件でエラーで止まるケース、想像してゾッとした。特に情報系じゃなく基幹系だったら

2020/11/05リンク

その他

programmablekinokoめちゃくちゃ示唆に富む / 昔のバッチは汎用機の閉じた環境(COBOL+JCL)で固定長レコードを扱う処理が主だったから流用できるのかな...

2020/11/05リンク

その他

nmcliAWSならではのコスト意識とも捉えられるし、AWS依存ゆえのバッドノウハウとも感じるし

技術

2020/11/04リンク

その他

t_motooka昔は失敗することくらいでしか学ぶことの出来なかった事柄たちが、こんなにまとまっていて感激

2020/11/05リンク

その他

mohno「これらはそもそもRDBの話ではありません」「数億件の中から1000万件を取得して数分以内に処理を終わらせるとかそういう処理を頻繁に(カジュアルに)実装しなければならない弊社の話」←おっ、おぅ……

2020/11/05リンク

その他

sds-page誰が書いたコードでも一年以上安定稼働してないと信用できない派。月一のバッチが2,3回連続で成功してても油断はできない

2020/11/05リンク

その他

el-condor途中からリトライ可能にするのは案外難しい。でも0.1Mレコードまでなら全部リトライすりゃええやんが最適だけど10Mレコードとなるとそういうわけにもいかないからね。

batch

2020/11/19リンク

その他

rochefort大変そう

performance

2020/11/12リンク

その他

tri-star大量データを扱う処理で気を付けたいことが色々まとまっている

design

2020/11/05リンク

その他

NetPenguin「カジュアルに扱うための心構え」カジュアルな手段では無く、カジュアルに扱えるように研鑽しとけって話か……

開発

2020/11/05リンク

その他

irofわかる人は思いっきりうなづいて読みそうな一言一言。現場で読み合わせ／認識合わせとかすると良さそう。現場でね。コンテキスト合ってないと多分すれ違う。

2020/11/05リンク

その他

impreza98Redshiftは良いぞ

2020/11/05リンク

その他

tecklリトライ機構、冪等性の維持、工程ごとのログなど他の分野でもめっちゃ同意できる知見だ…　古のバッチの知恵が現代にも生きているなぁ…

2020/11/05リンク

その他

issyurn“1000万オーバーの件数から数件取るとかそういう話ではなく数億件の中から1000万件を取得して数分以内に処理を終わらせるとかそういう処理を頻繁に(カジュアルに)実装しなければならない弊社の話でした。”

2020/11/05リンク

その他

sucelieこれでカジュアルなんだから胃腸がやられそうだ

2020/11/05リンク

その他

snowcrush"手癖で書くな" は重要やね。問題を変形せずに頭の中のワークフローをそのまま書き下してしまうと大体きつくなってくる

2020/11/05リンク

その他

rawwell"at least onceはexactly onceより圧倒的に処理負荷が軽い、羃等であるならat least onceで安全に処理できる "

2020/11/05リンク

その他

y_maeyama"手癖で書かない"がピンとこないなぁ。経験しないとわからないことなのかしら。

2020/11/05リンク

その他

natu3kan通信の過信と通信がオーバーヘッドになるのあるある。ってのと工程ごとにログを吐いてくれないと躓きが見えないから辛いのある。

2020/11/05リンク

その他

akahigeg“ちょっとでも関係しそうなサービスを見かけたらとりあえずドキュメントを読む癖を付けておかないと、いざという時に思い付かなくなる。” つらみ

開発

2020/11/05リンク

その他

iga_k 大量レコードじゃなくても使える知見だ！

2020/11/05リンク

その他

t-wadajoker さんの知見が詰まっていてすばらしいエントリ。「手癖で書くな」はよくわかる……

2020/11/05リンク

その他

innocencecrashカジュアルに扱うためには正統な手続きが色々必要ってわけですね。

2020/11/05リンク

その他

azminバッチ処理やってると案件固有で潰しがきかないアイデアなんじゃないかと思うことばっかりだけどこれだけエッセンスを抽出できているのは尊敬する

2020/11/05リンク

その他

kappaseijinバッドノウハウな知見集。AWS、TD、その他のサービスも落とし穴沢山なので入口より出口を知るの重要

2020/11/05リンク

その他

kotaponxミッションクリティカルでなくて、割とどうでもいいrerun OKなログ系のデータしか扱ってないけど、それでもそれなりに工夫はいるという感覚はある。

2020/11/05リンク

その他

okami-no-sacchanレコードの話かと思ったのに

2020/11/05リンク

その他

teto2645後で読ませる。

2020/11/05リンク

その他

cloverstudioceoインデックスを貼れとかそういうレベルの話じゃなかった。。。

2020/11/05リンク

その他

rjge“適宜ログを吐かないと、どこまで進んでいるか分からない” “一方で一件単位で詳細なログを吐くとログのデータサイズやログ出力の負荷が馬鹿にならない” 悩ましい。手癖は耳が痛い…

2020/11/05リンク

その他

shikiarai多分必要ないノウハウ（願望

2020/11/05リンク

その他

kagehiensこれは有り難い知見だ。社内環境で完結しているのはきょうび恵まれている内に入るのだなぁ。

2020/11/05リンク

その他

masalib「既存のコードを信用するな」・・・痛いほど分かります

2020/11/05リンク

その他

pitti2210なんとなく一瞬かわんごのブログかと思ったら違った

2020/11/05リンク

その他

rryu大量データのバッチ処理の話だった。この辺はいつでも変わりなく、処理時間を含むリソース消費量、エラーハンドリング、リトライの設計をちゃんとしないと死ぬぞという話になる。

システム開発

2020/11/05リンク

その他

kako-jun1000万パワーすごい。人口の多いアジアならではの知見ですね。1つ心構えを足すとすれば、自室に同じ規模のDBを構築して日々夜間バッチの実験をすることで経験値の取得ペースが倍になります

2020/11/05リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「1000万件オーバー...」が注目されています。

気持ちをシェアしよう

ツイートする

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意...自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。そういったケースで参考にできるかもしれません。弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ