ライフサイクル管理 特定条件にマッチした際に、ストレージクラスを変更したり、オブジェクトを削除するような制御をおこなう機能をライフサイクルと呼ぶ。 JSONもしくはXMLで条件を定義できる。 BigQuery 特徴 数TB〜数PBのデータを、遅くとも数分でクエリできるフルマネージドなデータウェアハウスサービス。 SQLによる集計以外にも、BigQueryMLによる機械学習モデルの生成や、地理空間分析もできる。 主にクエリ処理、ストレージ使用容量、ストリーミング挿入に対して費用が発生する。 Avro、Parquet、ORC、CSV、JSON、Datastore、Firestoreなどの形式で、ローカルファイルやGCSからデータを読み込むことができる。 パーティション分割テーブル 特定のカラムを基準に、テーブルのレコードをいくつかの小さなパーティションに分割することで、クエリのパフォーマンスを

2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ

2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はAteam Brides Inc. Advent Calendar 2019　4日目の記事です。 問いかけ マーケターやアナリスト、営業など社内の人から「このデータがほしいから出して」と依頼される皆さん。 その業務、正当に評価されていますか？ 作業扱いされていたり、軽視されていませんか？ 今回は、そんな現状を打破するために取るべきアクションについて考えてみました。 結論 取るべきアクションは3つです。 SQLが書ける≠データ抽出ができる、を伝える → 専門性を理解してもらうため 成果を見える化する → 必要性を実感してもらうた

この記事はエイチームブライズ/エイチームコネクト/エイチーム引越し侍 Advent Calendar 2018 5日目の記事です。 概要 こんにちは、データアナリストの@k_0120です。 データ分析界隈ではとても有名な「TJO」こと尾崎隆さんご出演の動画。 【自己紹介】 これまでの来歴については以下の5つのリンクをご参照ください。Twitterでは何一つ有益な情報を発信しておりませんので、ブログの方をお読みください。https://t.co/BywtEfnMdXhttps://t.co/r0KRHNthfUhttps://t.co/4pVgogSJBShttps://t.co/EZ9VO9bH7Ehttps://t.co/7BzFg96ctl — TJO (bereavement leave) (@TJO_datasci) 2018年11月24日 今回はこちらの動画で紹介されている手法を