Google Cloudの料金削減を色々試してみた

こんにちは！広告事業本部でリードアプリケーションエンジニアをしている半田です。 花粉症がつらい季節ですね。今年は特にひどく、薬を飲まないと仕事にならなかったため、舌下免疫療法を始めることを決心しました…。 さて、今回はGoogle Cloudの料金削減に…

BigQueryのPipe syntax (パイプ構文) を使ってみたら可読性と使いやすさがちょびっと向上した

こんにちは！アドプラットフォーム事業部でアプリケーションエンジニアをやっている渡辺です。 今日はBigQueryに追加された新機能「Pipe syntax」が個人的にとても気に入ったのでその紹介をしたいと思います。 シャレオツな書き方をして気分を上げていきまし…

Cloud Audit Logsのデータアクセス監査ログから, BigQueryへのデータアクセスを可視化する方法

広告事業本部でリードデータエンジニアをしている大窄 直樹 (おおさこ)です. 今回は, BigQueryの各データへのアクセスを可視化する方法について執筆します. 背景/課題 BigQueryのアクセスログの調査 BigQueryのINFOMATION_SCHEMA Cloud Audit Logs 実装 Clou…

配属3ヶ月目の新人がBigQueryのストレージ課金モデルの調査をした話

はじめまして、広告事業本部に所属しているデータエンジニアの木本です。 今回はチームに配属されたばかりの新人エンジニアである僕がチームで使用しているBigQueryの費用削減の調査タスクを任せていただいた話と、実際の調査結果の共有をしようと思います。…

BigQueryのリージョンをusから東京に引っ越した際の備忘録

東京GCPリージョンでBigQueryの提供が開始されてから アドウェイズではusリージョンと東京リージョンでリージョンが統一されておらず、 テーブルをJOINさせる際など不都合が生じていました。 そのため東京リージョンに統一する意思決定をし、東京リージョン…

BigQueryのレポートデータをスプレッドシート経由でExcel出力する話

こんにちは、Agency事業でクライアントの受発注システムを担当しているリードアプリケーションエンジニアの花田です。 前回のブログ執筆中ずっとベビーベットで寝ていた娘が、今では一人で歩き回るようになり毎日奇声を上げるようになりました。かわいい。 …

AWS Aurora から Datastream を使って BigQuery にデータをレプリケーションした話

どうも〜、お久しぶりです。 エージェンシー事業のエンジニアチームでユニットマネージャーをしていますぬまちゃんです！ エンジニアブログを書くのは新卒以来なので、４年ほどぶりってところです。 あの頃はエンジニアリングメインでしたが、今はマネジメン…

ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した

初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアク…

開発チームがTableauを使って営業部に媒体分析を推進して、データを用いた事業貢献をしようとしている話

こんにちは！府金です！相変わらずキャンプにどハマリしていますが、2021年よりは回数が少なくなりました 今冬は薪ストーブ導入を検討しております 最近はキャンプ人口が増えた分、事故も増えているので気をつけて楽しんでいきたいと思います。 さて今回は「…

Dataformでデータ分析基盤を整備した話

こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセッ…

組織でデータ活用を進めるために、テーマを絞って共有会を実施したら結構良かった話

こんにちは、澤藤です 私自身はマネージャーとして、所属しているディビジョンで開発の質を良くしてスピード感を上げていくパフォーマンスUPに取り組んでいます その中でデータ基盤やデータ整備周りの案件やTipsなどを共有するための共有会を発足して約1年弱…

Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…