サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
はじめに お客様と話す際に、生成AIを用いて自然言語でデータ分析をしたいと相談をいただくことが多くなりました。 選択肢の一つとしてGoogle Cloud の Conversational AnalyticsAPI を使った場合にどのような形で分析できるのかをご紹介します。 Conversational AnalyticsAPI: データ エージェントを構築し、データを使ってチャットするの記事にも紹介されている通り、様々な実行方法があります。本記事ではその中でもStreamlit クイックスタート アプリをCloud Shell上で実行、動作確認を行った内容をご紹介します。 リリース状況について Conversational AnalyticsAPI は2025年11月6日現在pre-GAのサービスになります。 現在のリリース状況につきましてはサービスのリリースノートを参照くださ
データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。 しかし、今、BigQueryはその一歩先、「自律性（Autonomy）」 を持つDWHへと急速に進化しています。 これは単なるバズワードではありません。「自動化」と「自律性」は、似ているようで根本的に異なります。そしてこの「自律性」こそが、データに関わる全ての人々の働き方を根底から変える力を持っています。本日は、BigQueryが目指す「自律型DWH」とは何か、その具体的な機能、そしてそれが私たちの未来に何をもたらすのか、詳しくご紹介します。 🤖 「自動化」と「自律性」：決定的違いとは？ まず、この2つの言葉を整理させてください。 自動化
はじめに こんにちは、クラウドエースの木村です。 近年、AI エージェント技術は目覚ましい進化を遂げています。単一の指示に応答する従来のチャットボットとは異なり、自律的に思考し、計画を立て、複雑なタスクを実行する能力を持つようになりました。 この先進的なエージェント開発を支援するため、Google は、Google Cloud NEXT'25 にて Agent Development Kit (ADK) を発表しました。本記事では、ADK をこれから利用する開発者の方を対象に、公式サンプルの中からデータ分析に特化した data-science エージェントを取り上げ、その環境構築から実際の動作までを解説します。 対象読者Google の Agent Development Kit (ADK) の利用を検討している開発者の方AI エージェント、特に、マルチエージェントシステムの構築に関
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ZEN大学の開学やR高校の開校で今年の春は例年にもまして賑やかなものでした。ライブストリーミングされていた入学式やオリエン番組などを眺めていると皆様の人生の節目に立ち会えた嬉しさとともに、より良いサービスを作っていきたい思いを強くして、身が引き締まる思いです。 課題について（導入に代えて） KPIダッシュボードを作って運用しているデータアナリストにとって、時系列推移で大きな変動があった時にいち早くキャッチしたいと願うのはとても自然なことです。スパイクがあれば要因を手早く分析してPJメンバーに伝えたいですし、激減した指標があればレコードの欠損から疑わねばなりません。いずれにしてもホットなトピックスを伝えて組織的なリアクションに繋げてもらうためには「検知の早さ」は重要な成功要因であるというのが私の意見です。 そこで、今回は
本日 (2025年8月5日) 、Colab Enterprise ならびに BigQuery Studio のNotebook から、Data Science Agent (DSA) をプレビューで利用できるようになりました。 Data Science Agent を使うと、一連のデータ分析作業をNotebook 上で自律的に行ってくれます。 Gemini CLI によるコーディングを Vibe Coding というならば、これは Vibe Data Science と命名できるでしょうか？ それでは Data Science Agent により何が実現できるのか、実際にみていきましょう。 BigQuery のテーブルで Vibe Data Science DSA はColab Enterprise の画面下の Gemini アイコン、または右上の「Gemini」ボタンから呼び出せま
はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vector Searchを利用するという部分が趣旨になります。） 利用するデータはPart 1と同じ駐車場申し込みのキャンセル理由となりますがインデックスの作成なども検証したかったので前回よりもデータが多めです。 検索対象となるデータが5000件に満たない場合はそもそもインデックスを作成する意味がないため、Vector Search Indexは利用できないのでご注意ください。 なお、結論から言うと前回実施したgeminiIを利用した手法よりは精度が劣っており今回は70%程度の正答率でした。 前回のブログはこちら neal
AI・機械学習チームの氏家 (@mowmow1259)です。 このブログはAI・機械学習チームブログリレー 8日目の記事です。 前日は高田さんによる「BETWEENに気をつけろ！ BigQueryの日次集計で罠にハマった話」でした。 最近LLMによるVibe Codingが世間を賑わせています。 エムスリーでも積極的にコーディングエージェントの導入が進んでおり、かくいう私もClaude Code君がいないと生きていけない体にされてしまいました。 コーディングエージェントのおかげで典型的な開発タスクはかなり効率化されてきているものの、面倒なタスクもまだまだ残されています。 分析です。 前日の高田さんの記事にもある通りエムスリーではBigQueryにデータを集約していますが、BigQuery上のデータでぱっと集計したかったりなど、大体どのテーブルを見にいけばいいか想像がつくけど面倒だな。。みた
はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入した松村です。本ブログでは、Google Cloud Next 2025 で一般公開機能として紹介された BigQuery ML の貢献度分析（※1）を試した内容をまとめます。今回は、ニューヨーク市のシェアサイクルサービス「Citi Bike」の利用データを使用して、貢献度分析を実施し、データから有益なインサイトを引き出すという一連の流れを紹介してみたいと思います。貢献度分析は、簡単に意味のあるインサイトを網羅的に出せる機能なので、是非最後まで見ていただき、皆さんの業務にも活用してみてください。 （※1）参考：貢
はじめに 株式会社LegalOnTechnologiesでアナリティクスエンジニアをしている鈴木です。 データ活用の現場では、メタデータの品質が分析や開発の効率を大きく左右します。特に、データベースのカラム定義（description）は、データの意味や使い方を理解する上で重要な役割を果たしています。 今回は、Gemini（生成AI）を活用してBigQueryのテーブルdescriptionを半自動補完する取り組みについてご紹介します。この施策により、データの可視性・可読性が向上し、チーム全体のデータ活用効率が改善されました。 現在の環境 現在のデータウェアハウスを取り巻く環境は以下の構成となっています。 BigQuery上のデータマートを効率的にデータモデリングするツールとしてdbtを採用しているdbtにより、dl（データレイク）・dwh（データウェアハウス）・dm（データマート）の
VS Code+GitHub CopilotやCursorでBigQueryのAIコーディングをしよう 〜練習問題リポジトリを添えて〜 はじめに：データドリブンな意思決定を、AIで加速する時代へはじめまして、メルカリのProduct Growth Analyticsチームのじゃっこと申します。 主にメルカリShopsや物流関連の分析を担当しつつ、最近はチーム全体の生成AI活用も推進しています。 昨今、GitHub Copilotを始めとするAIコーディング支援ツールや、CursorのようなAIネイティブなエディタの急速な普及は、私たちの分析業務に大きな変革をもたらしつつあります。 しかしその一方で、「その実力はよく耳にするものの、具体的にどう活用すれば良いのか、どこから試せば良いのか分からない」という方も少なくないのではないでしょうか。 このような背景から、最近社内で実施したAIコーディン
こんにちは。ウォンテッドリーでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。 最近は Enabling チームとしての役割を持ち、Visit の新規開発や、バックエンドアーキテクチャの改善に取り組んでいます。 現在、Enablingチームでは技術的な取り組みを社外にも発信すべく、メンバーが週替わりで技術ブログをリレー形式で執筆しています。前回は冨永さんによる「AWSのSESとSQSを活用したメール受信機能の実装」 でした。今回は、GitHub x BigQueryで開発行動量を可視化する社内基盤の紹介をしたいと思います。 はじめに なぜ行動量を見るのか 新しい取り組みの変化はまず行動に出る 何を見ているのか 可視化する指標はシンプルにするGitHub 行動量を KPI 化してはいけない 余談：初期プロトタイプ時点での要求一覧 どうやって可視化しているか Big
近年、生成AIの活用が企業のデータ分析において重要なトレンドとなっています。その中で、BigQueryが提供する”ML.GENERATE_TEXT”関数は、データベースとAIの融合という新しい可能性を開きました。 この関数を使うには「存在そのものがあまり知られていない」「使い方が難しい」「利用するためには別途”BigQuery ML リモートモデル”を作成する必要がある」というハードルがあります。そのため、あまり使われていない印象です。 しかしながら、この”ML.GENERATE_TEXT”関数はとても強力です。本記事では、「この”ML.GENERATE_TEXT”関数で何ができるのか？」「どのように活用するのか？」「利用方法と注意点」を解説していきます。 ML.GENERATE_TEXT関数で何ができるのか？ “ML.GENERATE_TEXT”関数は、BigQueryのSQLクエリを介
はじめに 以前から話題になっていたMCP（Model Context Protocol）ですが、Anthropicの独自規格の範囲に留まらず、OpenAIが公式に採用を発表した事で一気に火がつき、最近は至るところでMCPという単語が躍るようになりました。 今回はMCPを利用したデータベースとの対話+資料化までのデモを1つのユースケースとして残しておきたいと思います。 ■構成 クライアント：Claude Desktop データベース：BigQuery データベースとの対話+資料化デモ BigQueryのMCPサーバーについては以下2つが公開されています。 機能的にはほぼ一緒なのですが、後者はデータセット名までパラメータで渡せるので、こちらを使っていきます。 Claude Desktopの構成で以下の設定をするだけで、すぐに使えます。 "mcpServers": { "bigquery": {
はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。本ブログでは、前回投稿した記事（※1）にてご紹介した BigQuery ML の新機能のうちの一つ「TimesFM」（プレビュー版）を試した内容をまとめます。具体的には、TimesFM モデルと、WEB サイトのSEO（検索エンジン最適化）をサポートする無料ツール「Google Search Console」(※2) の BigQuery にエクスポートされたデータを組み合わせて、WEB サイト全体の検索パフォーマンスを予測する方法をご紹介します。 （※1）【Google Cloud Next 2025 in Las Vegas】Day 2 参加レポート ~ BigQu
生成AIによってデータの民主化は現実的に 内閣府は2023年8月、日本国内で企業のビッグデータが生んだ価値は、10年から20年の平均で国内総生産（GDP）に換算すると、1年で17兆円になるという推計を発表した。「20年というとまだ生成AIがそれほど活用されていなかった時代。今だとデータの価値は20兆円超になると思われる」（山田氏） このようにデータは非常に重要なものだが、データ活用をする上で、さまざまな課題にぶつかる企業も多い。 「変化の激しいビジネス環境で生き残るには、データに基づいた迅速な意思決定が不可欠だが、従来の専門家依存のデータ分析では時間がかかり過ぎることや、データを見る人が毎回同じだと多角的に見ることが難しい上、分析できる量や種類が限られるという課題があった」（山田氏）グーグル・クラウド・ジャパン合同会社 データアナリティクス スペシャリスト 山田 雄氏 このような課題を解
本記事は、データ推進室 Advent Calendar 2024 24日目の記事です はじめに こんにちは。HR領域でアナリティクスエンジニアのテックリードをしている山家雄介です。 アナリティクスエンジニアが担当する業務の一つに、データ利用者向けのいわゆるデータマートの設計・開発があります。これは、さまざまな仕様のデータソースを適切に組み合わせて、データ利用者の業務上の目的を達成することを助ける、平易に理解しやすく、ドキュメントも整備されたテーブル群を設計・開発し提供していく営みです。この業務を首尾よく進めていくには、dbtやDataformといったデータモデリングのツールの機能性を深く理解すると同時に、利用しているデータ分析基盤のSQLの仕様や機能性もよく理解しておく必要があります。 同じSQLという言語仕様の中でも、データマートの利用者によく利用される機能性と、それを開発するデータモデ
こんにちは。千葉県の特産品として真っ先に思い浮かぶものがヨウ素*1な、データシステム部データ基盤ブロックの塩崎です。 この記事ではBigQueryストレージの費用を計算する方法と、費用を節約するための戦略について説明します。BigQueryストレージの費用計算をするために、まずストレージを2軸・8種類に分類し、それぞれの軸の視点から費用節約をする方法を紹介します。特にTime travel機能やFail-safe機能が関わると計算ミスをしやすくなるため、それらについても説明します。 ストレージの分類 最初にBigQueryストレージを分類するための2つの軸を説明します。1つ目の軸はライフサイクルで、これはテーブルの更新・変更・削除等の操作によって変化するものです。2つ目の軸は課金モデルで、これは非圧縮状態のデータ量で費用を計算するか圧縮済み状態のデータ量で費用を計算するかを決めるものです。
こんにちは、株式会社ZOZOで25卒の内定者アルバイトをしている村井です。この記事では業務で取り組んでいる、BigQueryで使うSQLのリンターの作成方法について紹介します。 目次 目次 課題と解決策 課題 解決策 BigQueryのアンチパターン認識ツール ミニマムな使い方 日本語がSQL内に含まれている際の問題 アンチパターンを定義する リンターとしてBigQueryのアンチパターン認識ツールを使用する際に生じる課題と解決策 構成APIサーバ化Chrome拡張 動作例 まとめ 課題と解決策 課題 社内では様々なチームがSQLを書いており、動作はするものの良くない書き方をしている場合があります。そういった構文を検知して、前もって修正する必要があります。 解決策 BigQueryのコンソールで入力されたSQLの不正構文を検知、修正案を提示できるようにしました。 BigQueryのアン
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ドワンゴ教育事業におけるデータアナリストは企画開発組織の一員としてKPI可視化やレポーティングなどをメイン業務としています。個人的には新たなサービスが生まれる瞬間のお仕事が一番好きで、「何の指標をみていくのか」「どんなデータが流れてくるのか」など少し上流の工程からデータの取り扱いを検討するとともに、既存のダッシュボードをバージョンアップする良い機会にしたり、新たなステークホルダーに対して良いデータ分析の提供を考えたりと、楽しい日々が続きます。 私たちドワンゴ教育事業では大学開学やR高の開校など大きなサービスリリースが予定されていますので、サービス環境の変化を楽しみながらやりがいをポジティブなパワーに変えていきたいと思っています！ 課題について（導入に代えて） 昨今、分析対象としてJSON文字列を取り扱うことが増えてきま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
