サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ZEN大学の開学やR高校の開校で今年の春は例年にもまして賑やかなものでした。ライブストリーミングされていた入学式やオリエン番組などを眺めていると皆様の人生の節目に立ち会えた嬉しさとともに、より良いサービスを作っていきたい思いを強くして、身が引き締まる思いです。 課題について（導入に代えて） KPIダッシュボードを作って運用しているデータアナリストにとって、時系列推移で大きな変動があった時にいち早くキャッチしたいと願うのはとても自然なことです。スパイクがあれば要因を手早く分析してPJメンバーに伝えたいですし、激減した指標があればレコードの欠損から疑わねばなりません。いずれにしてもホットなトピックスを伝えて組織的なリアクションに繋げてもらうためには「検知の早さ」は重要な成功要因であるというのが私の意見です。 そこで、今回は
要するに、単なるコード整理を超えて、機械学習ワークフロー全体を Prophet に適用できる点が最大の利点です。 データ準備 ここでは 3 年分のサンプルデータを生成します。ds 列に日付、reg が外生変数、y が目的変数です。 以下、コードです。 # 必要なライブラリをインポート import numpy as np import pandas as pd # 乱数のシードを固定して再現性を確保 np.random.seed(0) # データのサンプル数を設定 N = 365 * 3 # 日付データを生成（2022年1月1日からN日間のデータ） dates = pd.date_range('2022-01-01', periods=N, freq='D') # 外生変数を生成（線形データにランダムなノイズを加える） reg = np.linspace(0, 10, N) + np.ra
はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。本ブログでは、前回投稿した記事（※1）にてご紹介した BigQuery ML の新機能のうちの一つ「TimesFM」（プレビュー版）を試した内容をまとめます。具体的には、TimesFM モデルと、WEB サイトのSEO（検索エンジン最適化）をサポートする無料ツール「Google Search Console」(※2) の BigQuery にエクスポートされたデータを組み合わせて、WEB サイト全体の検索パフォーマンスを予測する方法をご紹介します。 （※1）【Google Cloud Next 2025 in Las Vegas】Day 2 参加レポート ~ BigQu
AWS 上での LLM ベースの基盤モデルとスケーラブルな MLOps による時系列予測 | Amazon Web Services最適な出力を得るために、ハイパーパラメータチューニングを通じてモデルの最良のバージョンを見つける自動モデルチューニングを使用します。このステップは SageMaker Pipelines に統合されており、事前に定義したハイパーパラメータの範囲内で様々な手法を試しながら、複数のトレーニングジョブを同時に実行できるようになっています。私たちのパイプラインでは、モデルのパフォーマンスを最適化するために特に学習率をチューニングしています。SageMaker のハイパーパラメータチューニング機能を活用することで、対象タスクにおいてモデルの精度と汎用性を同時に高める可能性を向上させています。 estimator =PyTorch( role=role, instance_type=pipeline_parameters['training_instance_type'], output_path=
Merlion is aPython library for time series intelligence.It provides an end-to-endmachine learning framework that includes loading and transforming data,building and training models, post-processing model outputs, and evaluating model performance.It supports various time series learning tasks, including forecasting, anomaly detection, and change point detection for both univariate and multivar
概要 時系列データ向けの表現学習手法「T-Rep: Representation Learning for Time Series using Time-Embeddings」 (ICLR2024) の論文、公式リポジトリを読んだので備忘録を兼ねて紹介します。本手法は多変量の時系列データに対応しており、表現学習時に複数のPretextタスクを導入することで異常検出や分類・予測に寄与する汎用的な特徴量を獲得しています。 時系列表現(representation)はタイムスタンプ単位で出力できるため、point-wiseな異常検出であったり、window単位で集約することでsegment-wiseな分類や異常検出も可能な手法です。 記事の後半では公式チュートリアルを参考に、多変量時系列データの分類を試してみます。 arxivGithub モデル構造 T-Repモデルは以下の3つのモジュール
この記事では、NTTコミュニケーションズの先端AI数理PJが埼玉大学で行った時系列分析に関する研究会の様子とその講義資料およびハンズオン資料について紹介します。本記事で紹介した資料の完全版はこちらをご覧ください！ 目次 目次 はじめに 講義の準備 講義内容の紹介と研究会の様子AI・データ分析関連事業紹介と時系列分析の背景 可視化と探索的データ解析/前処理 線形モデリング Deep Learningによる時系列予測 質疑応答 参加者の声 感想 おわりに はじめに イノベーションセンターテクノロジー部門 先端AI数理PJの石山です。普段の業務では、因果推論や機械学習をもちいた時系列データ分析の研究開発やお客さまデータ分析案件支援を行っています。 この記事では、2023年12月に埼玉大学で行われた「埼玉大学産学官連携協議会データサイエンス技術研究会第4回」の内容とその様子を紹介します。 研究
皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 （詳細はこちらをご覧ください。） LLMやVLMをはじめとした基盤モデルが近年、多く公開されています。 画像や自然言語処理といったものとは異なりますが、時系列モデリングでも基盤モデルが利用されようとしています。本記事では、時系列基盤モデルの一つである「Chronos-Bolt」を紹介します。 Chronos-Boltについて Chronosは端的に言えば、予め様々な時系列を学習させることで、適用するデータの学習をしなくとも、時系列予測を可能とする時系列基盤モデルです。 そのChronosの後継モデルがChronos-Boltになり、Chronosと比較して、精度、性
この記事は Qiita に投稿した以下の記事と同一の内容です。 https://qiita.com/s_katagiri/items/7f06ca85f851e0a50516 概要 時系列データ、あるいは独立かつ同一の分布 (i.i.d.) の仮定が成立しない、観測点どうしで自己相関のあるデータに対する予測モデルの交差検証(クロスバリデーション)について書きます。情報量規準との関連まで書きたかったけど時間がないので時系列データとクロスバリデーションについてだけ書きます。本文ではまず、最初のセクション1では交差検証がなんであるかを確認したうえで、時系列データは交差検証法の想定しているものではなく、そのまま使うことが難しいことを直感的に説明します。次のセクション2では、これまで提案された様々な時系列データに対する予測誤差の評価方法を紹介します。セクション3では、これらの性能を実験で検証した研
先日のことですが、Querie.meでこんな質疑がありました。 これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せかけの回帰」について、久しぶりにちょっと復習を兼ねて書いてみようと思います。 そもそも「見せかけの回帰」とは何か 実際に見せかけの回帰において起きること 見せかけの回帰への対処法 差分系列に変換する VARモデルを使う 動的線形（状態空間）モデルやベイズ構造時系列モデルを使う Rコード そもそも「見せかけの回帰」とは何か このブログでは11年前に沖本本の輪読記事を書いた際に「見せかけの回帰」については一通り取り上げていますので、今回はその際の説明を引用するに留めます。 なお前提知識として先に書いておくと、以下に出てくる「単位根過程」というのは平
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 時系列データは、ビジネスの世界で最も多く扱われているタイプのデータです。 しかし、その活用となると、ラインチャートで指標の推移を可視化して、その上下に注目する、あるいは、設定したターゲットを満たしているかを確認するだけにとどまってしまっていることも少なくありません。 一方で、時系列のデータが手元にあれば、将来の指標を予測したり、トレンドの変化があったタイミングを探索したり、季節性の影響を分析したりすることで、ビジネスにとってより有益な気付きを得られます。 そこで、今回はFacebookが自らのビジネスの改善のために開発した、時系列予測の
紹介 ★実務に役立つ「理論」こそが、最も実践的な「知識」なのだ！★ ・理論とPython実装をバランスよく学べる、初学者向け入門書 ・古典的な技術から、比較的新しい手法までを丁寧に解説 ・実践的な実装技術や分析におけるTipsについても解説 【サポートサイト】 https://logics-of-blue.com/python-tsa-intro-book-support/ 【本書より抜粋】本書では実際にデータを分析しているあなたが、納得感を持って分析できるような知識を身につけてもらうことを目指しました。本書ではできる限り暗黙知を言葉にすることに努めました。入門書なので数式はかなり減らしましたが、理論的な話が多いので、読み切るのはそれなりに大変かもしれません。それでも、こういった理論こそが、現在では最も実践的な知識なのだと信じています。 【主な内容】 第1部 時系列分析の基本 1章 時系
はじめに ビジネスの世界で「先を読む」ことの重要性は言うまでもありません。売上予測、需要予測、株価分析など、時系列データを扱う機会は非常に多いですよね。しかし、時系列データの分析は一筋縄ではいきません。トレンド、季節性、外部要因など、考慮すべき要素が多岐にわたります。 そこで本記事では、Pythonを使って時系列データを効果的に分析する方法をご紹介します。特に、データサイエンティストの強い味方であるpandasライブラリの時系列機能と、FacebookのAIチームが開発した予測ライブラリProphetに焦点を当てます。 これらのツールを使いこなせば、複雑な時系列データでも、まるで未来を見通すかのように分析できるようになります。さあ、一緒にPythonで時を操る魔法を学んでいきましょう！ 1. pandasを使った基本的な時系列データ操作 1.1 データの読み込みと前処理 まず、時系列データ
以前、【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれようで、時系列基盤モデルについてLTをさせて頂きました。 他発表者のLTも面白く、私自身も時系列基盤モデルについて理解を深める良いきっかけとなりましたが、心残りはLLMを絡めた手法については時間を割けなかったことです。 そこで今回はLLM for 時系列分析に関するアイディアを簡単にまとめてみます。 おことわり 学習目的で調査・作成した内容がベースとなっており、誤りや他に面白い論文・事例がありましたら、教えて頂けますと幸いです。 主に以下Survey論文・Collectionリポジトリで取り上げられている内容の一部を対象としています。より網羅的に知りたい方は下記リソースを直接ご参照ください。 Large Language Models for Time Series: A Survey Position: W
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+,2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
はじめに本記事では、時系列データに対する高速機械学習手法であるリザバーコンピューティング、特にEcho StateNetworkについて解説します。 忙しい人のため Echo StateNetworkとは、時系列データに対する高速機械学習手法である 入力層・リザバー・出力層の3つで構成されている 入力層とリザバーを通して高次元空間へ非線形に写像しつつ、RNN構造で時系列情報を取得することで、出力層（Ridge回帰）の予測を手助けする 入力層とリザバーのパラメータはランダムな初期値で固定して出力層のみ学習する。そのため従来の深層学習よりも学習コスト（計算機性能, 消費電力, 学習時間）が少ない！ エッジコンピューティングのように、時系列データストリームの速度に合わせてリアルタイムにモデルを更新する必要があるケースで有用 リザバーコンピューティングとは？ 通常のニューラルネットワークでは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
