サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
こんにちは、CTOの森です。本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込む 学習できる形式に変換 method result_type path_num path_0 ~ path_4 query_num query_len sc-status time-to-first-byte 学習 元のデータと結合CSVファイルに出力 コード全体 分析結果 (比較的)うまくいった結果 うまくいかなかった結果 参照したサイト まとめ 最後に 今回ログデータをIsolation Forestという手法を用いて分析してみました。Isolation Fore
3つの要点 ✔️ 異常検知問題ベンチマークであるMVTecデータセットにおいてSOTAを達成！ ✔️ 事前学習済みモデルを活用することで特徴抽出部分のCNNの学習が不要 ✔️CNNから得られた特徴を効率的にサンプリングすることで推論の高速化が可能 Towards Total Recall in Industrial Anomaly Detection written by Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Schölkopf, Thomas Brox, Peter Gehler (Submitted on 15 Jun 2021 (v1), last revised 5 May2022 (this version, v2)) Comments: Accepted to CVPR2022 Subjects: Com
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気
動機AIを使って異常検知（製品の良品・不良品を見分ける等）を行いたいと考えたことがある人は多いのではないでしょうか？実際にAIが得意とする分野ではありますが、実際に取り組んでみると、不良画像のデータが十分に収集できない、異常判定の可視化が難しいなど、躓くポイントが多かったりします。 今回は、シンプルな実装かつ最小のリソースで異常検知を実現するための手法の一つとして「オートエンコーダ」と呼ばれるAIモデルを、実際のコードサンプルや動作例と共に紹介したいと思います。 オートエンコーダ（自己符号化器）1 オートエンコーダはニューラルネットワーク構造のパターンの一つで、入力データを一度低次元データに変換するパート（エンコーダ）と低次元データから画像を復元するパート（デコーダ）で構成されます。モデル全体の目的としては、入力データをなるべくそのままに出力することです。 入力データがそのまま出力データ
はじめに こんにちは、わっしーです。本記事では、CVPR2022で発表された画像異常検知手法であるPatchCoreの実装について解説します。 まずは、実際に試した結果です。下図の上は正常画像、下は異常画像です。異常部分が赤くなっており、製品が欠損していることがわかります。 PatchCoreの詳細については、外観検査向け異常検知手法に関する論文紹介の記事がわかりやすいです。 PatchCoreの利点は、ImageNetなどのデータセットで学習された事前学習モデルの特徴マップを用いるため深層学習モデルの訓練の必要ないことです。 手法としては、 正常な画像群の特徴マップにおける局所的な部分をパッチ特徴量としメモリバンクに保存する 高速化のためランダム射影で次元削除した特徴量に対してGreedy法を用い、メモリバンク内のパッチ特徴量の数を削減 テスト画像の各位置の特徴量に対して、近傍法でメモリ
Amazon DevOps Guruが新機能、機械学習によるログの異常（アノマリー）検知と推奨される解決策の提示Amazon DevOps Guruが新機能、機械学習によるログの異常（アノマリー）検知と推奨される解決策の提示Amazon Web Services（AWS）は、機械学習によってアプリケーションの異常動作などを検出、改善するためのサービス「Amazon DevOps Guru」の新機能として、アプリケーションログの異常値検知（Log Anomaly Detection）と、その際に推奨される解決策の提示（Recommendations）が可能になったことを発表しました。 異常値検知では、ログの中にキーワード、数値、HTTPステータスコード、データフォーマットなどの異常値が現れると、それらを検出。Amazon DevOps GuruのダッシュボードにログのサンプルとCloudWatchLogsへのディープリンクが表示されます。 これにより、異常を起こした原因を特定するとともに、推奨され
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?本日(2022/6/19)からアメリカのニューオーリンズで開催されているCVPR2022（2022/6/19-24）で、世界最先端の異常検知手法「PatchCore」が発表されました！ CVPRはコンピュータビジョン分野のトップカンファレンスで、画像系AI研究の最難関の国際会議の一つです。ちなみに、昨年（CVPR2021）の採択率は23％。 PatchCoreは、外観検査（画像の異常検知）タスクで有名なデータセット「MVTecAD」でSOTA（State-of-the-Art）を達成しています。 この記事では、世界最先端の画像異常検知A
3つの要点 ✔️ いよいよ多変量時系列異状検知にもTransformerが現れました ✔️ グラフも含めた深層学習により多変量の時系列の表現力は向上してきましたが、まだ単一時点に限ります ✔️ Transformerのグローバルおよび長期の連関に対しての表現力を活かして、改造したAnomaly-Attentionを含む2分岐の構造で従来のSOTAを超える性能を確認しています Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy written by Jiehui Xu, Haixu Wu, Jianmin Wang, Mingsheng Long (Submitted on 6 Oct 2021 (v1), last revised 13 Feb2022 (this version,
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 現在、世界最先端の画像の異常検知手法の性能は、どのくらいなのでしょうか？ 2021年度に国際会議に採択された論文の最新手法を調査してみました！（Pythonのプログラムコードも見つけたので、リンクを貼っておきます。） 論文の実験結果に記載されているMVTecデータセットのAUC値で各手法を比較してみたいと思います。 MVTecデータセットの画像例： 手法の概要紹介 CutPaste CVPR2021に採択された論文の手法。 CVPRはコンピュータビジョン系の世界最高峰の国際会議で、採択率は約20%。５人の一流の研究者が論文を投稿しても、
AI・人工知能の技術が進歩したことにより、近年は多くの企業が業務にAIを導入するなどして、商品やサービスの向上を図っている状況です。特にAIは大量のデータを分析し、予測することを得意としているため、そのような業務をすべてAIに置き換えている企業も決して少なくありません。 そんな、大量のデータを扱う現代だからこそ、データの異常を検出する技術にも注目が集まっています。扱うデータの量が増えていけば、当然その中に異常なデータが含まれる可能性も増していくからです。今回は、そんな異常データの検出を行う「異常検知」について詳しくご紹介していきますので、ぜひ参考にしてみてください。AIソリューションについて詳しく知りたい方は以下の記事もご覧ください。AIソリューションの種類と事例を一覧に比較・紹介！ 異常検知とは 異常検知とは、大量のデータから通常とは異なるもの（異常）を検出することをいいます。大量の
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTechBlogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順：AWSチートシートAWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介する。 「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介します。 「Amazon Lookout for Vision」とは 「Amazon Lookout for Vision」は、コンピュータビジョンを使用して視覚表現の欠陥や異常を発見するサービスです。Lookout for V
※この投稿は米国時間 2021 年 8 月 28 日に、Google Cloudblog に投稿されたものの抄訳です。 時系列の異常検出は、目下話題のトピックです。統計学者は、消費者行動の劇的な変化を受け、小売の需要予測などのモデルの再調整に追われています。私はインターンとして、VertexAI で機械学習を活用した異常検出ソリューションを開発し、骨の折れる時系列モデルの構築プロセスを自動化するというタスクを与えられました。この記事では、Google のインターンが取り組む手強い課題がどのようなものか、その一端をお見せするとともに、TensorFlow Probability の 構造時系列API と Vertex Pipelines でジョブを実行する方法についてもご紹介します。 Vertex PipelinesVertex Pipelines はGoogle Cloud の M
3つの要点 ✔️ SoTAを大幅に上回るだけでなく、教師あり学習に匹敵する異常検知性能を達成 ✔️ 既存の学習済みモデルの特徴量を転用することで少ない計算コスト抑えつつも高い精度を達成 ✔️ 正常データのみから特徴量を学習しようとする既存の異常検知手法では特徴量獲得が難しいと主張 Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection written by Oliver Rippel, Patrick Mertens, Dorit Merhof (Submitted on 28 May 2020 (v1), last revised 23 Oct 2020 (this version, v2)) Comments: Accepted by ICPR2020. IE
はじめに 2021年8月22日現在、Pythonの異常検知用パッケージであるPyODにガウス混合モデル（Gaussian Mixture Model; GMM）ベースの 異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 作成したクラス：GMM すでに実装済のPyODのアルゴリズムを参考に、scikit-learnのGaussianMixtureクラスをラップする形で GMMのクラスを作った。PyODのBaseDetectorクラスを継承するだけなので簡単である。 【ここをクリックしてコードを表示する】gist.github.com GMMに基づく異常検知のデモンストレーション 簡単なデモンストレーションのnotebookを作成した。今回作成したGMMクラスをgmm.pyとして
著者 鶴田 博文, 坪内 佑樹 所属 さくらインターネット株式会社 さくらインターネット研究所 研究会 第8回WebSystemArchitecture研究会 1. はじめに インターネットを介して利用するシステムの大規模化に伴い，システムの構成要素数の増大や，構成要素間の関係性の複雑化が進んでいる． そのため，システムの性能に異常が発生したときに，システムの状態を示す指標であるメトリックをシステム管理者が網羅的に目視することや，メトリック間の関係性を把握することができず，システムの異常原因を特定することが難しくなっている． この問題を解決するために，深層学習などの機械学習モデルを用いて，システムの異常の原因を診断する手法が提案されている[1,2]． これらの手法は，システム管理者が異常の根本原因を絞り込むために活用することが期待できる． しかし，原因診断を行うためには，事前に機械学習モデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
