Azure Databrick、Azure Open AI、Azure AI Searchを使ったベクトル検索とは？データ投入方法をご紹介！

What's hot

Similar to Azure Databrick、 Azure Open AI、Azure AI Search を使ったベクトル検索とは？.pdf

Azure Databrick、 Azure Open AI、Azure AI Search を使ったベクトル検索とは？.pdf

• 1.
  1©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.©NISSHO ELECTRONICS CORPORATION ALL RIGHTS RESERVED.Azure Databrick、 Azure Open AI、Azure AI Search を使ったベクトル検索とは？データ投入方法をご紹介日商エレクトロニクス株式会社髙橋 和輝
• 2.
  2©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.アジェンダ1. はじめに2. Azure AI Search （旧Cognitive Search） とは？3. ベクトル検索とは4. キーワード検索との違い、メリット5. デモンストレーション
• 3.
  3©NISSHO ELECTRONICS COPORATIONALL RIGHTS RESERVED.会社概要商号日商エレクトロニクス株式会社（NISSHO ELECTRONICS CORPORATION）本社〒102-0084 東京都千代田区二番町3-5 麹町三葉ビルTEL：03-6272-5011（代表） FAX：03-3261-0734拠点数 18カ所（単体事業所、国内/海外連結子会社拠点を含む）設立 1969年2月24日資本金 143億3,687万5,000円株主 双日株式会社（100％）売上高 2022年3月期 38,362百万円（連結） 36,387百万円（個別）従業員数 （連結）962名 （個別）779名 （2022年3月31日現在）環境・品質 ISO9001、ISO14001認証取得個人情報保護 プライバシーマーク、ISO27001認証取得※グループ会社 (連結子会社)⚫ エヌビーアイ株式会社業務改革をサポートし、最適化を実現する⚫ 株式会社エヌジーシーコンピューター・ビジュアライゼーション⚫ ジェイネットワークイニシアティブ株式会社ジュニパーネットワークス製品の総合技術サービス⚫ NISSHO ELECTRONICS（U.S.A.）CORPORATIONアメリカから日本へ、最先端の技術を橋渡し⚫ NISSHO ELECTRONICS VIETNAM COMPANYベトナム現地法人⚫ P.T. NE-InfraCell Technologiesインドネシア現地法人
• 4.
  4©NISSHO ELECTRONICS COPORATIONALL RIGHTS RESERVED.自己紹介名前：髙橋 和輝 – Kazuki Takahashi-職種：テクニカルマーケター業務：最新技術の検証、ブログ、メルマガ作成、セミナー講師
• 5.
  5©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.はじめに一般的な作業の流れ「いかに素早く欲しい情報にたどり着けるか」が作業を効率化させる情報収集 情報整理 情報公開
• 6.
  6©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.社内データの活用に向けて検索結果が大量にありコンテンツを見つけるのに苦労ファイルが複数のプラットフォームに分散している社内ポータルを検索しても目的の情報が見つからないファイルのメタデータが不十分
• 7.
  7©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.Azure Open AI、Databricks、Azure AI Searchを使ったベクトル検索Storage account WebアプリAzure AI Search{[{"id": xxxx,"content": xxxx,"category": xxxx,"sourcepage": xxxx,"embedding " : xxxx,"sourcefile": xxxx,“group_ids": [“group1”]},{"id": xxxx,"content": xxxx,"category": xxxx,"sourcepage": xxxx,"embedding " : xxxx,"sourcefile": xxxx,“group_ids": [“group2”]}]}FILTER: Group_ids = “group_1”DatabricksNOTEBOOKユーザー①質問⑧回答②質問④QUERY⑤ユーザーがアクセスできる資料③Query⑥・質問・資料・チャット履歴⑦回答Azure Open AI定款.pdf就業規則.pdf副業取扱要領.pdf...
• 8.
  8©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.Azure AI Search（旧Cognitive Search）全文検索機能を提供する PaaS 型の検索サービス❖豊富な検索機能をシンプルなプロトコルと API で利用可能❖フルマネージドサービス ＆ スケーラブル❖充実した自然言語解析、ランキング調整機能❖事前構成/カスタム構成の AI 連携検索の専門的な知識なしで、検索システムの構築・利用が可能
• 9.
  9©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.ベクトル検索とはテキストや画像の数値表現（ベクトル）を使用する情報取得のアプローチ❖コンテンツを数値（ベクトル）に変換し、数値同士の距離や類似性を数学で計算する❖キーワードの完全一致を必要とせず、より関連性の高い結果を生成
• 10.
  10©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.Azure Databricksとは❖大量データを高速に分析できる統合データ分析❖構造化データ/非構造データに対応したデータ処理、データ分析、機械学習、データ管理が可能データ処理データ分析機械学習データ管理
• 11.
  11©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.©NISSHO ELECTRONICS CORPORATION ALL RIGHTS RESERVED.デモ
• 12.
  12©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.Azure Open AI、Databricks、Azure AI Searchを使ったベクトル検索Storage account WebアプリAzure AI Search{[{"id": xxxx,"content": xxxx,"category": xxxx,"sourcepage": xxxx,"embedding " : xxxx,"sourcefile": xxxx,“group_ids": [“group1”]},{"id": xxxx,"content": xxxx,"category": xxxx,"sourcepage": xxxx,"embedding " : xxxx,"sourcefile": xxxx,“group_ids": [“group2”]}]}FILTER: Group_ids = “group_1”DatabricksNOTEBOOKユーザー①質問⑧回答②質問④QUERY⑤ユーザーがアクセスできる資料③Query⑥・質問・資料・チャット履歴⑦回答Azure Open AI定款.pdf就業規則.pdf副業取扱要領.pdf...コンテンツをベクトル化 ChatGPTを介して検索
• 13.
  13©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.PDFファイルからチャンクを作成する流れAzure DatabricksPDFPage 1Page 2Page 3PythoncodeAzure AI Document Intelligence（旧Form Recognizer）ChunkストレージアカウントNOTEBOOKPDFファイル ➞ 1ページずつ ➞ チャンク
• 14.
  14©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.チャンクからインデックスを作成する流れOpenAIEmbeddingModel0.05 0.12 0.450.21 0.32 0.050.32 0.17 0.71“Content”: Chunk (text)“Source Page”: Page No.“Source File”: PDF名“Embedding”: VectorIndexChunkAzure DatabricksAzure AI Search
• 15.
  15©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.
• 16.
  16©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.ベクトル検索とキーワード検索比較就業時間だと思った回答が見つからない「勤務時間」にしたら出てきたキーワードが一致してなくても求める回答が即座に見つかるSharePoint ChatGPT+ベクトル検索
• 17.
  17©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.Azure Databricksを使うとなにがいいのか？• データの一元管理/保管場所として利用• マルチデータを活用することによる精度向上• 構造化、非構造化データを扱える• Notebook機能により複数言語でデータを扱える• Unity CatalogでChatGPT 利用時の権限管理が可能Blob StorageCognitive Search機密文書機密文書-1機密文書-2公開doc1-1IndexApp Service公開doc1公開doc2-1公開doc2-2検索結果 公開doc1-1公開doc2-1公開doc2-2Azure OpenAIService回答生成依頼生成結果一般社員A（機密文書の閲覧不可）問い合わせ回答公開doc2公開doc1-1公開doc2-1公開doc2-2××UnityCatalog
• 18.
  18©NISSHO ELECTRONICS CORPORATIONALL RIGHTS RESERVED.まとめ❖キーワード検索は、一致していないと求める回答に辿り着くのに時間がかかる❖ChatGPT + ベクトル検索で関連性の高い検索結果が素早く得られる❖Databricksで、 「複数言語でデータ管理」 「マルチデータの活用」「権限管理」