Downloaded 18 times
![{"Version":"2012-10-17", "Statement":[{"Effect":"Allow", "Action":["cognito-identity:*“], "Resource":["arn:aws:cognito-identity:ap-northeast-1:266204898704:identitypool/ap-northeast-1:c488a352-92f7-4d83-8daa-fa1549854748“]},{"Effect":"Allow", "Action":["s3:ListBucket“], "Resource":["arn:aws:s3:::sandbox.cognito.sample“], "Condition":{"StringLike":{"s3:prefix":["cognito/sample/${cognito-identity.amazonaws.com:sub}/*“]}}},{"Effect":"Allow", "Action":["s3:GetObject", "s3:PutObject", "s3:DeleteObject“], "Resource":["arn:aws:s3:::sandbox.cognito.sample/cognito/sample/${cognito-identity.amazonaws.com:sub}","arn:aws:s3:::sandbox.cognito.sample/cognito/sample/${cognito-identity.amazonaws.com:sub}/*"]}]}ロールの設定S3 のパスに対する操作を限定する内容• Identity ID のプレースホルダ– ユーザ領域を分割するときに使用– ${cognito-identity.amazonaws.com:sub}26](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2fjawsdays2016dive-160312020607%2f75%2fJAWSDAYS2016-Technical-Deep-DIVE-26-2048.jpg&f=jpg&w=240)
Uploaded by陽平 山口
3,774 views
JAWSDAYS2016 Technical Deep DIVE
AWS Cognito Identity Machine Learning Recgnition
Recommended
More Related Content
What's hot
Similar to JAWSDAYS2016 Technical Deep DIVE
![[AWS DevDay] Cognito / Amplify で加速するエンタープライズのアプリケーション開発](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fll979jbaqbijmykbepzh-signature-4262905d3f8e13cbca98735670a82044428c505f788f38b657373340808a68c1-poli-201020101350-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー 〜 AWS SDKの使い方 〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20171207awsdevelopersmeetuplivewalkthrogh-171213024216-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[AWS初心者向けWebinar] AWSを活用したモバイルアプリの開発と運用](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20151117-mobile-151117052058-lva1-app6891-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More from 陽平 山口
JAWSDAYS2016 Technical Deep DIVE
- 1.JAWSDAYS2016 3月12日（土） ベルサール新宿グランドCognitoでお手軽クラ ウ ド ソ ー シ ン グAWS Technical Deep Dive 発表資料発表：足立 陽一 サンプルアプリ：じえんちゃん 資料：山口 陽平1
- 2.今日話すこと• 自己紹介 ＆会社紹介• 来栖川電算の業務• Cognito• Cognito Identity の基本フロー• サンプルアプリの実装• サンプルアプリによる実験• まとめつぶやくなら ⇒ #jawsdays #jawsug2
- 3.
- 4.足 立 陽一@adacola• 所属– 有限会社 来栖川電算• 自己紹介– アプリ、サービス、インフラ、機械学習と色々手掛けるエンジニア。仕事では Scala を使っているが個人的には F# が好き• 好きなAWS– Cloud Formation，S3，Lambda4
- 5.じえんちゃん@ZiQwx• 所属– 有限会社来栖川電算• 自己紹介– 毎朝体操、認識アプリ、コンパイラ、開発環境、ゲームなどなんでも作るエンジニア。いろんな技術に挑戦したい年頃。• 好きなAWS– API Gateway，Lambda
- 6.山 口 陽平@melleo1978• 所属 ＆ 経歴– 有限会社 来栖川電算 取締役– Mashup Awards 9 優秀賞受賞– 名古屋工業大学大学院 博士前期課程修了– IPA未踏ソフトウェア創造事業 採択• 自己紹介 企画 ～ 実装まで全部やる人– 認識技術 & アルゴリズム の研究開発• 文字認識，物体認識，動作認識，行動認識– 言語処理系 の研究開発• 分散DB，仮想機械，コンパイラ• 好きなAWS S3，DynamoDB※実物に髪の毛はありません。6
- 7.山 口 陽平@melleo1978• ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83– これから画像認識をはじめる人におススメ7– OpenCV の使い方や実装例– SIFTなどの各種アルゴリズムや特定物体認識のしくみ– 精度改善への取り組み方
- 8.来栖川電算設立 2003年（名古屋工業大学発ベンチャー） 従業員36人• SF世界の技術を実現し、社会に役立てる– 人工知能技術のライセンス販売・研究・SI• 文字認識，物体認識，動作認識，行動認識– スマホアプリの企画・制作・運営スマートライフ技術NTTドコモ様との共同研究スマートドライブ技術大手自動車メーカー様むけメイドさんもふくめて8
- 9.来栖川電算様々なアルゴリズムを駆使する技術者集団• 様々な認識技術– 文字認識，物体認識，モーション認識•限界性能を引き出す優れた実装技術– 機械学習・コンパイラ・データベース・仮想機械などのアルゴリズムとバイナリハック• 高速化，並列化，分散化，省空間化，高精度化• ビジネスを差別化する認識エコシステム– スケールに応じた仕組，競争力の自動強化9
- 10.
- 11.認識技術 の 研究開発データ入力から アプリ開発 までトータルサポート• 俯瞰的視点 ⇒ 効果的な課題解決11
- 12.通称：東北の方々在宅データ入力部隊 ※主に主婦 ※震災がきっかけで雇用•様々な認識タスクのためのデータを入力– 文字認識，画像検索，物体検出，シーン分類，行動推定，ダンス採点，…• ダンス採点：音楽に合わせた動作データ– 一般体操：ラジオ体操，アルゴリズムこうしん／体操，ようかい体操，くまモン体操，…– 企業体操：製鉄系，自動車系，福祉施設系，…– アイドル：プリキュア，ラブライブ，AKB，…– 伝統舞踊：郡上おどり，…– ※よいデータを作るために、しっかり練習！12
- 13.教師エディタ東北の方々が使うアプリ 認識タスクごとに開発• データ入力機能← ここに専念したい– 認識タスクによって全く異なる UI• ユーザ管理機能 ← Cognito Identity– ユーザIDの発行・認証・認可，…• データ保管機能 ← S3, DynamoDB, Cognito Sync– データ同期（デバイス⇔クラウド）• 進捗管理機能 ← DynamoDB– タスクの割り当て・検収，統計，…13
- 14.
- 15.CognitoEC2レスでクラウド上にユーザ領域を確保可能• Cognito Identity← 今日はココを説明– アプリ用のユーザIDプール• 外部ユーザIDとの紐づけ– AWS資源のユーザ領域への安全なアクセス• S3，DynamoDB，…• Cognito Sync– データのオフライン編集– ユーザのデータ同期• デバイス⇔クラウド，デバイス間• 更新のプッシュ通知15
- 16.Cognito Identityユーザ認証機構を外部化したユーザID管理サービス• 認証済ユーザID（紐づけ）–外部ユーザID（認証済）に対応するIdentityIdを発行– 様々なユーザ認証機構（IDプロバイダ）で可能– パスワードの変更や再発行などの管理が不要• 未認証ユーザID（ゲスト）– 認証していなくてもIdentityIdを発行– ユーザ登録手続きが不要• ユーザIDのマージ（名寄せ）– 実は同じユーザでしたに対応可能• AWS資源のユーザ領域への安全なアクセス– アプリへ認証情報を埋め込まないので安全– きめ細やかに制限可能な期限付き認証情報なので安全16
- 17.
- 18.主に４パターンIDプロバイダの種類 × ロールの種類•IDプロバイダ– 一般的：Amazon，Facebook ，Google+，Twitter，OpenId Connect– 独自：上記でないもの• ロール– 静的：あらかじめ設定したロール– 動的：ユーザや状況ごとに変化するロール18
- 19.Enhanced Flow一般的IDプロバイダ ×静的ロール19
- 20.Basic Flow一般的IDプロバイダ ×動的ロール20
- 21.独自 Enhanced Flow独自IDプロバイダ× 静的ロール21
- 22.独自 Basic Flow独自IDプロバイダ× 動的ロール22
- 23.
- 24.アプリの仕様加速度データを S3 へ保存※ダンスのデータ収集に使える• 機能– ①加速度データを記録後、S3 へアップロードするボタン– ②現在のユーザを新しいゲストユーザにするボタン– ③現在のユーザに Google+ のアカウントを紐付けるボタン– ④現在のユーザに Amazon のアカウントを紐づけるボタン– ⑤現在のユーザの IdentityId– ⑥現在のユーザが過去に S3 へ保存した加速度データの一覧• 制限– アプリには紐付けを解除する方法がないので、マネージメントコンソールなどから解除対象の IdentityId を削除してください。24⑤⑥
- 25.Cognito の設定ソーシャルログインの設定に慣れていればすぐ• ①プール名–Identity ID の名前空間• ②プール ID– アプリから Cognito へのWeb API 呼出に必要• ③ロールの設定– 未認証ユーザと認証済ユーザの IAM ロール• 同じ内容に設定• ④未認証ユーザの設定– ゲストユーザの有無• 有に設定• ⑤認証済ユーザの設定– Cognito から ID プロバイダへの Web API 呼出に必要• Amazon App ID と GoogleClient ID を入手し設定25①②③④⑤
- 26.{"Version":"2012-10-17", "Statement":[{"Effect":"Allow", "Action":["cognito-identity:*“],"Resource":["arn:aws:cognito-identity:ap-northeast-1:266204898704:identitypool/ap-northeast-1:c488a352-92f7-4d83-8daa-fa1549854748“]},{"Effect":"Allow", "Action":["s3:ListBucket“], "Resource":["arn:aws:s3:::sandbox.cognito.sample“], "Condition":{"StringLike":{"s3:prefix":["cognito/sample/${cognito-identity.amazonaws.com:sub}/*“]}}},{"Effect":"Allow", "Action":["s3:GetObject", "s3:PutObject", "s3:DeleteObject“], "Resource":["arn:aws:s3:::sandbox.cognito.sample/cognito/sample/${cognito-identity.amazonaws.com:sub}","arn:aws:s3:::sandbox.cognito.sample/cognito/sample/${cognito-identity.amazonaws.com:sub}/*"]}]}ロールの設定S3 のパスに対する操作を限定する内容• Identity ID のプレースホルダ– ユーザ領域を分割するときに使用– ${cognito-identity.amazonaws.com:sub}26
- 27.アプリのビルドAndroid Studio 1.3.2以上の環境で次の手順を実施1. 次の URL からソースコードを入手– https://bitbucket.org/maiasa/cognito_identity_sample2. strings.xml の赤文字を修正3. Gradle でビルド27<resources><string name="app_name">Cognito Identity Sample</string><string name=“amazon_cognito_identity_pool_id”>「Cognito の設定」に登場した Cognito Pool ID を設定</string><string name=“google_auth_client_id”>「Cognito の設定」で設定した Google Client ID を設定</string><string name=“bucket_name”>加速度データを保存する S3 Bucket を作成し、その名前を設定</string><!-- これらの値を設定するとBasicフローになります。設定しない場合（空文字）はEnhancedフローになります。 --><string name="aws_account_id"></string><string name="unauth_role"></string><string name="auth_role"></string></resources>cognito_sample/app/src/main/res/values/strings.xml
- 28.アプリの動作確認便利なコンソールで実行結果を覗いてみよう！• Dashboard– IDプロバイダごとのログイン回数をグラフ化•Identity Browser– 発行された IdentityId の確認・削除28
- 29.
- 30.実験１：ゲスト未認証ユーザが自分の領域へ書き込む• 手順1. ②で現在のユーザをゲストユーザにする。2.①で加速度データを記録し、アップロードする。3. ゲストユーザ領域（赤枠のIdentityId の含まれる S3 パス）に加速度データ（緑枠のファイル）があるかを確認する。30
- 31.実験２：紐付け認証済ユーザを２個作り、加速度データを記録する• Amazon アカウントと紐づいた認証済ユーザA を作る（＋データも記録する）手順1. ②で現在のユーザをゲストユーザにする。2. ④で Amazon のアカウントと紐付ける。3. ①で加速度データを記録する。• Google+ アカウントと紐づいた認証済ユーザ G を作る（＋データも記録する）手順1. ②で現在のユーザをゲストユーザにする。2. ③で Google+ のアカウントと紐付ける。3. ①で加速度データを記録する。31
- 32.実験３：切り換えユーザを切り替え、データも切り替わるか確認する• ユーザ Aへの切り替え手順1. ②で現在のユーザをゲストユーザにする。2. ④で Amazon のアカウントと紐付ける。• ユーザ G への切り替え手順1. ②で現在のユーザをゲストユーザにする。2. ③で Google+ のアカウントと紐付ける。• サンプルアプリでは– 切り換え ＝ ゲストに紐付け32
- 33.実験４：名寄せ２つのユーザを名寄せし、データを確認する。1. ユーザ Aへ切り替える。1. ②で現在のユーザをゲストユーザにする。2. ④で Amazon のアカウントと紐づける。2. ユーザ G と名寄せする。1. ユーザ A のまま、③で Google+ のアカウントと紐づける。3. ユーザ G に切り変わらず、ユーザ A のデータが表示されたままか確認する。– ユーザ G はユーザ A に名寄せされ消滅– 名寄せイベントはとれるのでデータ移行は可能33
- 34.
- 35.まとめCognito の可能性：どのように使うと捗るか？• EC2レスでもリッチな機能– クラウド上に安全なユーザ領域を実現• 例：ヘルスケアデータの蓄積– クラウドストレージ経由の安全なユーザ協調• 例：ヘルスケアデータの統計・ランキング• 必要になるまでユーザ登録を遅延– 初回起動時の情報入力による離脱率上昇を抑制• 外部アカウントの紐付けによるデータ移行– パスワード的なものの管理やトラブルからの解放• サービスごとに閉じたユーザID– トラッキングリスクの低減35
- 36.
- 37.スタッフ募集中学生さん、転職者さん、力を貸して！• 研究（認識技術）– 機械学習・アルゴリズム・高速化・省メモリ・画像・センサーに関する知識，Java，C++•開発（サーバサイド）– プロセス・アーキテクチャ・ミドルウェア・ネットワークに関する知識，Scala，Java，C++• 開発（フロントエンド）– UI/UX・Android・iOSに関する知識，JavaScript• 企画（認識アプリ・認識サービス）– 新しい習慣を考える力，普及のためのアイデア37
- 38.
- 39.
- 40.
- 41.
- 42.情景画像文字認識とはいわゆる “OCR” とは”扱う画像” が違う• 悪環境下での文字認識– 手書き・様々な書体・かすれ・点描・きついパース・統一性のない並び・逆光・陰・影・グラデーション・モアレなど• 使える場面– 屋外でのスマホカメラを使った棚卸し– 車載カメラからの標識認識– 商品パッケージからの成分情報抽出– キーワードによるアルバム・ビデオの頭出し42
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.事例：1000sors誰でも簡単に使えるクラウド型物体認識エンジン• 広い適用範囲– 照明姿勢の変化に強く、様々な撮影環境に対応•驚異的な精度– 数十万種類をほぼ完ぺきに識別• 圧倒的な性能– たった１台のＰＣで１００万種類を瞬時に識別– 台数を増やせばリニアにスケールアウト48
- 49.事例：1000sors手元の画像で精度や速度をすぐに確認可能• ShotPreview forAndroid / iOS①設定 ②撮影 ③確認49
- 50.
- 51.
- 52.事例：Cellars18万件のワインラベルを認識するアプリ• 世界で賞を獲得したアプリをダウンロード！– AsiaSmartphone Apps Contest• 広告マーケティング部門 Silver Award 2位– 立命館大学 学生ベンチャーコンテスト• 最優秀賞 NICT賞52
- 53.
- 54.事例：画像認識API画像を送るだけで写っている商品の情報を取得• 登録商品：500 万件以上（昨年10月）の市販商品–書籍，DVD，CD，PCソフト，ゲームソフト，食品パッケージ，… どんどん増加中• 定期更新：網羅性 と 認識精度 の改善– データ追加，パラメータ・アルゴリズム改良54
- 55.開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp事例：画像認識APIだれでも、かんたんに、マッシュアップ！•docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定55
- 56.
- 57.
- 58.事例：動作推定APIドコモ と 来栖川電算の共同研究• 加速度データから人の動作や行動を検出– 静止，歩き，走り，自転車，睡眠，食事• 動作と直接対応しない行動も検出可能• スマホ・スマートウォッチに対応– Android，Android Wear，…• 加速度データにアクセスできる API を備えたウェアラブルデバイス– ※次の画像は画像中のデバイスに対応していることを保証するものではありません。58
- 59.開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp事例：動作推定APIだれでも、かんたんに、マッシュアップ！•docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定59
- 60.
- 61.事例：毎朝体操だれでも、いつでも、どこでも、すぐできる• Android &iPhone ⇒ http://maiasa.jp/61
- 62.事例：なりきり 2.0ウェアラブルで現実のモノを操作する作品• ゲームコントローラへの応用–格闘ゲームが遊べる程、応答が速く、精度もよい。62