Movatterモバイル変換

Keisuke Nishitani, Solutions Architect, Amazon Web Services Japan K.K.2015.11.21Automated Testing on AWS Device Farm

⾃自⼰己紹介{"Name" : "⻄西⾕谷圭介","Twitter" : "@Keisuke69","Profile" : {"Role" : "Solution Architect","Customers": [ "Web Services", "Start-‐‑‒up”],"Services" : [ "AWS Lambda","Amazon API Gateway","All Mobile Services”]}}

アジェンダ• 解決したい課題と背景• AWS Device Farm の紹介• ユースケース• 利利⽤用料料⾦金金• まとめ• Q&A

アプリの品質は重要である• 48% のユーザーは、バグやパフォーマンスの問題があれば、アプリを削除する。• 32% のユーザーは、このような問題が発⽣生すると、競合アプリを探す。• ユーザー獲得コストは、アプリごとに 2.74 ドルとなっており、2014 年年 4 ⽉月に⽐比べて年年間で 80% 増加している。Failing to meet mobile app user expectations -‐‑‒ A mobile app user survey from Dimensional Research (2015/3/30)http://go.saas.hp.com/apppulse-‐‑‒mobile-‐‑‒surveyMobile Marketing Costs See Unprecedented Year-‐‑‒over-‐‑‒Year Growth, According to the Fiksu Indexes (2015/5/29)https://www.fiksu.com/about/news-‐‑‒releases/fiksu-‐‑‒indexes-‐‑‒mobile-‐‑‒marketing-‐‑‒costs-‐‑‒see-‐‑‒unprecedented-‐‑‒year-‐‑‒over-‐‑‒year-‐‑‒growth

⾼高品質なアプリを提供するのが、なぜ難しい？• ほとんどの問題は、デバイスのスペックに起因する。• ユーザーが持っている実デバイスと同じものでテストしなければならない。• 市場には多くのデバイスとOSバージョンの組み合わせがある。• ⼤大量量のデバイスを備えたテストラボを維持するのは、⾼高コストで複雑である。• ⼿手作業によるテストは遅い。Open Signal -‐‑‒ Android Fragmentation Visualized (2014/8)http://opensignal.com/reports/2014/android-‐‑‒fragmentation/

デバイス／OS の置き換えは加速している• ユーザーが持っている Android デバイスの種類は前年年 11,868 に対して、2014 年年 8 ⽉月では 18,796 に増加している。• Android ユーザーの 38% は Jelly Bean, 39 % は KitKat, 12% はLolipop, 10% はまだ Gingerbread と Ice Cream Sandwich を利利⽤用している。Open Signal -‐‑‒ Android Fragmentation Visualized (2014/8)http://opensignal.com/reports/2014/android-‐‑‒fragmentation/Android Developers (2015/6)http://developer.android.com/intl/zh-‐‑‒CN/about/dashboards/index.html

テストにかかるコストと複雑さは増加している• エンタープライズ IT テストと QA 予算の全体⽐比率率率は 2012 年年の 18% から 2014 年年の 26% に増加しており、35% の組織はこの予算配分に満⾜足していない。• 10 ⼈人に 4 ⼈人の IT 経営者が、アプリを適切切にテストする時間がないと⾔言っている。• 51% の開発者が、コストと時間の制約のため、テストできないと⾔言っている。Capgemini -‐‑‒ World Quality Report 2014-‐‑‒15https://www.capgemini.com/thought-‐‑‒leadership/world-‐‑‒quality-‐‑‒report-‐‑‒2014-‐‑‒1577% of Mobile App Purchasers Have Concerns When Buying Mobile Apps - Harris (2013/8/20)http://www.businesswire.com/news/home/20130820006244/en/77-‐‑‒Mobile-‐‑‒App-‐‑‒Purchasers-‐‑‒Concerns-‐‑‒Buying-‐‑‒Mobile#.Vaz9yaad1N0

テストにかかるコストと複雑さは増加している• 必要なデバイス（メーカー、モデル、キャリアとOS）の維持コスト• 各デバイスでのマニュアルテストは⾮非現実的• テスト⾃自動化環境の構築とテストインフラの管理理は複雑で⾼高コスト

Android、iOS、Fire OS アプリをアップロードして、テスト内容を設定して、デバイスを選択する。選択したデバイスをまたいで並列列にアプリをテストできる。迅速かつ安全である。バグ、パフォーマンス、その他の問題を、数分のうちに詳細にレポートする。YOURAPP+AWS Device FarmAWS クラウドにホスティングされた数多くのスマートフォン、タブレット、その他の実デバイスで、迅速かつ安全に Android、iOS、Fire OS アプリをテストして品質を向上できる。

テストの流流れプロジェクトの作成アプリのアップロードアプリ情報の確認テストのアップロード

デバイスの選択環境の設定テスト内容の確認テストの実施

テスト結果のサマリテスト結果の詳細スクリーンショットの確認パフォーマンスの確認

デバイス• デバイスのプロファイルは、製造メーカー／型＆モデル／OS バージョン／キャリアの組み合わせである。• AWS データセンターにホスティングされており、ユーザーの要求に応じてスケールできる。• ⼗十分なキャパシティ（多くの同⼀一のデバイスプロファイル）を保有している。• ルート権限では動作しない。• 市場情報に基づいてデバイスは⽤用意される。• 新しいデバイスが発売されたら追加される。新しいデバイス最新のデバイスセットを利利⽤用できるAWS データセンター

デバイステストでは、互換性のあるすべてのデバイスから個別に選択できる。もしくは、利利⽤用したいデバイスを事前に選択しておきデバイスプールを作成することもできる。注意）デフォルトでは数個の試⽤用デバイスしか利利⽤用できない。すべてのデバイスを利利⽤用するには申請が必要。

複数のフレームワークをサポートテストオートメーションフレームワーク• Appium（JUnit, TestNG）• Calabash• Instrumentation ※Androidのみ（JUnit, Espresso, Robotium）• uiautomator• XCTest(Xcode5〜～), KIF ※iOSのみポイント• プロジェクトごとに最適なソリューションを使ってテストを作れる。• 開発チームと QA チームで要件が異異なっても、ひとつの共通プラットフォームに統合できる。• 新しく出現してくるフレームワークもサポートされることで統合できる。

https://github.com/appium/sample-‐‑‒code – AndroidTest.java

https://github.com/appium/sample-‐‑‒code – AndroidContactsTest.java

ビルトインのテストスイートビルトイン Fuzz テストFuzz テストはアプリにランダムなユーザー⼊入⼒力力（タッチ、スワイプ、キーボード⼊入⼒力力）を与えて UI テストを実施する。イベント数、イベント間隔、ランダムイベントに使われる乱数根(seed)を設定できる。テストをまたいで同じ乱数根(seed)を利利⽤用すれば、同じイベントのシーケンスを再現できる。ポイント• テストスクリプトを書かずにテストを実施できる。• 数分で互換性問題を特定できる。• テストスクリプトは以下の動作をする。• アプリのインストール• アプリの起動• Fuzz テスト• アプリのアンインストール

App Exprolerテストスクリプトを書かずに実デバイス上でAndroidアプリがどのように振る舞うかについて詳細なテスト可能• アプリケーションをクロールしてView を解析することでユーザが操作するかのようにコントロール• スクリーンショット、ログ、パフォーマンスデータを⾃自動で取得• ネイティブとウェブの両⽅方のコントロールを扱える• ボタンのタップ、テキストインプットへの⽂文字⼊入⼒力力、メニュー操作などが可能• アカウントログインにも対応

並列列実⾏行行並列列実⾏行行• 選択したデバイスで並列列にテストを実施できる。• ⼗十分なキャパシティ（多くの同⼀一のデバイスプロファイル）を保有している。• デバイスプロファイルの利利⽤用が満杯になると、デバイスごとにキュー待ちになる。• テストが完了了したらデバイスごとに結果を得られる。ポイント• オートメーションテストを⼀一⽇日何回も実施するような場合に有効。• ⾃自前のオートメーションソリューションで、⼤大量量のデバイスで並列列実⾏行行できるようなインフラを構築することは、複雑で技術的なチャレンジであるが、 AWS Device Farm であれば簡単に実現。

実世界のシナリオを再現するために環境を設定できる実世界のシナリオを再現するためにデバイスの状態を設定できる。• ⾔言語／地域の選択• 位置情報（経緯度度）• ネットワークの状況-‐‑‒ WiFi、Bluetooth、GPS、NFC• 追加のデータ• 他アプリのインストール

レポートレポートは、各デバイスごとの詳細情報だけでなく⾼高度度な結果を含んでいる。• 成功／失敗の情報• クラッシュレポート• テストログ• デバイスログ• スクリーンショット• パフォーマンス情報

レポート – 原因調査個々の問題を掘り下げて調査できる。

レポート – スクリーンショットテストでキャプチャされたスクリーンショットを取得できる。

レポート – パフォーマンステストにおけるパフォーマンス（CPU、メモリ利利⽤用、スレッド数）を調査できる。

レポート – ログテストで作成されたログなどのファイルを取得できる。

開発／テストのワークフローと統合• AWS マネージメントコンソールから利利⽤用できる。• Jenkins プラグインを利利⽤用して Jenkins CI サーバーから利利⽤用できる。• その他ワークフローのためにフル機能の API を利利⽤用できる。• テストのセットアップ、テストの開始、テスト状況の取得• レポーティング情報のダウンロード

Jenkins プラグインJenkins CI サーバーと AWS Device Farm を機能的に連携するプラグインAWS Device Farm Jenkins Pluginhttps://github.com/awslabs/aws-‐‑‒device-‐‑‒farm-‐‑‒jenkins-‐‑‒plugin

Jenkins プラグインテスト結果（スクリーンショット、ログなど）をダウンロードすることも可能。

セキュリティ• AWS Device Farm とのすべての通信は SSL コネクション上で⾏行行われる。• テストが終われば、インストールされたアプリはすべてアンインストールされる。• 電話番号、追加アカウント、外部データを含むデバイス上のすべてのデータは削除される。• AWS 上に⼀一時保存されたアプリとファイルは⾃自動的に 30 ⽇日経過すると削除される。• テスト中、各デバイスはユーザーに専有される。• デバイスは他のデバイスから独⽴立立しており、WiFi、Bluetooth、その他のワイヤレステクノロジーは他のデバイスにアクセスできない。• 外部ネットワーク接続はインターネットに限定されており、他のデバイスへ接続できるネットワークはない。• すべてのデバイスを利利⽤用できるように認証がとれるまでは、数個の試⽤用デバイスの利利⽤用のみに限定される。（すべてのデバイスを利利⽤用するには要申請）

• アップロードできるアプリは最⼤大 4GB まで。• 利利⽤用できるデバイス数に上限はないが、並列列実⾏行行数は最⼤大 5 （緩和可）• WiFi によるインターネット接続ができるが、キャリアのコネクションは持っておらず、電話の発信や SMS メッセージの送信はできない。• フロントおよびリアのカメラで写真を撮影できるが、デバイスが設置されている環境に依存して暗くピンぼけした写真となる。• Google Play サービスはインストールされておりサポートされているが、アクティブな Google アカウントは持っていない。• 製造メーカーやキャリアによる最低限のアプリのみプリインストールされている。• PhoneGap, Titanium, Xamarin, Unity, その他フレームワークで作成されたハイブリッドアプリもサポート。その他

ユースケースエンタープライズ／⼤大規模のビジネス• ⾃自前でオートメーションソリューションを構築／運⽤用しなくてよい。• いままで利利⽤用したことのないデバイスも利利⽤用できる。⼩小／中規模のビジネス• いままで所有できなかったデバイスを利利⽤用できる。• ⼿手作業ではリソースを限定していたが、⾃自動化することで効率率率的にテストできるようになる。Sier/コンサルティングパートナー• ⾃自社サービスを提供するために、プラットフォームを活⽤用できる。• ビジネスを横展開するために、再利利⽤用できる技術と資産を作ることができる。

⾃自前のソリューション初期投資／運⽤用が⾼高コスト新しいデバイスの追加とOSバージョンのアップデートは⼀一⽇日仕事であるいつでも利利⽤用できるようにデバイスをオンラインに保たなければならない並列列実⾏行行、データ収集、レポーティングなど、オートメーション機構を構築することは⼤大変⾃自前のソリューションとの⽐比較AWS Device Farm従量量課⾦金金により低コストユーザーが利利⽤用しているデバイスとOSバージョンに遅れをとらないAWS データセンターにホスティングされたデバイスの⾼高い信頼性と可⽤用性⾼高品質なアプリを提供することに集中できる

導⼊入に際して• すでにテストオートメーションを利利⽤用もしくは計画している。• もっと多くのデバイスを利利⽤用したい。• ⾃自前でデバイスやインフラを管理理したくない。→すぐに AWS Device Farm に置き換え可能• まだテストオートメーションを利利⽤用していない。• テストスクリプトを作成するリソースが⾜足りない。• テストを実施するリソースが⾜足りない。→まずは Fuzz テストから

IHS Sphera® First Report™• 安全上のインシデントやニアミスの情報をレポート• オフライン利利⽤用可能• カメラで撮影した画像の添付に対応• Android/iOS

なぜモバイルテストを⾃自動化するか• 限られたQAリソース• マニュアルテストでのミス防⽌止• OSバージョンの互換性問題• 後⽅方互換性を維持するにはさらなるコードが必要• デバイスの互換性問題• Android 4.0以降降が稼働するデバイスだけでも約7000種類ほどある

Development/testing processDevelop SCMcommit Automatedbuildtrigger AutomatedUI test(simulators)alwaysIsmilestone?noBeta deploytomanual testersAutomatedUI test(Device Farm)yes

Development/testing processDevelop SCMcommit Automatedbuildtrigger AutomatedUI test(simulators)alwaysIsmilestone?noBeta deploytomanual testersAutomatedUI test(Device Farm)yesPMease QuickBuild• Javaベースのクロスプラットフォームな⾃自動ビルドサーバ• AndroidとiOS向けの⾃自動ビルド• HockeyAppとTestFlightを通じたベータ配布• シミュレータに対するAppium UI テストの実⾏行行• マイルストーンビルドはAWS Device Farmへ送付

Development/testing processDevelop SCMcommit Automatedbuildtrigger AutomatedUI test(simulators)alwaysIsmilestone?noBeta deploytomanual testersAutomatedUI test(Device Farm)yesAppium• 各種⾔言語で書かれたテストを実⾏行行可能なフレームワーク• Ex: Ruby, Python, Java, JavaScript, PHP, C#• 各⾔言語のテストランナーを利利⽤用• Ex: JUnit for Java, NUnit for C#• 既存のネイティブアプリ向けUIテスト⾃自動化フレームワークを利利⽤用• UIAutomation – iOS• UIAutomator – Android• テストのための特別なビルドが不不要であり、テストしたビルドをそのまま出せる

Development/testing processDevelop SCMcommit Automatedbuildtrigger AutomatedUI test(simulators)alwaysIsmilestone?noBeta deploytomanual testersAutomatedUI test(Device Farm)yesHockeyApp• Android、iOSとWindowsへのベータ配布• iOS – プロビジョニングプロファイルが必要TestFlight• iOSへのベータ配布

Etsy• iOS, Android向けに4つのアプリを提供• アプリ開発の専任チームなし• 2週間に⼀一度度のリリース• 2⼈人のリリースマネージャと8⼈人のQAスタッフ（Web＋Mobile）

既存のCI環境• 10〜～20ジョブを並列列実⾏行行• build, lint, ユニットテスト, ファンクショナルテストを実施• ビルド時間は8〜～10分• オンプレのビルドマシン• iOS: 50 Mac mini / MacBook Pro• Android: 26 Linux containers

⼈人/シミュレータによるテスト⼈人間によるテスト• 従業員によるnightly buildのドッグフーディング• Adminローテンション時の従業員ボランティアによるテスト• プレリリース検証時のプロダクトクオリティチームによるテストシミュレータ• Android Espresso + Genymotion• KIF(iOS)• simulator/emulatorごとに1つのビルドジョブ• Build Flow Pluginを利利⽤用したジョブの並列列実⾏行行

物理理デバイス上でのテスト• AWS Device Farm• テストジョブのスケジュール化とテスト結果収集のためにJenkins pluginを使⽤用• 30分毎にスケジュールされたテスト実⾏行行• Espresso（Android）とKIF（iOS）を実⾏行行• デバイス上でのパフォーマンスメトリクス収集⽤用にファンクショナルテストを使⽤用

対象デバイスの選択Google Analyticsを利利⽤用してよく利利⽤用されるdevices、OS、解像度度を確認

デバイス選択AWS Device Farm プールからマッチするデバイスを選択してDevice Poolを作成

テスト結果の可視化• ⼤大量量のテスト結果（4アプリ × 10デバイス × 30分ごと）• pass/failの結果そのものではなく、トレンドをモニタ• アラート• 特定デバイス上で繰り返された失敗• 全デバイスで発⽣生した失敗• 内製ツールのJumbotronを利利⽤用

AWS Device Farm and Etsy> Device Farm tests results visualization

デバイス上でのパフォーマンスモニタリング• デバイスログにメトリクスをログ出⼒力力• APIを利利⽤用してログを収集• ログをパースし、graphiteへ連携し、パフォーマンスグラフを⽣生成

利利⽤用料料⾦金金従量量課⾦金金-‐‑‒ テストを実⾏行行するのに必要となった Device Minutes によってつまり、デバイス数×時間(分) によって計測される。• 無料料枠は： 250 Device Minutes• 以後は： 1 Device Minute あたり 0.17 ドル定額オプション-‐‑‒ １デバイスあたり⽉月額 250 ドル• 定額でデバイスを利利⽤用できる。• サブスクリプションを変更更しなくても、いつでも数多くの Android デバイスから必要なデバイスを選択できる。

２デバイスの定額オプションを契約した場合並列列度度時間１２３４従量量課⾦金金⽉月額250×2=$500

• クラウドにホスティングされた数多くの Android, iOS、Fire OS の実デバイスでテストを実施できる。• 複数のフレームワークを利利⽤用できる。• テストスクリプト不不要のビルトイン Fuzz テストを利利⽤用できる。• テストを並列列実⾏行行でき、数分で結果を得られる• 実世界のシナリオを再現するために、テスト環境を設定できる（⾔言語、ロケーション、デバイス状態など）• テスト結果をすぐに取得できる（スクリーンショット、デバイスログ、パフォーマンスデータなど）• Jenkins など継続的インテグレーション（CI）や他ワークフローの⼀一部としてテストを実施できる。AWS Device Farm のポイント

Movatterモバイル変換

Change Language

Automated Testing on AWS Device Farm

Embed presentation

Recommended

More Related Content

What's hot

Viewers also liked

Similar to Automated Testing on AWS Device Farm

More from Keisuke Nishitani

Automated Testing on AWS Device Farm