Movatterモバイル変換

rAdio id:rAdio

Athenaに関するrAdioのブックマーク (3)

AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する | DevelopersIO
Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。オプションの説明になります。 --human-readable(--humanだけでも可)：ファイルサイズに単位をつけて見やすくしてくれるオプション --summarize (--sumだけでも可)：合計サイズとオブジェクトの数を表示してくれるオプション --recursive：指定したフォルダの中にフォルダがあった場合にその中のファイルも対象にするオプションバケットごとの使用量やファイル数はCloudWatchで見れるようです。【新機能】S3のファイル数とバケットサイズがCloudWatchに追加されましたAWS CLIを使
rAdio2018/07/24
「aws s3 ls s3://{bucket}/{path}/{to}/{dir}/ --recursive --human --sum」で「du -sh /{path}/{to}/{dir}/」的なことができる、と。
AWS
S3
Athena
リンク
Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO
カラム名あり（Hive互換）パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIRE TABLEを実行するとフォルダを再帰的にスキャンして、パーティションを自動設定できます。一方、カラム名なしパーティションは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。 $aws s3 ls s3://mybucket/devio2017-handson/07-elblogs/ --recursive 2017-08-21 12:42:42 11789573 devio2017-handson/07-elblogs/2015/01/01/part-r-00000-ce65fca5-d6c6-40e6-b1f9-190cc4f93814.txt 2017-08-21 12
rAdio2018/07/23
AWS
Athena
CloudTrail
S3
リンク
[新機能]ワンクリックでAmazon AthenaのAWS CloudTrail用テーブルが作成できるようになりました | DevelopersIO
こんにちは。サービスグループの武田です。Amazon Athenaは、Amazon S3に保存されたデータを標準的なSQLで分析できるサービスです。またAWS CloudTrailは、AWSアカウント内で行われた操作のイベントログを記録できるサービスで、ログはS3に保存できます。両サービスを組み合わせることで、CloudTrailが取得したログをAthenaで分析できます。しかしこれまでは分析用のテーブルを自分で作成する必要があり、ややハードルの高さがありました。今回のサービスアップデートで、S3バケットを指定するだけで簡単にテーブルが作れるようになりました。AWS CloudTrailLog Search UsingAmazon Athena やってみたさっそくマネジメントコンソールにアクセスしてやってみました。まずはマネジメントコンソールからCloudTrailにアクセス
rAdio2018/07/19
この「CloudTrailのデータに合わせて、Athenaの "CREATE EXTERNAL TABLE" 文を生成してくれる機能」、awscliから実行できないのかな…？それともこれ、単に決め打ちサンプルとして生成してるだけなのだろうか…。
AWS
CloudTrail
Athena
Presto
リンク
1