EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。 メタデータカタログはGlueデータカタログを使用。GlueのVPCエンドポイントを使ったところ、インターネットに出ずにデータカタログが参照できたのが意外だった。そちらの話はまた別途メモ予定。 確認…

AWSの簡易見積りツール(SMC)↓ AWS費用の見積りでよく使っているのですが、2020/6/30でサービス終了がアナウンスされていました。 その代わりとして「AWS料金見積りツール」が用意されてはいるんですが、対応サービスに差があったり、CSVダウンロードが無かっ…

遅ればせながら、CloudFormation始めました。手始めに、既存VPC・サブネット内にEC2を立てる、というのをやってみました。 CloudFormationのテンプレートです 参考にしました

AthenaでString→Timestampや、String→Decimalなどの変換を行いたく試行錯誤したのでメモ 検証環境 やりたいこと 実行SQLと実行結果 参考にしました

EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…

LamdaのLayerはモジュールを共有できて便利ですよね。 そんなLayerに自作のPythonモジュールを登録して使いたかったのでメモ。 確認環境 自作モジュールをLayerに登録するために必要なこと 参考URL

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したかったので試行錯誤したメモ。 手順は紹介されているけれど 確認環境 確認構成

AthenaでCSVファイルのParque形式への変換ができるのですが、GUIからだけでなく、CUIからやったらできるかな、と試したらできたのでメモ。 実行したコマンド 補足 参考にしました

AWSのサポートプランの一部(ビジネス、エンタープライズ)では、月の利用料金に応じて段階的にサポート費用が変動します。利用料金に応じたサポート費用を試算するため、pythonでスクリプトを書いてみました。 サポート費用の求め方(ビジネス) pythonでの計算…

掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAA-C01)を昨日受験し、合格しました。(1発合格) 春先からAWSに触れることが増え、力試しにちょうどいいなということでチャレンジしました。 スコア 対策に使った本など 1.徹底攻略 AWS認定 …