管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

AWS

RDSでインスタンスが停止してからの経過時間を調べる(Powershell)

RDSは停止保持は最大7日までです。それ以上経過すると起動します。 マネコンを見ずとも、指定したRDSインスタンスが停止してからどれくらい経ったかを知りたかったので、Powershellスクリプトを書いてみました。 対象となるRDSの状態を、CloudTrailの結果か…

boto2で「.」(ピリオド)が含まれるS3バケットを扱ったときにエラーが出た(boto3は出なかった)

boto2とboto3でバケット名に「.」(ピリオド)が含まれる場合の挙動が違ったので記録しておきます。 確認環境 やりたかったこと boto2,boto3と、バケット名に"."(ピリオド)がある、なしでの成否 boto2のソースとエラーメッセージ (ちなみに)boto3のソース こ…

特定のEC2だけを起動、停止可能なIAMポリシー

AWS

特定のEC2だけを起動、停止可能なIAMポリシーです。 ポリシーのJSON 実行結果

SecurityGroupをCLIで設定する(AWS CLI)

SecurityGroupをCLIで設定します。 確認環境 コマンド 参考にしました

SecurityGroupをシンプルに出力する(AWS CLI)

SecurityGroupの内向きのルールをさっと確認したかったので、AWS CLIだけを極力利用してやってみた。 queryオプションをすらすら書ける自信がないので、備忘として書いときます。 確認環境 コマンド 実行例 参考にしました

RedshiftのCPU使用率をテキスト形式で取得する

CloudWatchに蓄積されたメトリクスをテキスト形式で取得する。 今回の対象サービスはRedshift、取得メトリクスはCPU使用率、期間は5分、統計は「最大」で。 コマンド 取得結果例 参考にしました

S3に存在するフォルダ名を指定してフォルダを作るとどうなるか

AWS

S3はKVS形式であって、本当は「フォルダ」ではないのですが、「hogebucket/path1/path2/file1.txt」の「path1/path2」は今回は便宜上「フォルダ」ということでひとつ。 すでに存在するフォルダ名を指定してフォルダを作成するとどうなるかが気になったので試…

RedshiftでS3からコピーするとき

RedshiftでCopyコマンドを使ってS3から取り込む際に気を付けること S3を参照できるようにするための設定 フォルダ、ファイルあり/なしによる取り込み可否

AWS 認定ソリューションアーキテクト – プロフェッショナル(SAP-C01)に合格しました

掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAP-C01)を9/26に受験し、合格しました。 SAAよりも圧倒的に難しかったです。正直ダメかなーと思っていたので、合格の文字を見たときびっくりしました。 スコア 対策期間・時間 対策に使った…

EMRのSparkやHiveでサブクエリが使えるか試してみた_その2

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。その2。前回、Hiveでは一部のサブクエリが実行できなかった。今回は、Existを利用したサブクエリが使えるかを確かめたメモ。 メタデータカタログはGlueデータカタログを使用。 確認環境 元ネタ 実行…

EMRのSparkやHiveでサブクエリが使えるか試してみた

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。 メタデータカタログはGlueデータカタログを使用。GlueのVPCエンドポイントを使ったところ、インターネットに出ずにデータカタログが参照できたのが意外だった。そちらの話はまた別途メモ予定。 確認…

AWSの簡易見積りツールの終了が延長されたようです

AWS

AWSの簡易見積りツール(SMC)↓ AWS費用の見積りでよく使っているのですが、2020/6/30でサービス終了がアナウンスされていました。 その代わりとして「AWS料金見積りツール」が用意されてはいるんですが、対応サービスに差があったり、CSVダウンロードが無かっ…

CloudFormationで既存VPC・サブネット内にEC2を立てる

遅ればせながら、CloudFormation始めました。手始めに、既存VPC・サブネット内にEC2を立てる、というのをやってみました。 CloudFormationのテンプレートです 参考にしました

Athenaでカラムの型を変換したい

AthenaでString→Timestampや、String→Decimalなどの変換を行いたく試行錯誤したのでメモ 検証環境 やりたいこと 実行SQLと実行結果 参考にしました

EBSのスナップショットはどれくらい圧縮されるのか調べてみた

EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…

Lamda Layerに自作のPythonモジュールを登録して使いたい

LamdaのLayerはモジュールを共有できて便利ですよね。 そんなLayerに自作のPythonモジュールを登録して使いたかったのでメモ。 確認環境 自作モジュールをLayerに登録するために必要なこと 参考URL

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したい(AWS,EMR)

AWS

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したかったので試行錯誤したメモ。 手順は紹介されているけれど 確認環境 確認構成

CLIからAthena を使ってCTASでのParquet形式への変換を行う(AWS,Athena)

AthenaでCSVファイルのParque形式への変換ができるのですが、GUIからだけでなく、CUIからやったらできるかな、と試したらできたのでメモ。 実行したコマンド 補足 参考にしました

AWSのサポート費用を計算する(python)

AWSのサポートプランの一部(ビジネス、エンタープライズ)では、月の利用料金に応じて段階的にサポート費用が変動します。利用料金に応じたサポート費用を試算するため、pythonでスクリプトを書いてみました。 サポート費用の求め方(ビジネス) pythonでの計算…

AWS 認定ソリューションアーキテクト – アソシエイト(SAA-C01)に合格しました

掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAA-C01)を昨日受験し、合格しました。(1発合格) 春先からAWSに触れることが増え、力試しにちょうどいいなということでチャレンジしました。 スコア 対策に使った本など 1.徹底攻略 AWS認定 …