AWS
VPSとして、Amazon Lightsailを使っています。 www.k-hitorigoto.onlineデフォルトでタイムゾーンがUTCなので、JSTに変更しました。 確認環境 作業手順
Cloudwatchのメトリクス一覧をCLIで取得しました。 検証環境(Cloudshell） Cloudwatchのメトリクス一覧をCLIで取得 コマンド 実行例
EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…
CloudShell便利ですね。 aws.amazon.comCloudShellにはawscli、jqが入っているので、EC2やRedshiftの情報を一覧表示させてみました。 確認環境 一覧表示コマンド EC2 Redshift
VPSとして、Amazon Lightsailを使ってみています。 aws.amazon.comLightsail上でdockerを稼働させて、各コンテナのログをCloudwatch Logsへ飛ばそうとしましたが、うまくいかなかったのでうまくいった方法を残します。 確認環境 logging設定だけではダメでし…
Python標準モジュールのurllibを使う練習で、EC2のインスタンスメタデータにアクセスしてみました。 検証環境 ソース 文字列で返ってくるケース JSONで返ってくるケース 実行結果 文字列で返ってくるケース JSONで返ってくるケース 参考にしました
http://checkip.amazonaws.com へアクセスするとグローバルIPアドレスを知ることができます。 Webブラウザから Curlから Invoke-WebRequestから
特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…
RDSは停止保持は最大７日までです。それ以上経過すると起動します。 マネコンを見ずとも、指定したRDSインスタンスが停止してからどれくらい経ったかを知りたかったので、Powershellスクリプトを書いてみました。 対象となるRDSの状態を、CloudTrailの結果か…
boto2とboto3でバケット名に「.」(ピリオド)が含まれる場合の挙動が違ったので記録しておきます。 確認環境 やりたかったこと boto2,boto3と、バケット名に"."(ピリオド)がある、なしでの成否 boto2のソースとエラーメッセージ （ちなみに）boto3のソース こ…
特定のEC2だけを起動、停止可能なIAMポリシーです。 ポリシーのJSON 実行結果
SecurityGroupをCLIで設定します。 確認環境 コマンド 参考にしました
SecurityGroupの内向きのルールをさっと確認したかったので、AWS CLIだけを極力利用してやってみた。 queryオプションをすらすら書ける自信がないので、備忘として書いときます。 確認環境 コマンド 実行例 参考にしました
CloudWatchに蓄積されたメトリクスをテキスト形式で取得する。 今回の対象サービスはRedshift、取得メトリクスはCPU使用率、期間は5分、統計は「最大」で。 コマンド 取得結果例 参考にしました
S3はKVS形式であって、本当は「フォルダ」ではないのですが、「hogebucket/path1/path2/file1.txt」の「path1/path2」は今回は便宜上「フォルダ」ということでひとつ。 すでに存在するフォルダ名を指定してフォルダを作成するとどうなるかが気になったので試…
RedshiftでCopyコマンドを使ってS3から取り込む際に気を付けること S3を参照できるようにするための設定 フォルダ、ファイルあり/なしによる取り込み可否
掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAP-C01)を9/26に受験し、合格しました。 SAAよりも圧倒的に難しかったです。正直ダメかなーと思っていたので、合格の文字を見たときびっくりしました。 スコア 対策期間・時間 対策に使った…
EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。その2。前回、Hiveでは一部のサブクエリが実行できなかった。今回は、Existを利用したサブクエリが使えるかを確かめたメモ。 メタデータカタログはGlueデータカタログを使用。 確認環境 元ネタ 実行…
EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。 メタデータカタログはGlueデータカタログを使用。GlueのVPCエンドポイントを使ったところ、インターネットに出ずにデータカタログが参照できたのが意外だった。そちらの話はまた別途メモ予定。 確認…
AWSの簡易見積りツール(SMC)↓ AWS費用の見積りでよく使っているのですが、2020/6/30でサービス終了がアナウンスされていました。 その代わりとして「AWS料金見積りツール」が用意されてはいるんですが、対応サービスに差があったり、CSVダウンロードが無かっ…
遅ればせながら、CloudFormation始めました。手始めに、既存VPC・サブネット内にEC2を立てる、というのをやってみました。 CloudFormationのテンプレートです 参考にしました
AthenaでString→Timestampや、String→Decimalなどの変換を行いたく試行錯誤したのでメモ 検証環境 やりたいこと 実行SQLと実行結果 参考にしました
EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…
LamdaのLayerはモジュールを共有できて便利ですよね。 そんなLayerに自作のPythonモジュールを登録して使いたかったのでメモ。 確認環境 自作モジュールをLayerに登録するために必要なこと 参考URL
プライベートサブネットに立てたEMRクラスタのGanglia等を表示したかったので試行錯誤したメモ。 手順は紹介されているけれど 確認環境 確認構成
AthenaでCSVファイルのParque形式への変換ができるのですが、GUIからだけでなく、CUIからやったらできるかな、と試したらできたのでメモ。 実行したコマンド 補足 参考にしました
AWSのサポートプランの一部(ビジネス、エンタープライズ)では、月の利用料金に応じて段階的にサポート費用が変動します。利用料金に応じたサポート費用を試算するため、pythonでスクリプトを書いてみました。 サポート費用の求め方(ビジネス) pythonでの計算…
掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAA-C01)を昨日受験し、合格しました。(1発合格) 春先からAWSに触れることが増え、力試しにちょうどいいなということでチャレンジしました。 スコア 対策に使った本など 1.徹底攻略 AWS認定 …
