Linux
Windows10内蔵のssh.exeで多段SSH＋ダイナミックポートフォワーディングする方法です。下記記事はTeratermを利用していますが、ダイナミックポートフォワーディングはTeraterm 4.104以上だとうまくいかないようなので、Windows10内蔵のSSHクライアントで試し…
EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…
CloudShell便利ですね。 aws.amazon.comCloudShellにはawscli、jqが入っているので、EC2やRedshiftの情報を一覧表示させてみました。 確認環境 一覧表示コマンド EC2 Redshift
VPSとして、Amazon Lightsailを使ってみています。 aws.amazon.comLightsail上でdockerを稼働させて、各コンテナのログをCloudwatch Logsへ飛ばそうとしましたが、うまくいかなかったのでうまくいった方法を残します。 確認環境 logging設定だけではダメでし…
LinuxでPowershell試してみた際↓に、 www.k-hitorigoto.online RUN curl https://packages.microsoft.com/config/rhel/7/prod.repo | tee /etc/yum.repos.d/microsoft.repo という1行があり、「tee」ってなんだっけなと思ったので調べました。 検証環境 tee…
Python標準モジュールのurllibを使う練習で、EC2のインスタンスメタデータにアクセスしてみました。 検証環境 ソース 文字列で返ってくるケース JSONで返ってくるケース 実行結果 文字列で返ってくるケース JSONで返ってくるケース 参考にしました
http://checkip.amazonaws.com へアクセスするとグローバルIPアドレスを知ることができます。 Webブラウザから Curlから Invoke-WebRequestから
WindowsとLinuxで環境変数(一時的な環境変数)を設定する方法。※環境変数を確認する方法 www.k-hitorigoto.online 確認環境 Windows Linux 設定方法 Windows CMD Powershell Linux 参考にしました
S3でファイルをコピーせずに表示するときの「-」や、「wget -O -」の「-」て何...？と思ったので調べました。 ずっと気になっていたので書けて良かった。 # こんな感じの使い方です。 aws --endpoint-url http://192.168.0.1:9000 s3 cp s3://test/test.txt …
wgetを昔から使ってたのですが、環境によってはcurlのみ使えるということがあります。そのたびに毎度ググっているので、備忘として残しておきます。 バージョン コマンド 標準出力に結果を出力する(curl, wget -O -) ファイルをダウンロードする(ファイル名…
zipコマンドを使うとき、第一引数がzipファイル名？固めたいファイル名？となって毎回ググるので備忘。ついでに、unzipコマンドの使い方も備忘。 バージョン情報 コマンド 検証時の構成 フォルダ構成を保って圧縮(zip -r) fileC.txtをfileC.zipとして圧縮(相…
HTTPのステータスコードで429が返ってきたことがあったので、何だったか調べてみた。 429とは その他HTTPステータスコードおさらい
特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…
WindowsとLinuxで環境変数を確認する方法 確認環境 Windows Linux 確認方法 Windows CMD Powershell Linux 参考にしました 確認環境 Windows C:\Users\hoge>systeminfo | findstr OS OS 名: Microsoft Windows 10 Home OS バージョン: 10.0.19041 N/A ビルド…
Dockerfileをビルドしたところ「invalid reference format」が表示されました。どうやらDockerが古いためらしく、Dockerをバージョンアップしました。その結果、既存のコンテナで「Unknown runtime specified docker-runc」が発生したので対処したメモです。…
lsでもファイルサイズをkbやmbで表示できたのでメモ。 確認環境 lsでもファイルサイズをkbやmbで表示する 参考にしました
sedで複数ファイルの中身を一括置換する方法をメモ。Powershellで同じことをやってみました↓ www.k-hitorigoto.online 確認環境 複数ファイルの中身を一括置換 参考にしました
git stashで、untrackedのファイル(新規で作ってaddしていないファイル)も含めてstashする方法 確認環境 コマンド 退避 退避一覧の確認 退避から復帰(stashのリストからは削除されない) 退避から復帰(stashのリストからは削除される) stashのリストから削除…
普段GUIでログインしないから無効化する方法を調べたのでメモ 確認環境 操作方法
Powershellでfindしてxargsしてgrepしたいときのやり方メモ。 確認環境 やりたいこと Linuxでやる場合(今回はMinGWでやりました) Powershellでやる場合 対応表 参考にしました
DOSバッチと、Powershellでスクリプトの実行パス(カレントパス)を取得する方法。 実行環境 Windows10 1909 18363.752 DOSバッチの場合 %~dp0 REM 実行例(下記ディレクトリで実行した場合) C:\Users\hoge\Documents\ ※末尾の￥を取り除く方法 Powershellの場…
CentOS7にnslookupが入っていなかったのでインストールしたメモ 検証環境 nslookupをインストール おまけ DNSサーバを調べる 参考にしました
そこそこ大きいファイルを作りたいなーという時があるので、Windows、Linuxでそれぞれやり方をメモ。 Windowsの場合 # 1GB = 1*1024*1024*1024 のダミーファイルを作成する fsutil file createnew dummyfile 1073741824 Linuxの場合 # 1GB = 1*1M*1000のダミ…
EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…
catコマンドはファイルを縦方向に結合しますが、pasteコマンドは横方向に結合します。 検証環境 pasteを使ってみる 対象のファイル シンプルに横結合 デリミタを指定して横結合 一行毎ではなく, 一度に 1 つのファイルを貼付ける?
自分用の備忘録。 検証環境 lsの結果を更新時間でソートする 実行例
KEN_ALL.CSV(郵便番号データ)をsed等を使って、都道府県毎に分解したCSVファイルを作成してみました。 確認環境 KEN_ALL.CSVファイルの内容(一部抜粋) コード 実行結果と結果の確認 参考にしました
jsonを手軽に整形表示したかったのでメモ。 pythonのjson.toolモジュールを使えば、jsonを整形して表示可能。 (json.toolはpython2.6以降標準モジュールだそうです) 確認環境 どうすればよいのか json.toolが入っていることを確認するには 参考にしました
最近sedをよく使っています。既存のファイルに定型的な処理を施す場合に便利ですね。 最近よく使う用法をメモ。 確認環境 最近よく使うファイル操作 参考にしました
掲題のようなことがあったので備忘。正規表現検索にはegrepを使用。 やりたいこと、やったこと
