woshidan's loose leaf

ぼんやり勉強しています

AWS

Athenaのテーブル定義にファイル中に存在しない列を定義した場合の振る舞いについて

後からAthenaのテーブル定義に列を追加したい、みたいな場合に気になったので、メモ。 テーブル定義に存在する列で検索対象データ内で型が違うものは怒られますが、テーブル定義に存在して検索対象のデータに存在しない列についてはNULL扱いみたいでした。 …

今日のAWS

terraform ちょっとだけ触りました qiita.com qiita.com resource "aws_s3_bucket", "woshidan-terrafom-test" { # 追加する種類のリソース, リソース名 # s3の場合 bucket = "woshidan-terrafom-test" path = "/" acl = "private" # acl = "..." で設定して…

今日のAWS

AWS ELB オンプレでいうロードバランサ 配下のインスタンスのヘルスチェックやそれに基づいた振り分けの停止/再開・暗号化/復号化(SSL)機能あり ELBのメリット 複数AZに対して分散を行える。1つのAZがオフラインになった場合でももうひとつのAZで処理を続け…

AWS CLIの設定ファイルにて名前付きプロファイルを利用して手軽にAWS CLIのIAMユーザを切り替える

普段業務でAWS CLIを使っているため、業務本番用のアカウントとちょっと個人の調査用のアカウントを分けて使いたいわけですが*1、 aws configure コマンドで設定できるアカウントは一つだけです。 これではちょっと調査をするたびにクレデンシャル情報を引っ…

AWSのCLIで各種リソースやサービスにアクセスするためにIAMでアクセスキーを発行する

AWSのAthenaクライアント aws-sdk-athena を使ってみようとしたら、Athenaクライアントは aws cli を利用していて、これを利用するために IAM でAWSアカウントにアクセスするユーザを作る必要があったので手順メモ。 ちなみに IAM は Identity and Access Ma…

S3に入っているファイルの状況を調べるのにCloudWatchが便利、という話

S3に限った話ではないのですが、ちょっと追加で調べたいなというときにメトリクスやその間隔を調整できて便利でした。まる。 S3は上部メニューの分析から各バケットのメトリクスを確認できるのですが、このメトリクス表示する期間がかなり限定された相対期間…