Pythonバージョン管理pipenv, pip, pyenv
Pythonのバージョン管理で色々似たような名前のものが多く、迷いまくったので記録しおきます。 pipenv インストール...
AWS Glue Struct型のハマるポイント
AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目...
AWS Glue PySpark 環境変数の使い方
AWS Glueでの環境変数の使い方について記録しておきます。 コード 環境変数HOGEはGlueのジョブ設定のジョブ...
AWS Glue PySpark UDFの使い方・複数引数
AWS Glue PySparkでのUDFの使い方があまりに少なく、わかるまで時間がかかったので記録しておきます。 コード ...
AWS Glueでトリガーの時間を変更出来ない
AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジ...
Terrafom remote state(外部tfstateのリソース)を使用する方法
Terraformで外部tfstateのリソースを使用する場合は普通にあり得ます。特にマイクロサービス化などでtfstateを細かく分割し...
AWS Glueまとめ
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格...
何故今AWSの需要・必要性が出てきているのか？
AWS は Amazon Web Services の事で、Amazonが提供するクラウドコンピューティングサービス群の事ですが、今web...
CloudFront+Lambda@Edge Terraformメモリ上限128MBエラー
Terraformにて CloudFront+Lambda@Edgeを構築しようとしたところ、以下のエラーとなったので対応等記録しておきま...
AthenaのSQLで日付を条件にしたい
AWS Athenaでdate形式'yyyy-mm-dd'の日付を指定してSQLを実行したところエラーとなりました。これの対応を記録してお...