Amazonのアフィリリンクを生成出来るProduct Advertising API(PA-API) PA-API 5.0の設定方法
以前まで使用していたPA-API4.0が機能しなくなっていた為、5.0にアップデートしました。公式は以下リンクです。 自社サービスに...
AWS S3 CLIまとめ
AWS S3のCLIコマンドをまとめました。 一覧取得 バケット名リスト バケット内のファイルリスト ...
Pythonバージョン管理pipenv, pip, pyenv
Pythonのバージョン管理で色々似たような名前のものが多く、迷いまくったので記録しおきます。 pipenv インストール...
AWS Glue Struct型のハマるポイント
AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目...
AWS Glue PySpark 環境変数の使い方
AWS Glueでの環境変数の使い方について記録しておきます。 コード 環境変数HOGEはGlueのジョブ設定のジョブ...
AWS Glue PySpark UDFの使い方・複数引数
AWS Glue PySparkでのUDFの使い方があまりに少なく、わかるまで時間がかかったので記録しておきます。 コード ...
AWS Glueでトリガーの時間を変更出来ない
AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジ...
Terrafom remote state(外部tfstateのリソース)を使用する方法
Terraformで外部tfstateのリソースを使用する場合は普通にあり得ます。特にマイクロサービス化などでtfstateを細かく分割し...
AWS Glueまとめ
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格...