Posted inPython
Pythonバージョン管理pipenv, pip, pyenv
Pythonのバージョン管理で色々似たような名前のものが多く、迷いまくったので記録しおきます。 pipenv インストール pip install pipenv Pipfileからインストールする pipenv inst…
Posted inAWS Glue
AWS Glue Struct型のハマるポイント
AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機…
Posted inAWS Glue
AWS Glue PySpark 環境変数の使い方
AWS Glueでの環境変数の使い方について記録しておきます。 コード import sys args = getResolvedOptions(sys.argv, ["HOGE"]) hoge = args&#…
Posted inAWS Glue
AWS Glue PySpark UDFの使い方・複数引数
AWS Glue PySparkでのUDFの使い方があまりに少なく、わかるまで時間がかかったので記録しておきます。 コード from pyspark.sql.functions import udf, col def h…
Posted inAWS Glue
AWS Glueでトリガーの時間を変更出来ない
AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジメントコンソールのトリガーがクローラーに対応していないっぽいです。 CLIからやれ…
Posted inTerraform
Terrafom remote state(外部tfstateのリソース)を使用する方法
Terraformで外部tfstateのリソースを使用する場合は普通にあり得ます。特にマイクロサービス化などでtfstateを細かく分割している場合には必須です。 今回これを対応してみたので記録しておきます。 前提 前提…
Posted inAWS Glue
AWS Glueまとめ
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格納） の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のこと…