Pythonバージョン管理pipenv, pip, pyenv
Posted inPython

Pythonバージョン管理pipenv, pip, pyenv

Pythonのバージョン管理で色々似たような名前のものが多く、迷いまくったので記録しおきます。 pipenv インストール [crayon-67d5b3d89f45b725555454/] Pipfileからインストール…
AWS Glue Struct型のハマるポイント
Posted inAWS Glue

AWS Glue Struct型のハマるポイント

AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機…
AWS Glue PySpark 環境変数の使い方
Posted inAWS Glue

AWS Glue PySpark 環境変数の使い方

AWS Glueでの環境変数の使い方について記録しておきます。 コード [crayon-67d5b3d89fa5b871812886/] 環境変数HOGEはGlueのジョブ設定のジョブパラメータで キー　--HOGE　に…
AWS Glueでトリガーの時間を変更出来ない
Posted inAWS Glue

AWS Glueでトリガーの時間を変更出来ない

AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジメントコンソールのトリガーがクローラーに対応していないっぽいです。 CLIからやれ…
AWS Glueまとめ
Posted inAWS Glue

AWS Glueまとめ

GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格納） の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のこと…