Posted inAWS Glue
AWS Glue Struct型のハマるポイント
AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機…
Posted inAWS Glue
AWS Glue PySpark 環境変数の使い方
AWS Glueでの環境変数の使い方について記録しておきます。 コード import sys args = getResolvedOptions(sys.argv, ["HOGE"]) hoge = args&#…
Posted inAWS Glue
AWS Glue PySpark UDFの使い方・複数引数
AWS Glue PySparkでのUDFの使い方があまりに少なく、わかるまで時間がかかったので記録しておきます。 コード from pyspark.sql.functions import udf, col def h…
Posted inAWS Glue
AWS Glueでトリガーの時間を変更出来ない
AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジメントコンソールのトリガーがクローラーに対応していないっぽいです。 CLIからやれ…
Posted inAWS Glue
AWS Glueまとめ
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格納） の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のこと…