AWS Glue Struct型のハマるポイント

AWS Glue Struct型のハマるポイント

AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機…
AWS Glueでトリガーの時間を変更出来ない

AWS Glueでトリガーの時間を変更出来ない

AWS Glueでワークフローからクローラーのトリガーを作成した場合、そのトリガーの時間を変更出来なくなります。ただこれは現時点でのマネジメントコンソールのトリガーがクローラーに対応していないっぽいです。 CLIからやれ…
AWS Glueまとめ

AWS Glueまとめ

GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract(抽出) Transform(変換) Load(格納) の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のこと…