Posted inMetabase
MetabaseとAWS Athenaの連携手順
BIツールMetabaseとAWS Athenaの連携手順とまとめました。 その前にMetabaseをインストールしていない場合は以下参照してください。 Metabaseインストール手順 https://normalbl…
Posted inMetabase
Metabaseのインストール手順
ubuntuにMetabaseをインストールしたので記録しておきます。 Java install sudo apt-get install openjdk-8-jre Metabase install mkdir met…
Posted inMetabase
BIツールMetabaseで何が出来るのかまとめてみた
BIツールMetabaseを使ってみたので記録したいと思います。 BIツールとは そもそもですがBIとは、Business Intelligenceの略になります。 BIツールとは、例えば、サーバに溜まった大量のログを分…
Amazonのアフィリリンクを生成出来るProduct Advertising API(PA-API) PA-API 5.0の設定方法
以前まで使用していたPA-API4.0が機能しなくなっていた為、5.0にアップデートしました。公式は以下リンクです。 自社サービスにAmazonアフィリを組み込んでいる場合など以外で、例えばWordPressのプラグイン…
Posted inAWS S3 AWS(Amazon Web Services)
AWS S3 CLIまとめ
AWS S3のCLIコマンドをまとめました。 一覧取得 バケット名リスト aws s3 ls バケット内のファイルリスト aws s3 ls s3://バケット名 コピー ※ダウンロードもバケット間コピーも同じです。 指…
Posted inPython
Pythonバージョン管理pipenv, pip, pyenv
Pythonのバージョン管理で色々似たような名前のものが多く、迷いまくったので記録しおきます。 pipenv インストール pip install pipenv Pipfileからインストールする pipenv inst…
Posted inAWS Glue
AWS Glue Struct型のハマるポイント
AWS Glue にてStruct型でハマったポイントについて解説しておきたいと思います。 クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機…
Posted inAWS Glue
AWS Glue PySpark 環境変数の使い方
AWS Glueでの環境変数の使い方について記録しておきます。 コード import sys args = getResolvedOptions(sys.argv, ["HOGE"]) hoge = args&#…
Posted inAWS Glue
AWS Glue PySpark UDFの使い方・複数引数
AWS Glue PySparkでのUDFの使い方があまりに少なく、わかるまで時間がかかったので記録しておきます。 コード from pyspark.sql.functions import udf, col def h…