/var/log/laughingman7743.log

I thought what I'd do was, I'd pretend I was one of those deaf-mutes or should I?

Athena

PyAthenaでRedashのクエリランナー書いた

プルリクマージされました。ありがとうございます。 これでカジュアルにAthenaにクエリ投げまくりですね。 Enjoy!

Amazon AthenaのPythonクライアント書いた

AthenaがAPI/CLIに対応した*1ので boto3*2で少し使ってみたのですが、クエリ実行結果のパースが非常にめんどくさい。 もっとカジュアルにクエリを投げたいなってことで、PEP249*3に準拠したクライアント書きました。 使い方はJDBC版*4と変わらないです。コー…

PyAthenaJDBCでRedashのクエリランナー書いてみた

redash-athena-proxy*1を使ってRedashからAthenaにクエリを投げれる環境を作っていたのですが、どうもtimestamp型やdate型の戻り値が日付として上手く認識しない。。。 おそらくproxy側のGSONの日付型のシリアライズ設定の問題かと思われるのですが、調べる…

PythonからAmazon AthenaにJDBC接続するラッパー

暇を持て余していたので作ってみました。 バージョン番号は諸事情により1.0.1となってしまいました。(心温かみのある手作業でのリリースはまずい。。。) 既知の問題点 Decimal型をフェッチすると落る ドライバのバグのようです。フォーラムにも上がってまし…

PythonでAmazon Athenaにつなぐ

Amazon Athena*1への接続は現状JDBCしかサポートされていない。。。やっぱりPythonからつなぎたいですよね! PythonからJDBCでつなぐには、Py4J*2やJPype*3あたりを使うと良さそうですが、Py4JはJavaでGatewayServerを作成し、別プロセスで起動しなければな…