/var/log/laughingman7743.log

I thought what I'd do was, I'd pretend I was one of those deaf-mutes or should I?

Redshift

Redshift便利スクリプト

AWSLabsのGithubリポジトリにいろいろと便利なスクリプトがあります。 日次でVacuum処理やAnalyze処理を夜間に走らせたいということで、 Analyze & Vacuum Schema Utility*1をAirflow*2で使いたいなと思いましたが、 クラス化されていなかったり、ログがファ…

Redsfhit(dw2.8xlarge)のリサイズ所要時間

Redshiftのリサイズ処理ってどれくらいかかるのか検索しても事例が出てこないのでメモを残しておく。 dw2.8xlarge 2ノード 約3TBストレージを利用した状態から、2ノード追加し4ノード構成にした時の所要時間は2時間23分でした。 クロスリージョンのスナップ…

Redshift集計Tipsその1 - カレンダーの活用

その2があるのかは謎 適当な集計すんなksgってことで、以前会社の人に教えてもらいました。ありがとうございます。 日毎に集計を行うことが多いと思いますが、データがない日があると歯抜になり、 Window関数を利用した集計で正しい結果が求められていなかっ…

Redshift便利クエリその1

その2があるのかは謎 how to find size of database, schema, table in redshift 各テーブルのオーナー、容量、行数が一発で分かります。便利! 定期的に確認して、不要なテーブルは削除しましょう。 Enjoy!

Redshiftでヘッダ付きのCSV出力を強いられた時の対処法

以前はunloadコマンドにparallelオプションがなかったので、Pythonでちょっとしたスクリプトを書いてファイルマージとヘッダの追加をしていました。 unloadコマンドにparallelオプションが追加され、6GBぐらいまでなら単一ファイルに出力できるようになった…