読者です 読者をやめる 読者になる 読者になる

/var/log/laughingman7743.log

I thought what I'd do was, I'd pretend I was one of those deaf-mutes or should I?

Kinesis + Lambdaの組み合わせが便利

fluentd*1で出力先をいろいろと追加するよりは、一旦Kinesisに突っ込んでLambdaで処理した方がいろいろと捗る感じがします。
特に部署やチーム毎に欲しいログの形式、バケット、パスの切り方(時間単位 or 日単位 or サーバ単位 etc...)、出力先(S3、Kibana etc..)等が違ったりして、 もろもろ要件を満たすより、Kinesisのストリームを用意しておくからあとは各々で好きに処理してみたいな運用ができそうです。

以下はKinesisのストリームからS3に出力するようなLambdaの実装例です。
Lambdaのローカル環境での実行はpython-lambda-local*2、アップロードはlambda-uploader*3を使っています。

Kinesisは最大7日保持できるので安心感ありますね。Lambdaを使えばサーバレスにできるのも魅力です。 スケーラビリティもAWSにおんぶにだっこで、運用はかなり楽になるかと。
どちらにしてもKinesisに突っ込むのはfluendからだったりするんですけどね。。。

Enjoy!