2013-06-24から1日間の記事一覧

EMRで利用する際のログについて

nginxのltsv形式のアクセスログをfluentd経由でS3に保存すると、type fileで出力したものと同じで、以下のようなフォーマットとなる。 日付 タグ jsonフォーマットのデータ 実際にはgzに圧縮されて。S3のデータをインプットにEMR(hive)で計算しようにも使い…