ビッグデータ・ファストデータアプローチ
プロジェクト説明
本プロジェクトでは、日本全国に配置されたセンサー系のバイナリーデータ(ビッグデータ)を評価しました。 システムは、専用線にて毎分socket受信しファイルシステムに記録します。 他方、ファイルシステムへのバイナリーデータ記録を検知すると、直ちに分割し、分析、集計、そして、インメモリ・データストアへ記録する処理を並列分散にて行いました。 また、インメモリ・データストアに記録したデータは、Ajax通信によって取得しブラウザ上にグラフ描画することで、リアルタイムなモニタリングを実現しています。
- 専用線でのsocketによるデータ受信
- Stormによる並列分散処理でのファストデータアプローチ
- インメモリ・データストアであるRedisへのR/W
- ブラウザへのリアルタイムなグラフ描画
プロジェクトは、試行・評価を趣旨としていたことから、テーマ決め、製造(実装)、検証(処理速度、スケーラビリティ、データ評価等)のサイクルをスプリントし、最終的にレポーティングしています。
主要技術
- Java, JavaScript, XML, SQL, HTML
- Storm, Jedis, jQuery, Node.js
- Apache, Tomcat
- Redis, mongoDB, Git, Jenkins
- バイナリーデータ配信サービス(外部サービス)
担当工程
- プリセールス、マネジメント
- 要件定義
- 設計、製造(実装)、各種テスト
- 導入リリース、評価レポーティング