ビッグデータ・ファストデータアプローチ

プロジェクト説明

本プロジェクトでは、日本全国に配置されたセンサー系のバイナリーデータ(ビッグデータ)を評価しました。 システムは、専用線にて毎分socket受信しファイルシステムに記録します。 他方、ファイルシステムへのバイナリーデータ記録を検知すると、直ちに分割し、分析、集計、そして、インメモリ・データストアへ記録する処理を並列分散にて行いました。 また、インメモリ・データストアに記録したデータは、Ajax通信によって取得しブラウザ上にグラフ描画することで、リアルタイムなモニタリングを実現しています。

  • 専用線でのsocketによるデータ受信
  • Stormによる並列分散処理でのファストデータアプローチ
  • インメモリ・データストアであるRedisへのR/W
  • ブラウザへのリアルタイムなグラフ描画

プロジェクトは、試行・評価を趣旨としていたことから、テーマ決め、製造(実装)、検証(処理速度、スケーラビリティ、データ評価等)のサイクルをスプリントし、最終的にレポーティングしています。

ビッグデータへのファストデータアプローチ(試行・評価)図

主要技術

  • Java, JavaScript, XML, SQL, HTML
  • Storm, Jedis, jQuery, Node.js
  • Apache, Tomcat
  • Redis, mongoDB, Git, Jenkins
  • バイナリーデータ配信サービス(外部サービス)

担当工程

  • プリセールス、マネジメント
  • 要件定義
  • 設計、製造(実装)、各種テスト
  • 導入リリース、評価レポーティング