我秀中国（http://www.ishowchina.com）网站是由北京秀友科技有限公司打造的国内第一家完全开放的物联网地图服务平台。

 

目前，我秀中国基于引擎和接口，为各类用户提供导航和定位服务。我秀中国也可以通过GPS、传感器获取用户的一些日志，从而实时获取用户的接口调用和访问情况。

 

目前，我秀中国平台接入的监控车辆近百万辆，每天采集GPS数据10亿多条，产生日志文件100-200GB，而传统的跑批量，每隔一小时执行一次的数据处理方式，已不能完全满足用户的需求。现在常用的数据处理方式，可分为实时处理和离线处理。今天，我们就以我秀中国物联网地图服务平台为例，介绍下大数据的实时处理和离线处理。

 

 

 

实时处理：Flume+Kafka+Storm+Mongo

 

数据实时处理是指通过Flume进行数据的的采集，将数据推送给Kafka，kafka作为数据的缓存层。Storm作为kafka的消费者，对采集上来的数据进行实时处理，并通过Web在前端进行展示。与此同时，我们能够实时统计和分析车辆的在线总数，轨迹点总数，对此做一些相关应用。

 

 

 

数据来源

主要是通过Nginx 服务器获取GPS数据和MSp数据，数据格式为json

 

数据采集

通过Flume的拦截器对日志进行预处理，将数据存储在缓存层kafka

 

数据统计

通过Storm实时拉取数据做计算，将临时结果数据存储在Redis

 

数据落地

最终的数据存储在Mongo中，定时获取Redis中的数据存储在Mongo

 

Web展示

 

通过查询数据库，定时更新前端页面，可以查看车辆停留点，实时位置，历史轨迹以及行车里程等信息

 

离线批量处理 ：hadoop +Hbase+Phoenix

 

数据离线处理是指是通过GPS点数据，分析车辆的一些行为特点。例如：车辆的最大速度，最小速度，停留点，急加速，急减速等相关指标。

 

离线处理主要通过Hadoop分布式存储+MR分布式运算的框架，对海量数据进行批量的统计和分析。

 

１、分析车辆GPS点数据，通过MapReduce调用抓路纠偏引擎，获取GPS点的道路相关信息，生产批量临时文件。

 

２、通过Phoenix 加载中间数据到Hbase中，通过查询HBase这个数据仓库获取各个指标计算，例如道路等级，行政区划排行，以及车的归属地，车速等。通过数据的建模和历史数据的统计和分析，能够对车辆以及驾驶行为做出有效的判段。

 

 

 

当下，我们正处于一个多维度的大数据时代。

 

而其中几乎所有的大数据都需要而且可以与地理时空数据融合，所以地理空间信息在大数据分析过程中变得更加重要，许多行业的大数据需要与地理空间数据相结合，才能做出更合理的分析。

 

而我秀中国针对大数据的位置属性，结合各行业的特点，建立大数据分析、大数据决策的场景，分析行业需求，可以为政府、科研机构和行业企业提供有力的预研、决策数据支撑和可视化展示服务。

 

我秀中国正在不断提高自身数据处理能力，就是为了给您提供更快速、更精准、更丰富的数据分析功能。想要了解更多大数据的行业解决方案，可以登陆我秀中国（http://www.ishowchina.com）网。

 

本文作者简介：我秀中国物联网地图服务平台

 

我秀中国是一个最开放的物联网地图服务平台www.ishowchina.com，以“高精度+定制+开放平台”为特征，满足汽车、智能终端、可穿戴设备、智能家居、工业设备、智能飞行器等的位置服务要求，帮助客户管理好智能设备采集的数据并与空间数据和时间相融合，以实现数据的最大价值，提升企业运营能力。

 

本文为原创文章，转载请注明作者，并附带作者简介。