关闭

建设中
 

 

如何有效构建安防大数据平台?

                                    --向概念包装说NO!         

 

      安防大数据时代已经到来

据IDC预测,2020年全球的数据总量将达到35ZB,并以每两年翻一番的速度在急速的增长。大数据时代的数据不仅仅是数据总量的庞大,同时也是种类的庞大。安防行业有着海量的视频、图片数据,一个大型城市每天产生的数据就可以达到1PB,同时还有飞速增长的特征数据,包括卡口过车数据、人脸抓拍数据、报警数据等等。繁多的数据种类、PB级的数据量、低价值密度的视频数据、快速的数据更新处理需求,这些特性都预示着安防行业已经进入大数据时代。

从安防行业数据处理流程上看,数据经历了采集->传输->存储->处理这几个过程,存储和处理需要大量的服务器,占用了安防系统80%以上的服务器资源,也是安防企业需要重点需要考虑的问题。传统的安防系统架构比较混杂,各个厂家各个时期的设备,各种技术方案,各种平台系统交织在一起,没有清晰的层次,而且都是以业务为中心,数据的存储和处理水平还比较低,发展已经遇到一定瓶颈。云计算和云存储无疑是安防大数据的存储和处理过程最强有力的技术支撑,这两种技术的出发点,就是通过分布式技术,把商业级的计算和存储资源组成一个集群,实现低成本,高可靠,弹性扩展,易于管理和使用的解决方案,替代传统的小型机、关系型数据库、高端磁盘阵列组成的方案。

 

      统一存储和共享是根本

随着安防行业的不断发展,日益丰富的信息采集途径,多样化的业务需求,以及各种行业各种外围业务系统,都要求安防云存储系统具有多业务支撑能力,云存储是最好的解决方案。云存储的核心是分布式文件系统,实现统一的命名空间、负载均衡、数据容错、灵活扩展、高性能的读写能力等。云存储可以将所有业务系统的存储模块统一到同一个存储平台上,支撑各种业务需求,提供了高度的数据共享能力,避免了存储和应用的耦合,降低了重复投资的风险。

当前市面上有一些所谓的监控云存储系统,一般都只存储视频或图像业务相关的数据,和业务是紧密耦合的,数据可靠性和访问速度也得不到保证。在旧的时期,这种系统满足了基本的数据存储需求,但长远来看,是无法适应安防大数据的应用需求的。这类系统没有核心的分布式文件系统支持,不是真正的云存储系统,云存储是实现安防大数据有效存储的必由之路。

 

      实时处理提升安防价值

安防系统有大量的视频图像数据,传统的使用方式都是事后靠人工来查阅,效率极低。安防系统的终极目标应该是及时制止犯罪,实现公共安全,所以需要对数据做到实时处理,甚至能建立预测模型,云计算就是实现这种目标的工具。

在多种安防大数据处理业务形态中,智能交通是安防大数据是目前比较热门的方向。一个大型城市3个月的过车历史记录就达到1800亿条,每天20亿条记录。如此庞大的数据量给传统的数据存储和分析计算都来了巨大的压力。传统系统难以支撑,容量有限,处理速度有限,扩展困难。云计算系统可以很好的解决这个问题,实现性能和设备数量线性扩展,从而实现了千亿级数据秒级查询的能力。这种高速检索能力,给刑侦、交通服务都带了巨大的好处,使得类似套牌车等大数据量查询运算的应用变得有可能。

 

      安防大数据平台推荐架构

大数据平台应该由独立的云存储子系统和云计算子系统组成,根据业务各自按需扩展,之间通过数据中心高速网络连接。云存储解决数据统一存储和共享的问题,云计算解决数据的结构化和实时计算问题,以服务的形式来支持上层各种安防应用。