大數(shù)據(jù)(big data),指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。對(duì)于“大數(shù)據(jù)”(Big data)研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,在于提高對(duì)數(shù)據(jù)的“加工能力”,通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。
大數(shù)據(jù)技術(shù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。
1.Volume:數(shù)據(jù)量巨大
體量大是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。一般關(guān)系型數(shù)據(jù)庫處理的數(shù)據(jù)量在TB級(jí),大數(shù)據(jù)所處理的數(shù)據(jù)量通常在PB級(jí)以上。
2.Variety:數(shù)據(jù)類型多
大數(shù)據(jù)所處理的計(jì)算機(jī)數(shù)據(jù)類型早已不是單一的文本形式或者結(jié)構(gòu)化數(shù)據(jù)庫中的表,它包括訂單、日志、BLOG、微博、音頻、視頻等各種復(fù)雜結(jié)構(gòu)的數(shù)據(jù)。
3.Velocity:數(shù)據(jù)流動(dòng)快
速度是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)的重要特征。在海量數(shù)據(jù)面前,需要實(shí)時(shí)分析獲取需要的信息,處理數(shù)據(jù)的效率就是組織的生命。
智能交通整體框架主要包括物理感知層、軟件應(yīng)用平臺(tái)及分析預(yù)測(cè)及優(yōu)化管理的應(yīng)用。其中物理感知層主要是對(duì)交通狀況和交通數(shù)據(jù)的感知采集;軟件應(yīng)用平臺(tái)是將各感知終端的信息進(jìn)行整合、轉(zhuǎn)換處理,以支撐分析預(yù)警與優(yōu)化管理的應(yīng)用系統(tǒng)建設(shè);分析預(yù)測(cè)及優(yōu)化管理應(yīng)用主要包括交通規(guī)劃、交通監(jiān)控、智能誘導(dǎo)、智能停車等應(yīng)用系統(tǒng)。
系統(tǒng)利用先進(jìn)的視頻監(jiān)控、智能識(shí)別和信息技術(shù)手段,增加可管理空間、時(shí)間和范圍,不斷提升管理廣度、深度和精細(xì)度。整個(gè)系統(tǒng)由信息綜合應(yīng)用平臺(tái)、信號(hào)控制系統(tǒng)、視頻監(jiān)控系統(tǒng)、智能卡口系統(tǒng)、電子警察系統(tǒng)、信息采集系統(tǒng)、信息發(fā)布系統(tǒng)等組成。以達(dá)到四方面的目標(biāo):提高通行能力、減少交通事故、打擊違章事件、出行信息服務(wù)。
大數(shù)據(jù)采集與存儲(chǔ)
交通數(shù)據(jù)采集的范圍、廣度和深度急劇增加,數(shù)據(jù)量隨著智能交通系統(tǒng)建設(shè)規(guī)模不斷擴(kuò)大。以線圈、視頻檢測(cè)、微波、卡口、GPS、浮動(dòng)車等產(chǎn)生交通流監(jiān)測(cè)數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)、系統(tǒng)數(shù)據(jù)、服務(wù)數(shù)據(jù)等構(gòu)筑了交通大數(shù)據(jù)。以上海市數(shù)據(jù)為例,全市接入6600多個(gè)卡口,每天近8000萬的通行數(shù)據(jù),產(chǎn)生大量的視頻、圖片和通行記錄。利用二次識(shí)別技術(shù),對(duì)車輛圖片和視頻進(jìn)行分析,形成更準(zhǔn)確的數(shù)據(jù)資源。
大數(shù)據(jù)分析與應(yīng)用
高效的云計(jì)算能力,帶來千億數(shù)據(jù)的秒級(jí)返回的檢索能力,為大數(shù)據(jù)分析應(yīng)用,提供了快速的保障?;谏疃葘W(xué)習(xí)的智能分析算法,為大數(shù)據(jù)分析應(yīng)用提供有力的工具。交通大數(shù)據(jù)的分析,為交通管理、決策、規(guī)劃、服務(wù)以及主動(dòng)安全防范帶來更加有效的支持。 利用大數(shù)據(jù)技術(shù),結(jié)合高清監(jiān)控視頻、卡口數(shù)據(jù)、線圈微采集波數(shù)據(jù)等,再輔以智能研判,基本可以實(shí)現(xiàn)路口的自適應(yīng)以及信號(hào)配時(shí)的優(yōu)化。