2015年兩會上，“大數據(big data)”一詞寫入政府工作報告。在交通領域，大數據一直被視作緩解交通壓力的技術利器。應用大數據有助于了解城市交通擁堵問題中人的出行規律和原因，實現交通和生活的和諧，提高城市的宜居性，為政府管理提供基于數據證據的綜合決策。同時，大數據的挖掘和使用還有利于催生信息消費新模式，促進信息消費產業發展。
隨著手機網絡、定位系統(global positioning system，GPS)/北斗車載導航、車聯網、交通物聯網的發展，交通要素的人、車、路等的信息都能夠實時采集，城市交通大數據來源日益豐富。在日益成熟的物聯網和云計算平臺下，通過城市交通大數據的采集、傳輸、存儲、挖掘和分析等，有望實現城市交通一體化，即在一個平臺上實現交通行政監管、交通企業運營、交通市民服務的集成和優化。
城市交通大數據的集成與分析技術研究，對我國智慧城市的發展具有戰略性意義。交通大數據具有種類繁多、異質性、時空尺度跨越大、動態多變、高度隨機性、局部性和有限生命周期等特征，如何有效地集成交通大數據，滿足高時效性和知識牽引等城市交通智慧化需求，是各個大中城市所面臨的的發展機遇和挑戰。
本文首先簡單介紹了大數據的發展狀況及趨勢，然后重點分析總結了城市交通大數據的若干核心技術，并提出城市交通大數據的智能應用系統解決方案，zui后重點列舉了幾種典型應用。
2 大數據的發展狀況及趨勢
近年來，數據的快速增長成了許多行業共同面對的嚴峻挑戰和寶貴機遇，信息社會正在進入大數據時代。大數據指的是涉及的資料量規模巨大到無法透過目前主流軟件工具在合理時間內達到感知、擷取、管理、處理和服務的數據集合。從2009年左右開始，“大數據”開始成為互聯網信息技術行業的流行詞匯。
根據互聯網數據中心(IDC)估測，數據一直以每年50%的速度增長(大數據摩爾定律)，這意味著人類在zui近兩年產生的數據量相當于之前產生的全部數據量，預計到2020年，將總共擁有35億GB(35 ZB)的數據。大數據處理的數據規模從TB級上升到PB、EB甚至ZB級，人們面臨著如何降低數據存儲成本、充分利用計算資源、提高系統并發吞吐率、支持分布式非線性迭代算法優化等眾多難題。
為了應對大數據的發展趨勢，更好地為行業用戶和個人提供數據分析的服務，亟需構建各類不同的大數據平臺，支持用戶對數據的多種需求。構建大數據平臺就是要將不同渠道、不同來源、不同結構的數據進行有機的整合。與傳統數據平臺不同的是，大數據海量的規模、多樣的類型、快速的流動和動態的體系以及巨大的價值是大數據平臺構建需要重點考慮的幾個因素。除此之外，數據的分類存儲、數據平臺的開放性、數據的智能處理以及數據平臺與用戶的交互都為大數據平臺的建設帶來的挑戰。
大數據平臺處理的數據類型是多種多樣的。目前這些平臺的搭建已經有了一些有代表性的成果，如Google公司的Freebase、微軟公司的Probase、國內的中文信息結構庫——中國知網。在商用數據平臺方面，IBM公司的Infosphere大數據分析平臺、天睿公司的Teradata統一數據環境以及由國內天貓、阿里云、萬網聯合推出的國內*電商云工作平臺聚石塔是3個典型的數據平臺。
“大數據”本身是一個現象而不僅僅是一種技術，這是信息科技歷史發展的必然結果。大數據的采集、傳輸、處理和應用所需的相關大數據處理技術，是通過系列地使用非傳統工具來對大量的結構化、半結構化和非結構化數據進行處理，從而獲得分析和預測結果的一系列大數據處理技術。大數據技術的戰略意義也不僅在于掌握龐大的數據信息，而更在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。大數據領域已經涌現出了大量新的技術，它們成為大數據采集、存儲、處理和呈現等功能的有力武器。大數據發展呈現以下趨勢。
（1）基于云計算的數據分析平臺
云計算為大數據提供了可以彈性擴展、相對便宜的存儲空間和計算資源，使得中小企業也可以像亞馬遜公司一樣通過云計算來完成大數據分析。云計算IT資源龐大、分布較為廣泛，是異構系統較多的企業及時準確處理數據的有力方式，甚至是*的方式。
大數據要走向云計算，還有賴于數據通信帶寬的提高和云資源池的建設，需要確保原始數據能遷移到云計算環境以及資源池可以隨需彈性擴展。
（2）數據分析集逐步擴大，企業級數據倉庫將成為主流
當人們從大數據分析中嘗到甜頭以后，數據分析集就會逐步擴大。目前大部分的企業分析的數據量一般以TB為單位。按照目前數據的發展速度，數據量很快將會進入PB時代。特別是目前在100~500 TB和500+ TB范圍的分析數據集的數量會成倍增長。
隨著數據分析集的擴大，以前部門層級的數據集將不能滿足大數據分析的需求，它們將成為企業級數據庫(EDW)的一個子集。因此，企業內的數據分析將從部門級過渡到企業級，從面向部門需求轉向面向企業需求，從而也必將獲得比部門視角更大的益處。隨著政府和行業數據的開放，更多的外部數據將進入企業級數據倉庫，使得數據倉庫規模更大，數據的價值也更大。
（3）Hadoop對MapReduce的依賴程度越來越小
Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，能夠處理PB級數據，具有高可靠性、高擴展性、性和高容錯性等特點。其新版本不只為MapReduce服務，而是和Cloudera的Impala一樣用一個SQL查詢引擎或者其他的方法來替代MapReduce。HBaseNoSQL數據庫就是Hadoop離開MapReduce約束后的一個很好的例子。未來Hadoop平臺將在大數據處理中發揮越來越重要的作用。
3 城市交通大數據
3.1 城市交通大數據的主要研究內容
（1）時效約束的大數據多尺度匯聚計算和動態圖譜
交通大數據存在多源、異質、局部性、時空關聯、異步性、信息稀疏性和并發性等特點，而城市交通系統存在著對大數據匯聚處理的高時效性以及對“大而信息稀疏”的交通大數據的領域知識牽引要求。現有的數據融合、計算理論與方法難以滿足高時效性的大數據處理和基于數據的知識構建與轉換等需求，亟需提出時效約束的大數據多尺度匯聚計算和動態圖譜的交通大數據處理新理論與新方法。
（2）高維空間的隱性知識序貫挖掘與演化模型
交通主體、行為、態勢、路網拓撲和環境形成了高維生態系統閉空間，相互之間存在著高度非線性、隨機性和動態的耦合關系。交通態勢及其演化是交通系統的宏觀體現，具有約束條件下的動態性、序貫性、自組織、隨機性等特點，交通態勢機理解釋對解決城市交通的難題非常重要。傳統的交通理論難以發現隱含在如此高維空間的知識，對交通出行規律及其時空演化、大面積交通擁堵演變規律、環境與交通行為等進行綜合知識和數據支撐的解釋與評價，高維空間的隱性知識序貫挖掘與演化將為此提供堅實的理論與技術支撐。
（3）交通態勢的預測機理與調控策略
交通態勢是城市交通系統運行狀態的反映，受到交通需求、網絡拓撲、多交通子系統、環境、管理和調控策略等眾多因素的相互影響與作用。由于城市交通態勢具有時變性、不確定性、非馬氏性以及影響因素之間的相關性等特點，是一個超維的復雜巨系統，其調控與預測是世界性的難題，目前尚缺乏相關的理論與方法。交通態勢的預測機理與調控策略的研究，將創建復雜交通巨系統的預測及其控制的新理論與途徑。
3.2 城市交通大數據相關處理技術
在城市交通蓬勃發展的過程中，其數據采集量必然成倍增長，形成海量、動態、實時的交通大數據。因此，以大數據處理技術為支撐的城市交通信息服務將成為未來智能交通發展的增長點。城市交通所涉及的大數據技術，總結起來大致包括如下內容。
（1）基于Hadoop框架的MapReduce模式技術
Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，而map/reduce是Hadoop的核心計算模型，它將復雜地運行于大規模集群上的并行計算過程高度地抽象到了兩個函數。Hadoop實現了一個分布式文件系統(Hadoop distributed file system，HDFS)。HDFS有著高容錯性的特點，用來部署在低廉的硬件上。而且它能提供高傳輸率來訪問應用程序的數據，適合那些有著超大數據集的應用程序。
（2）數據倉庫技術
數據倉庫是決策支持系統(DSS)和聯機分析應用數據源的結構化數據環境，研究和解決從數據庫中獲取信息等問題。數據倉庫的特征在于面向主題、集成性、穩定性和時變性。其主要功能是將組織通過資訊系統的聯機交易處理(OLTP)經年累月所累積的大量資料、數據倉庫理論所*的資料存儲架構進行系統的分析整理，以利于各種分析方法如線上分析處理(OLAP)、數據挖掘(data mining)的進行，進而支持決策支持系統、主管資訊系統(EIS)等系統的創建，幫助決策者快速、有效地從大量數據資料中分析出有價值的信息，以利于決策擬定及快速回應外在環境變動，幫助構建商業智能。
（3）中央數據登記簿技術
中央數據登記簿系統是平臺數據統一管理、綜合交通信息服務的基礎，包括與交通信息有關的數據表示和交互以及交通信息服務、適合于綜合交通環境的數據字典和消息模板、交通數據項定義規則、注冊和管理機制等。
（4）平臺GIS-T應用技術
平臺GIS-T應用技術是交通地理信息系統的支撐技術，可為交通信息服務提供的信息查詢功能、海量的存儲功能，包括出租車、公交車、綜合交通視頻信息等數據；提供用戶體驗的WebGIS引擎，讓用戶享受基于瀏覽器的交通信息服務。
（5）基于非序列性數據操作技術
基于非序列性數據操作技術包括虛擬化環境以及流數據處理技術，通過網絡將大量服務器的內存空間統合在一起，使之形成一個超大型的虛擬內存，然后在其上進行數據配置，可實現對現有設備資源的zui大使用效率，同時實現對即時性數據的反饋能力。
（6）視頻大數據處理技術
視頻大數據處理技術將目前各個性的視頻監控系統有機地整合在一起，實現視頻資源統一接入、統一轉碼、統一分發、統一管理和統一運營的“五統一”目標。它可整合包括交通視頻、站臺視頻、客運站視頻、高速公路視頻、社會治安視頻、車載視頻等在內的多種視頻資源，提高整體視頻監控的效率，且基于視頻監控基礎設施之上創造更多增值性的應用，從而實現視頻監控系統的zui大化效用。
（7）大數據處理技術
大數據預處理技術是將接入平臺的數據根據具體的業務規則進行進一步的處理，包括對接入的數據進行有效性的檢驗、大數據清洗等。大數據標準化處理技術從數據庫中取出經過清洗后的數據，根據業務規則將外部系統的數據格式轉化為平臺定義的標準格式。
（8）大數據融合處理技術
大數據融合處理技術是指采用多源交通信息融合方法，結合特征融合技術(識別/分類、神經網絡、貝葉斯網絡等)、目標機動信息處理技術(自適應噪聲模型等)及多目標跟蹤的信息融合技術，提高信息系統的頑健性及可靠性。多源交通大數據信息融合分為3級：基礎級是數據級融合，它只完成數據的預處理和簡單關聯；第二級是特征級融合，就是根據現有數據的特征預測交通參數；第三級是狀態級融合，根據當前交通流信息判斷交通狀態。交通流信息融合的基本過程包括多源信息提取、信息預處理、融合處理以及目標參數獲取和狀態估計。
（9）實時數據分發訂閱技術
海量交通大數據具有數據量大、更新頻繁、時效性高等特點，往往需要來自于其他系統的實時數據來支持其業務邏輯。比如浮動車輛的GPS數據、目前城市道路的路況分析和收費站排隊監控分析、省級運政衛星定位聯網監控系統的上報、營運車輛安全監管系統等監控分析系統需要向外單位共享的數據。
（10）大數據挖掘技術
多源交通大數據挖掘是一個多步驟的過程，可以分為問題定義、數據準備、數據分析、模式評估等基本階段。
圖1 交通大數據挖掘模型
4 城市交通大數據的智能應用系統
4.1 交通大數據采集內容
城市交通大數據可分為靜態大數據與動態大數據。
靜態交通大數據主要包括城市交通的基礎空間數據(地表模型、高清正射影像等)、城市及周邊基礎地理信息(城市路網、交叉口布局、城市基礎交通實施信息)、道路交通網絡基礎信息(道路等級、長度、收費信息)、道路交通客運信息(客運班線、客動票務、市區公交信息、車站線路輻射圖、客運企業信息、交通換乘點等)、航班信息、列車信息、水運信息(船次、起終碼點、開船時間等)、停車場信息(停車場位置、名稱、總泊位數、開閉狀態、空閑泊位數等)、交通管理信息(警區界限、安全界限、警力分布、交通崗位、執法站、車管所、檢測場、考試場、過境檢查站)以及交通抽樣調查數據等。
動態交通大數據來源廣泛、形式多樣，主要包括通過衛星遙感、航空攝影測量，低空無人機應急平臺、地面測量車、地面視頻等遙感手段獲取的數據以及地面智能交通系統中，通過視頻、手機、公交卡、地感線圈等傳感設備和移動終端采集的人、車、路等交通要素的數據。從人可以采集到的數據有駕駛行為數據、付費行為數據和出行行為數據，從車采集到的數據有車輛信息數據、車輛實時位置數據、公交車運營數據、出租車運營數據、眾包路況數據，關于路的數據有衛星影像數據、航空攝影數據和道路基礎設施數據。
4.2 交通大數據云計算支撐平臺
城市交通大數據和相關業務的服務采用云計算技術來實現，其總體邏輯架構如圖2所示。采用云計算技術來支撐一體化交通大數據，按需提供自助管理虛擬基礎架構匯集成池，以服務的形式提供資源。云計算支撐平臺包括數據中心物理資源管理、數據中心邏輯資源、數據中心運營平臺和維護。
圖2 城市交通大數據云計算支撐平臺
城市交通云計算支撐平臺包含多個子系統，各系統提供穩定的信息、管理、監控服務。為了支持智能交通7×24 h的穩定、服務，可引入云計算虛擬化平臺。利用虛擬化技術將應用系統與物理機進行分離，減少因物理環境導致的系統中斷服務，在不影響用戶的情況下對物理資源進行刪除、升級或改變。
4.3 交通大數據的智能應用系統
交通大數據的智能應用系統是基于交通大數據中心、交通云計算支撐平臺來搭建的智能應用系統，采用“中心數據存儲和處理”和“本地服務應用”的模式，從海量的交通數據中抓取實時數據，分析挖掘歷史數據，基于歷史數據對未來情況做出預測，為智能交通提供決策性建議。
交通大數據智能應用系統可分別為政府、企業、公眾提供智能交通信息服務。系統可為政府部門提供交通行政監管支持，主要提供精細地理信息服務、交通管理服務、應急響應服務、路邊車位監管服務、公共交通監管服務等；為公眾搭建基于手機應用的交通信息服務，通過交通信息服務也可采集公眾日常出行行為的數據，主要有精細地理信息服務、實時路況服務、交通信息服務、實時車輛信息服務、交通誘導信息服務、停車誘導信息服務等；為企業提供交通信息增值服務，主要有精細地理信息服務、公交車公司車輛調度及輔助決策、商業數據分析等。不同用戶可共享行業數據、計算資源、個性化情報分析結果，在數據采集共享、大規模數據實時處理和分析、企業突發事件處置應對方面具有十分突出的優勢，從而大大節約了系統資源和成本，提升了工作效率。
系統所采用的技術主要包括基于決策樹—支持向量機(DTM-SVM)的多源異構交通信息融合技術、基于SOA的交通信息基礎數據服務設計、ZigBee無線傳感器網絡技術、基于移動互聯網的交通信息應用服務設計、基于機器學習的行程時間預測、基于位置服務(LBS)的行人交通信息服務技術等。
