以圖搜車技術是以計算機視覺、圖像處理、圖像識別技術為基礎，包括圖像預處理、圖像特征提取、建立圖像特征索引和圖像特征匹配4個大的步驟。
圖像預處理
復雜背景中的圖像通常存在噪聲多樣、分辨率不高、光照不均等現象，為了使圖像具有統一的屬性，需要先對圖像進行預處理，以達到位置校準和灰度歸一的目的。首先對圖像背景差分和濾波去噪，然后進行縮小和放大變換，獲得固定大小的圖像樣本，使后續算法能針對固定的樣本進行統一的處理識別；然后進行圖像的灰度化，并通過中值濾波和形態學方法增強圖像，使車輛特征的主要紋理(如車牌號碼、車身顏色、車輛局部特征等)清晰可辨，干擾紋理模糊弱化，為基于紋理的車輛特征定位優化圖像；zui后采用直方圖均衡化技術使圖像具有統一的均值和方差，得到標準圖像。
圖像特征提取
與當前流行的其他檢測方法(Harris detector)相比，SIFT特征向量的優勢在于不僅對尺度縮放、平移、旋轉、亮度變化等具有良好的不變性，對目標部分遮擋和圖像背景噪聲等問題也具有很好的檢索性能；而且其信息量豐富、*性好，適合海量的特征數據庫；另外通過少量的幾個目標也可得到大量的SIFT特征向量。因此，本文采用基于SIFT的算法完成對數據庫中的圖像進行特征向量表示。該算法提取出的特征向量具有128維，避免維數災難的出現同時降低圖像特征向量匹配時的計算復雜度，采用既能夠保持SIFT算子良好特性又可有效降低特征向量維數的PCA-SIFT算法進行圖像局部特征提取。首先從圖像中均勻提取SIFT特征，然后對其進行主成分分析(Principal Component Analysis, PCA )，然后根據特征向量矩陣對圖像進行變換，將多個實測變量轉換為少數不相關的綜合指標。圖像特征提取的具體實現步驟為：
① 輸入原始的車輛圖片庫
車輛區域定義為車輛正面的一個矩形區域，上邊緣到駕駛室車窗頂部，下邊緣到車牌底部，左邊緣到車輛駕駛室車窗左邊界，右邊緣到駕駛室車窗右邊界。
② 從圖片庫中提取SIFT特征集
提取SIFT特征點首先需要建立圖像的高斯金字塔。其目的是對圖像作分塊處理，使其呈現出一種層次金字塔的結構，然后再分別統計每一個子塊的特征，zui后將所有的子塊的特征拼接起來，形成完整的特征。
③ 用PCA算法進行降維
首先針對己有的數據集P = {P1, PZ, ... , Pn}，計算平均值，并用原數據減去均值得到Pi′= Pi - M。然后計算協方差矩陣。接著計算協方差矩陣的特征值E1, E2,...,Em和特征向量EV1, EV2,...,EVm。zui后把特征值按照從大到小的順序排列，得到E1′, E2′,..., Em′，對應的特征向量為EV1′, EV2′,..., EVm′。特征向量代表著原始數據的分布方向，特征向量對應的特征值越大，說明該特征向量越重要，即為主元，也叫做主成分。
完成以上步驟后根據特征值的大小選取前32個，就可以將原數據由原來的128維降低到新的32維，完成了針對原始數據的降維處理操作。
④ 利用K均值聚類(K-means)方法對SIFT特征集離散化
從圖庫中可以提取大量的SIFT特征集，利用K均值聚類對其作離散化，聚標記即是圖像索引值。K均值聚類通過迭代的方式，把每一個SIFT特征劃分到距離其zui近的聚類中，zui終SIFT特征集被劃分成K個離散的聚類，認為同一個聚類的SIFT特征是一樣的，則可以使用類編號表示SIFT特征，即離散SIFT特征。其中類間距離度量上采用單連接法，對任意兩個聚類ci,cj，單連接法的計算公式為：
本文的優選實例中取K值為100000。
⑤ 生成鄰域特征
為了彌補SIFT特征缺少特征相對位置關系的缺陷，要把離散化的SIFT進一步轉換成鄰域特征。假設SIFT聚類個數為K，選擇N*N的鄰域，則鄰域特征可以表示為一個整數序列，其元素的值不超過K*N*N。給定一個SIFT特征點，以其為中心定義一個N*N的鄰域。按照如下規則生成一個矩陣： 同一個子區域內，同一個離散SIFT特征出現多次只記錄一次; 如果第k個離散SIFT特征出現在第n個區域內，則矩陣第n行的第k個值置為1，否則置為0。zui終的整數序列按照下面的步驟生成: 初始序列為空，自左向右，自上而下掃碼矩陣，如果第n行第k個值為1，則在序列中增加一個整數，值為(n-1)* K + k，忽略值為0的元素，由此得到一個整數序列，這個序列就是鄰域特征。圖1是當K=10,N=3時的鄰域特征生成示意圖。本文的優選實例中K取100000，N取3。
圖1
建立圖像特征索引
圖像檢索中所使用的倒排索引(inverted index)技術源于文檔檢索領域，用于大規模文檔數據的索引和匹配。倒排索引被廣泛應用于相似性搜索領域。在大規模的圖像數據集中，圖像的低層特征向量通過訓練好的特征向量碼本量化為視覺單詞(visual word)，得到的每個視覺單詞對應于倒排索引中的索引項。在圖像檢索中實現快速檢索。
圖像特征匹配
給定一個待檢索特征，在量化之后，對應于待檢索特征在倒排索引中的索引項Wi就被確定下來。于是，索引項Wi所對應的一列相關的索引特征作為候選匹配結果。兩個圖像特征向量x和y之間的匹配函數定義形式如下：
fq(x,y)=δq(x),q(y)
其中q(.)為量化函數，將特征向量映射為碼本中離其zui近的簇中心，即碼字。
經過上述過程，用戶輸入的模板圖像和圖像庫中的所有圖像的相似度計算問題就轉變為了這些由二進制串組成的局部特征之間的匹配問題，本文中二進制串的相似度度量采用Hamming距離，計算效率較高。zui后根據匹配相似度由高到低輸出圖像庫中對應的圖像即可。
