傳感器在咱們的全球經(jīng)驗(yàn)了迅速的推廣，實(shí)是上，傳感器此刻曾經(jīng)十分普及，以至于咱們每私人平常所運(yùn)用的電話里都有好幾種不同類別的傳感器。這點(diǎn)傳感器有的能檢驗(yàn)負(fù)擔(dān)、溫度、提速度和重力的容易浮動(dòng)，同樣也有更為頂級(jí)的傳感器，比如 GPS、RADAR、LIDAR 和圖像傳感器。

傳感器合一是指從幾種不同的傳感器中提取數(shù)據(jù)，以生成靠單個(gè)傳感器沒(méi)有辦法提供的消息。隨后，可行對(duì)該消息做進(jìn)一步料理和剖析。并依據(jù)終歸利用，必需時(shí)還可用傳感器來(lái)制訂決策。傳感器合一分為兩大類 ：

●　實(shí)時(shí)傳感器合一——提取并合一傳感器數(shù)據(jù)，并依據(jù)獲得的消息實(shí)時(shí)制訂決策。

●　離線傳感器合一——這類方案是提取并合一傳感器數(shù)據(jù)，但在過(guò)后的某個(gè)時(shí)間制訂決策。

就鑲嵌式視線體系和傳感器合一利用而言，多數(shù)利用符合實(shí)時(shí)傳感器合一。

鑲嵌式視線利用

鑲嵌式視線利用正好經(jīng)驗(yàn)迅猛增添，涉及范疇廣大，從機(jī)器人、頂級(jí)駕馭員協(xié)助體系 (ADAS) 到加強(qiáng)現(xiàn)實(shí)，不一而足。這點(diǎn)鑲嵌式視線利用對(duì)終歸利用的成功運(yùn)轉(zhuǎn)有相當(dāng)大幫助。將鑲嵌式視線體系提供的消息與來(lái)源不同傳感器或若干傳感器的消息發(fā)展合一，有助于更好了解環(huán)境，從而提高所選利用的功能。

好多鑲嵌式視線利用只運(yùn)用一種圖像傳感器來(lái)監(jiān)控一種方向，比如只監(jiān)測(cè)車子的前方。應(yīng)用這樣的圖像傳感器可行檢驗(yàn)、分類和跟進(jìn)對(duì)象。然則，源于只運(yùn)用一種傳感器，因而就沒(méi)有辦法測(cè)量與圖像中對(duì)象的距離。也便是說(shuō)，咱們可行檢驗(yàn)和跟進(jìn)到另一種機(jī)動(dòng)車或行人，但假如不借助另一種傳感器，咱們就沒(méi)有辦法確定能否存留磕碰風(fēng)險(xiǎn)。本例中咱們須要另一種傳感器，比如 RADAR 或 LIDAR，該傳感器能提供與已檢驗(yàn)到的對(duì)象的距離。源于這類方法能夠?qū)��?lái)源若干不同類別傳感器的消息合一，因而稱為異構(gòu)傳感器合一。

ADAS 異構(gòu)傳感器合一實(shí)例

另一個(gè)方案是提供第二個(gè)圖像傳感器，以實(shí)現(xiàn)立體視線。這類方案是讓兩個(gè)圖像傳感器朝著相同方向，但分開(kāi)一小段距離，就像人的兩個(gè)眼睛那樣，經(jīng)過(guò)視差確定對(duì)象在視場(chǎng)中的深度。像這樣運(yùn)用若干相同類別的圖像傳感器，稱為同構(gòu)傳感器合一。

自然，這邊須要依據(jù)駕馭要求確定架構(gòu)和傳感器類別的抉擇。這包括深度感的范疇、測(cè)量精度、環(huán)境光和天氣要求、實(shí)現(xiàn)本錢(qián)以及實(shí)現(xiàn)繁雜水平。

鑲嵌式視線不但可用于對(duì)象檢驗(yàn)和車子防撞，還可行作為導(dǎo)航體系的一部分，用以收集交通標(biāo)記消息。此外，還可合一醫(yī)用 X 光、MRI 和 CT 等多個(gè)不同圖像，或許合一安防與監(jiān)視設(shè)施中的可視光和紅外圖像。

咱們平常以為鑲嵌式視線利用只運(yùn)用可視電磁光譜，本來(lái)好多鑲嵌式視線利用能合一來(lái)源可視電磁光譜以外的數(shù)據(jù)。

料理請(qǐng)求

假如不發(fā)展合一，料理圖像時(shí)就須要差不多大的計(jì)算能力，這是由于體系要執(zhí)行一系列預(yù)料理功效。比如在運(yùn)用彩色圖像傳感器時(shí)，這點(diǎn)料理任務(wù)包括顏色濾波插值、色彩體積轉(zhuǎn)換/重采樣以及圖像校正。除此之外，咱們還要執(zhí)行傳感器合一算法自身的料理任務(wù)，在此前運(yùn)用的對(duì)象檢驗(yàn)實(shí)例中，咱們須要執(zhí)行背景減法、閾值和外部線條檢驗(yàn)，以運(yùn)用最容易方案定位對(duì)象，或許可能須要更強(qiáng)的 HoG/SVM 分類器。

隨著幀率和圖像大小增添，預(yù)料理圖像和提取消息所需的料理能力也會(huì)隨之增添。

然則，從圖像中提取所需的消息還不過(guò)任務(wù)的一部分，假如運(yùn)用異構(gòu)合一，咱們還需對(duì)來(lái)源第二個(gè)傳感器的消息發(fā)展配置、驅(qū)動(dòng)、接收和提取。假如咱們抉擇同構(gòu)體系，則須要為第二個(gè)圖像傳感器再一次執(zhí)行與第一種傳感器相同的圖像料理流水線。

這樣能提供兩組數(shù)據(jù)，必需對(duì)這兩組數(shù)據(jù)發(fā)展料理以確定與對(duì)象的實(shí)質(zhì)距離，這才是真實(shí)的合一。

All Progra毫米able SoC 或 FPGA 的優(yōu)勢(shì)

在鑲嵌式視線體系中，通常運(yùn)用 All Progra毫米able FPGA 或 All Progra毫米able SoC 來(lái)實(shí)現(xiàn)圖像料理流水線。假如他們能用于慣例鑲嵌式視線利用，那末也適用于鑲嵌式視線合一利用。

不論抉擇 FPGA 仍是 SoC，鑲嵌式視線利用平常運(yùn)用料理器發(fā)展監(jiān)視、操控和通信。假如采用 All Progra毫米able SoC，那末當(dāng)中有個(gè)硬核，并有好多扶持外設(shè)和接口準(zhǔn)則。假如運(yùn)用 All Progra毫米able FPGA，就會(huì)運(yùn)用一種軟核，比如 MicroBlaze?，并采納愈加定制化的外設(shè)和接口扶持。

關(guān)于鑲嵌式視線傳感器合一利用，咱們可進(jìn)一步應(yīng)用料理器為所用的許多傳感器提供容易接口。比如，提速計(jì)、負(fù)擔(dān)計(jì)、陀螺儀和 GPS 傳感器都配有串行外設(shè)接口 (SPI) 和里面集成電路(I2C)接口，都獲得 All Progra毫米able Zynq?-7000 和 MicroBlaze 軟核料理器的扶持。這使軟件能夠迅速、方便地從不同類別的傳感器得到所需消息，并提供應(yīng)可擴(kuò)展架構(gòu)。

在可編程邏輯架構(gòu)中可輕松實(shí)現(xiàn)用于從圖像傳感器提取消息的圖像料理流水線，另外，可編程邏輯架構(gòu)還可用以為其它異構(gòu)傳感器（比如 RADAR 和 LIDAR）或許同構(gòu)體系中的多個(gè)概況實(shí)現(xiàn)料理流水線。

當(dāng)運(yùn)用 All Progra毫米able Zynq-7000 或 All Progra毫米able UltraScale+? MPSoC 時(shí)，料理器存儲(chǔ)器與可編程邏輯之中緊密耦合的架構(gòu)應(yīng)允利用軟件訪問(wèn)所獲得的數(shù)據(jù)集，以便進(jìn)一步料理和制訂決策。獨(dú)立傳感器鏈可在可編程邏輯中實(shí)現(xiàn)，況且可并行運(yùn)轉(zhuǎn)，這關(guān)于立體視線等須要同步操作的概況十分有益。

為了提速在可編程邏輯中實(shí)現(xiàn)的合一利用的交付流程，咱們可應(yīng)用高檔次概括 (HLS) 開(kāi)發(fā)可干脆在可編程邏輯架構(gòu)中實(shí)現(xiàn)的算法。

實(shí)例架構(gòu)

開(kāi)發(fā)前面推薦的對(duì)象檢驗(yàn)和距離算法，應(yīng)用 All Progra毫米able SoC 演示同構(gòu)和異構(gòu)方案。雖然兩種方案運(yùn)用的傳感器類別不用，但這兩種架構(gòu)的終歸指標(biāo)皆是將兩個(gè)數(shù)據(jù)集放到料理體系的 DDR 內(nèi)存，同一時(shí)間將可編程邏輯架構(gòu)的功能第一大化。

實(shí)現(xiàn)同構(gòu)對(duì)象檢驗(yàn)體系須要運(yùn)用相同的傳感器類別，這邊是 CMOS 成像傳感器。這樣做的優(yōu)勢(shì)是只要要開(kāi)發(fā)一條圖像料理鏈，這種圖像料理鏈可行為兩個(gè)圖像傳感器在可編程邏輯架構(gòu)中實(shí)例化二次。

同框架構(gòu)實(shí)現(xiàn)立體視線體系的要求之一是請(qǐng)求兩個(gè)圖像傳感器同步在可編程邏輯架構(gòu)中并行實(shí)現(xiàn)兩個(gè)圖像料理鏈并運(yùn)用具備適當(dāng)約束的相同一時(shí)間鐘，這樣有助于滿足這一苛刻的請(qǐng)求。

雖然視差計(jì)算須要發(fā)展稠密料理，但二次實(shí)現(xiàn)相同的圖像料理鏈的能力可明顯節(jié)省開(kāi)發(fā)本錢(qián)。

上圖給出了同構(gòu)方案的架構(gòu)，此中兩條圖像料理鏈最重要的鑒于可用的 IP 模塊。圖像數(shù)據(jù)采納定制的傳感器接口 IP 模塊捕獲，并從并行格式轉(zhuǎn)換為 AXI 流媒體。這樣能實(shí)現(xiàn)輕松可擴(kuò)展的圖像料理鏈；咱們可行應(yīng)用高功能 AXI 互連以及視頻 DMA 將結(jié)果從圖像料理鏈傳送到 PS DDR。

考量采納不同類別傳感器的異構(gòu)實(shí)例， 咱們可將上面推薦的圖像傳感器對(duì)象檢驗(yàn)架構(gòu)與 RADAR 距離檢驗(yàn)相聯(lián)合。關(guān)于 RADAR 的實(shí)現(xiàn)，咱們有兩個(gè)抉擇：脈沖方案(多普勒)或許延續(xù)波。詳細(xì)抉擇哪種方案取決于終歸利用請(qǐng)求，只是，這兩種方法大同小異。

RADAR 的架構(gòu)可分成兩部分：信號(hào)生成和信號(hào)接收。信號(hào)生成部分負(fù)責(zé)生成延續(xù)波信號(hào)或許待傳輸?shù)拿}沖信號(hào)，不論哪種方案都須要應(yīng)用信號(hào)生成 IP 模塊與快速數(shù)模轉(zhuǎn)換器發(fā)展接口接連。

信號(hào)接收部分也須要運(yùn)用快速模數(shù)轉(zhuǎn)換器來(lái)捕獲接收到的延續(xù)波或脈沖信號(hào)。講到信號(hào)料理，這兩種方案都須要運(yùn)用經(jīng)過(guò)可編程邏輯架構(gòu)實(shí)現(xiàn)的 FFT 剖析方法；同樣，咱們可運(yùn)用 DMA 將獲得的數(shù)據(jù)集傳送到 PS DDR。

不論抉擇哪種實(shí)現(xiàn)架構(gòu),兩個(gè)數(shù)據(jù)集的合一算法皆是經(jīng)過(guò)軟件用 PS 來(lái)執(zhí)行。此外，這點(diǎn)合一算法對(duì)料理帶寬請(qǐng)求較高，實(shí)現(xiàn)更高功能的一個(gè)方法是運(yùn)用現(xiàn)存用具集功效，尤其是設(shè)置環(huán)境 SDSoC?。

SDSoC 可應(yīng)用 Vivado HLS 和接連構(gòu)架（二者對(duì)軟件開(kāi)發(fā)人士皆是透明的）沒(méi)有縫地在料理器與 SoC 可編程邏輯之中傳輸軟件功效。自然，咱們可應(yīng)用高檔次概括為同構(gòu)和異構(gòu)實(shí)現(xiàn)形式的料理鏈開(kāi)發(fā)功效。咱們還可進(jìn)一步擴(kuò)展，針對(duì)所選的實(shí)現(xiàn)方案組建定制 SDSoC 平臺(tái)，接下來(lái)借助 SDSoC 功效，應(yīng)用未占用的邏輯資源進(jìn)一步提速全個(gè)鑲嵌式視線體系功能的提高。

結(jié)論

傳感器合一曾經(jīng)扎根，同一時(shí)間,鑲嵌式視線體系正好快速增添，傳感器迅速推廣和普遍。All Progra毫米able FPGA 和 SoC 提供的功效使多個(gè)類別的傳感器可并行運(yùn)轉(zhuǎn)并按請(qǐng)求實(shí)現(xiàn)同步；同一時(shí)間，應(yīng)用 SoC 料理體系或軟核料理器來(lái)執(zhí)行數(shù)據(jù)合一和決策運(yùn)動(dòng)。

體系和高檔次概括用具（如 SDSoC 和 Vivado HLS），為工程設(shè)置團(tuán)隊(duì)帶來(lái)了多個(gè)優(yōu)勢(shì)，可保證依期發(fā)展利用開(kāi)發(fā)。