行人檢測作為計算機視覺(jué)L域基本的主題之一，多年來(lái)被廣泛研究。盡管先進(jìn)的行人檢測器已在無(wú)遮擋行人上取得了超過(guò) 90% 的準確率，但在嚴重遮擋行人檢測上依然無(wú)法達到滿(mǎn)意的效果。究其根源，主要存在以下兩個(gè)難點(diǎn)： 

嚴重遮擋的行人框大部分為背景，檢測器難以將其與背景類(lèi)別區分； 

給定一個(gè)遮擋行人框，檢測器無(wú)法得到可見(jiàn)區域的信息； 

Tube Feature Aggregation Network（TFAN）新方法，即利用時(shí)序信息來(lái)輔助當前幀的遮擋行人檢測，目前該方法已在 Caltech 和 NightOwls 兩個(gè)數據集取得了業(yè)界L先的準確率。

核心思路

利用時(shí)序信息輔助當前幀遮擋行人檢測

目前大部分行人檢測工作都集中于靜態(tài)圖像檢測，但在實(shí)際車(chē)路環(huán)境中大部分目標都處于運動(dòng)狀態(tài)。針對嚴重遮擋行人的復雜場(chǎng)景，單幀圖像難以提供足夠有效的信息。為了優(yōu)化遮擋場(chǎng)景下行人的識別，地平線(xiàn)團隊提出通過(guò)相鄰幀尋找無(wú)遮擋或少遮擋目標，對當前圖像中的遮擋行人識別進(jìn)行輔助檢測。

實(shí)驗新方法

Proposal tube 解決嚴重遮擋行人檢測

如下圖，給定一個(gè)視頻序列，先對每幀圖像提取特征并使用 RPN（Region Proposal Network）網(wǎng)絡(luò )生成 proposal 框。從當前幀的某個(gè) proposal 框出發(fā)，依次在相鄰幀的空間鄰域內尋找相似的proposal框并連接成 proposal tube。