我們提出了基于多模態(tài)查詢(xún)的目標(biāo)檢測(cè)（MQ-Det），首個(gè)同時(shí)支持文本描述和視覺(jué)示例查詢(xún)的開(kāi)放世界目標(biāo)檢測(cè)器。MQ-Det是一種高效的架構(gòu)和預(yù)訓(xùn)練策略設(shè)計(jì)，可以同時(shí)利用高泛化性的文本描述和高細(xì)粒度的視覺(jué)示例來(lái)對(duì)圖像中的目標(biāo)進(jìn)行查詢(xún)檢測(cè)，即多模態(tài)查詢(xún)。MQ-Det將視覺(jué)示例查詢(xún)整合到現(xiàn)有的基于語(yǔ)言查詢(xún)的檢測(cè)器中，并提出了一種即插即用的門(mén)控感知器模塊來(lái)將視覺(jué)信息插入文本描述。為了解決凍結(jié)檢測(cè)器帶來(lái)的學(xué)習(xí)惰性問(wèn)題，我們提出了一種以視覺(jué)為條件的掩碼語(yǔ)言預(yù)測(cè)策略。MQ-Det的簡(jiǎn)單而有效的架構(gòu)和訓(xùn)練策略設(shè)計(jì)與目前大多數(shù)基于語(yǔ)言查詢(xún)的目標(biāo)檢測(cè)器兼容，因此具備廣泛的適用性。實(shí)驗(yàn)結(jié)果表明，多模態(tài)查詢(xún)能夠大幅度推動(dòng)開(kāi)放世界目標(biāo)檢測(cè)。例如，MQ-Det通過(guò)多模態(tài)查詢(xún)?cè)诨鶞?zhǔn)數(shù)據(jù)集LVIS上將目前最先進(jìn)的開(kāi)集檢測(cè)器GLIP提升了約7.8% AP，而無(wú)需進(jìn)行任何下游微調(diào)；同時(shí)，其將13個(gè)小樣本下游任務(wù)平均提高了6.3% AP。完成以上這些提升僅需要在GLIP基礎(chǔ)上進(jìn)行額外的3%的調(diào)制訓(xùn)練時(shí)間。

 

　　圖片

 

　　論文鏈接：

 

　　https://arxiv.org/abs/2305.18980

 

　　代碼鏈接：

 

　　https://github.com/YifanXu74/MQ-Det

 

　　10. 基于全局指導(dǎo)視頻解碼器的連續(xù)非自回歸視頻生成方法

 

　　GLOBER: Coherent Non-autoregressive Video Generation via GLOBal Guided Video DecodER

 

　　作者：孫銘真，王衛(wèi)寧，秦子涵，孫家輝，陳思涵，劉靜

 

　　視頻生成需要同時(shí)具備全局一致性和局部真實(shí)性。本文提出了一種新穎的非自回歸方法 GLOBER，首先生成全局特征以獲取綜合性的全局引導(dǎo)，然后基于全局特征合成視頻幀以生成連貫的視頻。具體而言，我們提出了一個(gè)視頻自編碼器，其中視頻編碼器將視頻編碼成全局特征，而建立在擴(kuò)散模型上的視頻解碼器以非自回歸方式解碼全局特征并合成視頻幀。為了實(shí)現(xiàn)最大的靈活性，我們的視頻解碼器通過(guò)標(biāo)準(zhǔn)化的幀索引來(lái)解碼時(shí)間信息，從而能夠自由合成任意子視頻片段。此外，我們引入了一種新穎的對(duì)抗損失，以提高合成視頻幀之間的全局一致性和局部真實(shí)性。最后，我們采用基于擴(kuò)散的視頻生成器來(lái)擬合視頻編碼器輸出的全局特征的分布，從而執(zhí)行視頻生成任務(wù)。大量實(shí)驗(yàn)證明了我們提出的方法的有效性和高效性，且本方法在多個(gè)基準(zhǔn)數(shù)據(jù)集中取得了新的最優(yōu)性能。

 

　　圖片

 

　　相關(guān)鏈接：

 

　　http://arxiv.org/abs/2309.13274

 

　　11. 一種面向復(fù)雜時(shí)空因果關(guān)系的多模態(tài)視頻跟蹤評(píng)估基準(zhǔn)

 

　　A Multi-modal Global Instance Tracking Benchmark (MGIT): Better Locating Target in Complex Spatio-temporal and Causal Relationship

 

　　作者：胡世宇，張岱凌，武美奇，豐效坤，李旭宸，趙鑫，黃凱奇

 

　　因果推理是人類(lèi)決策中的重要能力之一，如人類(lèi)在觀看長(zhǎng)時(shí)視頻時(shí)可以準(zhǔn)確定位復(fù)雜場(chǎng)景中的目標(biāo)位置。然而，目前算法仍缺乏這種能力，現(xiàn)有跟蹤算法雖然可以在短視頻序列中持續(xù)定位目標(biāo)，但在高挑戰(zhàn)性的長(zhǎng)視頻序列中卻缺乏魯棒性。為評(píng)估智能體長(zhǎng)時(shí)因果推理能力，本文構(gòu)建了一種面向復(fù)雜時(shí)空因果關(guān)系的多模態(tài)視頻跟蹤評(píng)估基準(zhǔn)MGIT，主要?jiǎng)?chuàng)新如下：（1）構(gòu)建了一個(gè)長(zhǎng)時(shí)視頻文本雙模態(tài)數(shù)據(jù)集，該數(shù)據(jù)包含150段總計(jì)203萬(wàn)幀的長(zhǎng)視頻序列，單段時(shí)長(zhǎng)為現(xiàn)有基準(zhǔn)的5-22倍；此外，每段視頻均包含一套參考人類(lèi)認(rèn)知結(jié)構(gòu)的層級(jí)化多粒度語(yǔ)義標(biāo)簽，總計(jì)7.8萬(wàn)詞。（2）設(shè)計(jì)了一套多模態(tài)跟蹤任務(wù)評(píng)測(cè)機(jī)制并對(duì)現(xiàn)有算法進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明現(xiàn)有跟蹤算法缺乏長(zhǎng)文本處理能力和模態(tài)對(duì)齊能力，無(wú)法進(jìn)行長(zhǎng)時(shí)因果推理，與人類(lèi)的跟蹤能力仍有較大差距。綜上，本工作提供了高質(zhì)量的實(shí)驗(yàn)環(huán)境和評(píng)測(cè)系統(tǒng)，能幫助研究者從多模態(tài)的視角去理解視頻推理能力，并為算法的設(shè)計(jì)和評(píng)估提供支持。

 

 

　　圖1. 多模態(tài)單目標(biāo)跟蹤基準(zhǔn)MGIT構(gòu)建框架

 

　　12. 基于自動(dòng)分組機(jī)制的高效合作型多智能體強(qiáng)化學(xué)習(xí)

 

　　Automatic Grouping for Ef?cient Cooperative Multi-Agent Reinforcement Learning

 

　　作者：臧一凡，何金岷，李凱，傅浩波，付強(qiáng)，興軍亮，程健

 

　　自然系統(tǒng)中常見(jiàn)的分組現(xiàn)象對(duì)于提高團(tuán)隊(duì)合作效率而言至關(guān)重要。本文提出一種分組學(xué)習(xí)的多智能體強(qiáng)化學(xué)習(xí)方法GoMARL，在沒(méi)有任何先驗(yàn)知識(shí)的條件下學(xué)習(xí)自動(dòng)分組來(lái)實(shí)現(xiàn)智能體之間的高效合作。不同于直接學(xué)習(xí)聯(lián)合動(dòng)作價(jià)值和個(gè)體動(dòng)作價(jià)值之間復(fù)雜關(guān)系的方法，本文以小組作為橋梁建模智能體之間的關(guān)聯(lián)，通過(guò)鼓勵(lì)小組內(nèi)和小組間的配合來(lái)提高整個(gè)團(tuán)隊(duì)的工作效率。具體而言，本文將聯(lián)合動(dòng)作價(jià)值分解為小組價(jià)值的組合，指導(dǎo)智能體以更細(xì)粒度的方式改進(jìn)策略。GoMARL運(yùn)用一種自動(dòng)分組機(jī)制來(lái)生成動(dòng)態(tài)組別和相應(yīng)的小組動(dòng)作價(jià)值，并進(jìn)一步提出一種用于策略學(xué)習(xí)的分層控制，驅(qū)動(dòng)同一組中的智能體學(xué)習(xí)相似的策略，不同組的智能體學(xué)習(xí)多樣化的策略。本文在星際微操任務(wù)和谷歌足球場(chǎng)景的實(shí)驗(yàn)中驗(yàn)證了GoMARL的高效性，并通過(guò)消融實(shí)驗(yàn)和組件分析展示分組在提升算法性能方面的重要性。

 

　　

 

　　13. 面向高效準(zhǔn)確Winograd卷積的全量化方法

 

　　Towards Efficient and Accurate Winograd Convolution via Full Quantization

 

　　作者：陳天奇，許偉翔，陳維漢，王培松，程健

 

　　Winograd算法是一種通過(guò)域變換來(lái)減少計(jì)算量的快速卷積實(shí)現(xiàn)。通過(guò)對(duì)Winograd卷積量化，降低其計(jì)算精度，可以進(jìn)一步加速卷積神經(jīng)網(wǎng)絡(luò)，但這同樣面臨性能損失。針對(duì)這一問(wèn)題，本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)量化會(huì)導(dǎo)致Winograd變換過(guò)程的不一致性，并提出以輸出對(duì)齊為監(jiān)督信號(hào)對(duì)變換矩陣統(tǒng)一優(yōu)化。另外，本文首次對(duì)Winograd的域變換過(guò)程進(jìn)行全量化，并通過(guò)實(shí)驗(yàn)和理論分析發(fā)現(xiàn)量化瓶頸在于輸出變換過(guò)程。本文因此提出了一種可分解的量化系數(shù)，該方法更好的兼顧了硬件友好和量化損失。

 

　

 

　　14. ZoomTrack：用于高效視覺(jué)跟蹤的目標(biāo)感知非均勻尺寸調(diào)整

 

　　ZoomTrack : Target-aware Non-uniform Resizing for Efficient Visual Tracking

 

　　作者：寇宇同，高晉，李椋，王剛，胡衛(wèi)明，王以政，李兵

 

　　最近，由于輸入尺寸更小或特征提取骨干更輕，Transformer使面向速度的跟蹤器能夠以高速接近最先進(jìn)（SOTA）的性能，盡管它們?nèi)匀淮蟠舐浜笥谙鄳?yīng)的面向性能的版本。在本文中，我們證明了在較小輸入尺寸的基礎(chǔ)上實(shí)現(xiàn)高速跟蹤的同時(shí)縮小甚至抹平這一性能差距是可能的。為此，我們非均勻地調(diào)整了裁剪圖像的大小，使其輸入尺寸更小，而目標(biāo)更可能出現(xiàn)的區(qū)域的分辨率卻更高，反之亦然。由此可以解決兩難的問(wèn)題：既要關(guān)注更大的視野，又要在較小的輸入尺寸下保留更多的目標(biāo)原始信息。我們的非均勻尺寸調(diào)整可以通過(guò)二次編程（QP）有效解決，并自然地集成到大多數(shù)基于剪裁的局部跟蹤器中。在五個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上對(duì)兩種Transformer跟蹤器（即 OSTrack 和 TransT）進(jìn)行的綜合實(shí)驗(yàn)表明，我們的方法具有一致的性能提升。特別是，將我們的方法應(yīng)用于面向速度的 OSTrack 版本，在 TNL2K 上的 AUC 甚至比面向性能的對(duì)應(yīng)版本高出 0.6%，同時(shí)運(yùn)行速度提高了 50%，節(jié)省了 55% 以上的 MAC。

 

　　

 

　　15. 基于上下文物體和關(guān)系學(xué)習(xí)的3D指代目標(biāo)檢測(cè)

 

　　Exploiting Contextual Objects and Relations for 3D Visual Grounding

 

　　作者：楊力，原春鋒，張子琦，祁仲昂，許龑?zhuān)瑒?，單瀛，李兵，楊偉平，胡衛(wèi)明

 

　　3D指代目標(biāo)檢測(cè)是根據(jù)自然語(yǔ)言輸入從三維場(chǎng)景中識(shí)別出視覺(jué)目標(biāo)的任務(wù)。這項(xiàng)任務(wù)對(duì)于使機(jī)器人能夠理解并與真實(shí)環(huán)境交互起著至關(guān)重要的作用。然而，由于需要捕獲三維上下文信息才能從復(fù)雜的三維場(chǎng)景中分辨出目標(biāo)物體，這項(xiàng)任務(wù)極具挑戰(zhàn)性。同時(shí)，缺乏上下文物體和關(guān)系的標(biāo)注進(jìn)一步加劇了困難。在本文中，我們提出了一種新穎的檢測(cè)模型 CORE-3DVG，通過(guò)對(duì)上下文物體和關(guān)系進(jìn)行顯式的學(xué)習(xí)來(lái)應(yīng)對(duì)這些挑戰(zhàn)。我們的方法通過(guò)三個(gè)連續(xù)的模塊化網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)3D指代目標(biāo)檢測(cè)，包括一個(gè)文本引導(dǎo)的物體檢測(cè)網(wǎng)絡(luò)、一個(gè)關(guān)系匹配網(wǎng)絡(luò)和一個(gè)目標(biāo)推理網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，我們引入了偽標(biāo)簽自生成策略和弱監(jiān)督方法，以建立對(duì)無(wú)標(biāo)注的上下文物體和關(guān)系的顯式學(xué)習(xí)。所提出的技術(shù)通過(guò)對(duì)上下文物體和關(guān)系的學(xué)習(xí)，使推理網(wǎng)絡(luò)能夠更好地關(guān)注到三維場(chǎng)景中所指代目標(biāo)。我們?cè)诰哂刑魬?zhàn)性的Nr3D、Sr3D和ScanRefer數(shù)據(jù)集上驗(yàn)證了我們的方法，取得了最先進(jìn)的性能。

 

　　16. Bullying10K: 一個(gè)大規(guī)模神經(jīng)形態(tài)數(shù)據(jù)集用于隱私保護(hù)的暴力識(shí)別

 

　　Bullying10K: A Large-Scale neuromorphic Dataset towards Privacy-Preserving Bullying Recognition

 

　　作者：董一廷，李楊，趙東城，申國(guó)斌，曾毅

 

　　日常生活中暴力行為的普遍性對(duì)個(gè)人的身體和精神健康構(gòu)成了重大威脅。在公共場(chǎng)所使用監(jiān)控?cái)z像頭已被證明在主動(dòng)地阻止和預(yù)防此類(lèi)事件中是有效的。但由于其廣泛部署，出現(xiàn)了關(guān)于隱私侵犯的擔(dān)憂。為了解決這個(gè)問(wèn)題，我們利用動(dòng)態(tài)視覺(jué)傳感器（DVS）攝像頭來(lái)檢測(cè)暴力事件并保護(hù)隱私，因?yàn)樗蹲较袼亓炼鹊淖兓皇庆o態(tài)圖像。我們構(gòu)建了Bullying10K數(shù)據(jù)集，包括來(lái)自現(xiàn)實(shí)生活場(chǎng)景的各種動(dòng)作、復(fù)雜的運(yùn)動(dòng)和遮擋。它為評(píng)估不同任務(wù)提供了三個(gè)基準(zhǔn)：動(dòng)作識(shí)別、時(shí)間動(dòng)作定位和姿態(tài)估計(jì)。Bullying10K通過(guò)提供10,000個(gè)事件段，總共120億次事件和255GB的數(shù)據(jù)，平衡了暴力檢測(cè)和個(gè)人隱私的保護(hù)，并對(duì)神經(jīng)形態(tài)數(shù)據(jù)集提出了挑戰(zhàn)，將成為訓(xùn)練和開(kāi)發(fā)保護(hù)隱私的視頻系統(tǒng)的寶貴資源。Bullying10K為這些領(lǐng)域的創(chuàng)新方法開(kāi)辟了新的可能性。

 

　　17. ALIM: 針對(duì)噪聲部分標(biāo)簽學(xué)習(xí)調(diào)整標(biāo)簽重要性機(jī)制

 

　　ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning

 

　　作者：徐名宇，連政，馮磊，劉斌，陶建華

 

　　噪聲部分標(biāo)簽學(xué)習(xí)（噪聲PLL）是弱監(jiān)督學(xué)習(xí)的一個(gè)重要分支。與 PLL 中的真實(shí)標(biāo)簽必須隱藏在候選標(biāo)簽集中不同，噪聲 PLL 放寬了這一限制，并允許真實(shí)標(biāo)簽可能不在候選標(biāo)簽集中。為了解決這個(gè)具有挑戰(zhàn)性的問(wèn)題，大多數(shù)現(xiàn)有工作嘗試檢測(cè)噪聲樣本并估計(jì)每個(gè)噪聲樣本的真實(shí)標(biāo)簽。然而，檢測(cè)錯(cuò)誤是不可避免的。這些錯(cuò)誤會(huì)在訓(xùn)練過(guò)程中累積并持續(xù)影響模型優(yōu)化。為此，我們提出了一種具有理論解釋的噪聲 PLL 的新穎框架，稱(chēng)為“調(diào)整標(biāo)簽重要性機(jī)制（ALIM）”。它的目的是通過(guò)權(quán)衡初始候選集和模型輸出來(lái)減少檢測(cè)錯(cuò)誤的負(fù)面影響。ALIM 是一種插件策略，可以與現(xiàn)有 PLL 方法集成。多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們的方法可以在噪聲 PLL 上實(shí)現(xiàn)最先進(jìn)的性能。

 

　　18.VRA：針對(duì)分布外檢測(cè)的變分修飾激活方法

 

　　VRA: Variational Rectified Activation for Out-of-distribution Detection

 

　　作者：徐名宇，連政，劉斌，陶建華

 

　　分布外 (OOD) 檢測(cè)對(duì)于在開(kāi)放世界中構(gòu)建可靠的機(jī)器學(xué)習(xí)系統(tǒng)至關(guān)重要。研究人員提出了各種策略來(lái)減少模型對(duì) OOD 數(shù)據(jù)的過(guò)度自信。其中，ReAct是處理模型過(guò)度自信的典型且有效的技術(shù)，它截?cái)喔呒せ钜栽黾臃植純?nèi)和OOD之間的差距。盡管其結(jié)果很有希望，但這種技術(shù)是最好的選擇嗎？為了回答這個(gè)問(wèn)題，我們利用變分方法來(lái)尋找最優(yōu)操作，并驗(yàn)證了 OOD 檢測(cè)中抑制異常低和高激活以及放大中間激活的必要性，而不是像 ReAct 那樣只關(guān)注高激活。這促使我們提出一種名為“變分修飾激活（VRA）”的新技術(shù)，該技術(shù)使用分段函數(shù)模擬這些抑制和放大操作。多個(gè)基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，我們的方法優(yōu)于現(xiàn)有的事后策略。同時(shí)，VRA兼容不同的評(píng)分函數(shù)和網(wǎng)絡(luò)架構(gòu)。

 

　　歡迎后臺(tái)留言、推薦您感興趣的話題、內(nèi)容或資訊！

 

　　如需轉(zhuǎn)載或投稿，請(qǐng)后臺(tái)私信。