基于圖像的植物表型一直在穩(wěn)步增長，這急劇增加了對需要能夠評估多種植物性狀的更有效圖像分析技術(shù)的需求。深度學(xué)習(xí)已經(jīng)在植物表型的許多視覺任務(wù)中顯示出它的潛力，例如分割和計(jì)數(shù)。本文展示了如何使用多任務(wù)學(xué)習(xí)（MTL）從植物圖像中同時(shí)提取不同的表型性狀。MTL利用包含在相關(guān)任務(wù)的訓(xùn)練圖像中的信息來改善整體泛化并學(xué)習(xí)帶有較少標(biāo)簽的模型。本文作者提出了一種用于植物表型的多任務(wù)深度學(xué)習(xí)框架，該框架能夠同時(shí)推斷出三個(gè)特征：（i）葉數(shù)，（ii）投影葉面積（PLA）和（iii）基因型分類。作者采用一個(gè)改進(jìn)的預(yù)訓(xùn)練ResNet50作為特征提取器，對其進(jìn)行端到端的訓(xùn)練以預(yù)測多個(gè)性狀。還利用MTL表明，通過學(xué)習(xí)更容易獲得的注釋(如PLA和基因型)，可以預(yù)測更好的葉數(shù)(更難獲得注釋)。作者在幾個(gè)公開的擬南芥頂視圖圖像數(shù)據(jù)集上評估了此發(fā)現(xiàn)。






實(shí)驗(yàn)結(jié)果表明，與同一數(shù)據(jù)集上的單個(gè)任務(wù)網(wǎng)絡(luò)相比，所提出的MTL方法將葉子計(jì)數(shù)均方誤差（MSE）提高了40％以上。還表明，本文的MTL框架可以在不顯著影響性能的情況下，使用最多減少75%的葉數(shù)注釋進(jìn)行訓(xùn)練，而當(dāng)可用注釋減少時(shí)，單個(gè)任務(wù)模型顯示出穩(wěn)定的下降。

代碼獲取路徑https://github.com/andobrescu/Multi_task_plant_phenotyping

來源：Front. Plant Sci.Doing More With Less: A Multitask Deep Learning Approach in Plant Phenotyping.Andrei Dobrescu, Mario Valerio Giuffrida and Sotirios A. Tsaftaris.https://doi.org/10.3389/fpls.2020.00141