利用3D植物和輻射傳輸建模框架模擬自動標注的可見光和多/高光譜圖像
在植物遙感和近程傳感領域，深度學習和多模態技術被廣泛用于分析作物性狀。然而，許多深度學習模型依賴于標注的數據集，這些數據集的獲取往往耗時耗力。
2024年5月，Plant Phenomics在線發表了University of California, Davis題為Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework的研究論文。
為了應對這一挑戰，本文提出了基于Helios 3D植物建模軟件的輻射傳輸框架。該框架可以模擬RGB、多/高光譜、熱成像和深度相機，生成附帶參考標注的植物圖像，例如植物的物理特征、葉片的化學濃度及生理特性。
圖1合成圖像生成框架的示意圖
圖1是合成圖像生成框架的示意圖。基于光線跟蹤的相機模型用于模擬從光源（例如太陽和LED光）發射并被場景中的物體散射后到達相機的輻射傳播。指定輻射源通量、物體反射率和透射率以及相機響應的光譜分布，以定義輻射如何與物體表面和相機傳感器相互作用。基于prospect的葉片光學模型可以根據用戶指定的葉片化學濃度生成葉片光學性質。最后，模擬相機生成可以任意自動注釋的結果圖像。
圖2基于薄透鏡模型的基于光線跟蹤的相機模擬方法示意圖
圖2是基于薄透鏡模型的基于光線跟蹤的相機模擬方法示意圖。右圖:基于Bailey的模型，使用反向射線追蹤方法對每個葉片表面單元（黑色實體框）進行輻射源采樣，以確定散射輻射通量。左圖:相機模型在鏡頭上隨機采樣，發射穿過焦平面的射線，查詢所碰到的表面元素的散射輻射通量和唯一標識符。
圖3豆類植物的示例注釋合成圖像
圖3是豆類植物的示例注釋合成圖像。(A) 葉片葉綠素濃度分布圖（色標單位為μg/cm2）， (B) 合成RGB圖像，(C) 植物分割圖，(D) 凈光合作用分布圖（色標單位為μmol m-2s-1）。相機焦平面距離為1.35m, HFOV為11.5°，鏡頭直徑為0.02 m。豆葉分割的示例應用初步證明，合成圖像可以直接作為高通量植物表型圖像設計的機器學習模型的輸入，以改進模型訓練。研究還表明，該模型可以完全基于合成圖像進行訓練，并且在應用于真實圖像時表現良好。
該研究的主要創新點在于開發了一種基于物理的模擬環境，能夠生成包含光學和幾何標注的高質量合成植物圖像。研究表明，這一方法能夠減少對手工標注數據的依賴，并通過合成圖像訓練深度學習模型，進行無監督學習。文中展示了該模型在豆葉檢測和草莓果實檢測中的應用，驗證了其在高通量植物表型分析中的有效性。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0189
——推薦閱讀——
Maximizing the Radiation Use Efficiency by Matching the Leaf Area and Leaf Nitrogen Vertical Distributions in a Maize Canopy: A Simulation Study
https://doi.org/10.34133/plantphenomics.0217
Plant Phenomics | 北京市農林科學院基于冠層光合作用模型刻畫出玉米高光效理想株型
Time-Series Field Phenotyping of Soybean Growth Analysis Combining Multimodal Deep Learning and Dynamic Modelling
https://doi.org/10.34133/plantphenomics.0158
Plant Phenomics | 中科院東北地理與農業生態研究所利用多模態深度學習和動態系統建模基于長勢的田間大豆種質資源鑒定加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為7.6，位于農藝學一區（1/125名），植物科學一區（13/265名），遙感一區（6/62名）。2023年中科院期刊分區位于農林科學大類一區。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領軍期刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：趙毅（南京農業大學）
編輯排版：王平、趙倩瑩（中國科學院大學）
審核：尹歡、孔敏
