復旦大學腦科學轉化研究院

 

細胞分割與Cellpose

基于顯微鏡圖像的單細胞分析是目前生命科學領域的前沿和熱點問題。細胞分割能對成像圖片進行批量處理，將其形態、位置、RNA 表達和蛋白質表達等信息賦予識別出的每個細胞。比如：

• 對于多光子鈣成像分析，需要識別出單個神經元，才能提取每個神經元的鈣熒光信號，進行下游的處理和分析；

• 對于空間轉錄組分析，也需要分割細胞，將 RNA 的表達量賦予單個細胞；

• 對于醫學診斷而言，通過細胞的大小、形態、位置以及計數來診斷病變

• ……

由此可見，細胞分割的意義可見一斑。【注：深度學習用于細胞分割的應用案例請點擊Make it Evident丨TruAI 加速狼瘡腎炎病理學診斷查看。】

Cellpose 是一款基于深度學習算法的細胞分割的開源軟件，已發表兩篇論文，都發表在 Nature Methods 上，即 Cellpose 1.0 和 2.0 版本。

該款軟件使用 Python 語言編寫，憑借其良好的細胞分割效果、不錯的運行速度、易于使用的界面、支持與其他軟件聯動等特性，獲得了廣泛的使用和認可，在GitHub上獲得770+的star數，可謂是細胞分割領域的"ChatGPT"。

Cellpose 論文解讀

Cellpose軟件主要由來自珍妮莉亞研究園區 （Janelia Research Campus）的研究員“夫妻檔” Marius Pachitariu 與 Carsen Stringer 開發。兩位研究員的經歷很相似，都是從數學背景轉向計算神經科學，博士都畢業于英國倫敦大學的蓋茨比計算神經科學中心，之后都來到 Janelia 擔任研究員。目前兩位各自的實驗室方向也有很大的重合，主要從事于小鼠視覺皮層的神經元解碼工作。

為了便于分析工作的開展，他們以 MATLAB 和 Python 為主要開發語言，與其他實驗室合作開發了一系列軟件來處理大規模成像數據，并在 Github 開源。

https://github.com/MouseLand

他們開發的軟件以良好的性能和友好的 GUI 界面為特色，得到了眾多神經科學家喜愛和廣泛使用。其中：

• Kilosort 用于處理超大通量的神經電生理信號，能對神經元信號進行提取和分類（Spike Sorting）；

• Suite2p 集成了雙光子鈣成像數據的處理流程，能夠進行運動配準、神經元檢測、動作電位推斷等流程；

• Rastermap 能以 GUI 界面選擇神經元，并排序繪制對應的柵格圖（Raster Plot），支持與 Suite2p 聯動，直觀展示不同神經元的鈣信號變化；

• Facemap 通過解析小鼠面部表情來預測神經活動；

• Cellpose 是用于生物圖像的細胞分割，支持與 Suite2p 聯動來提取神經元鈣信號，也是本文的重點介紹內容。

   

  

  圖 1 Marius Pachitariu 與 Carsen Stringer開發的軟件開源在Github上的MouseLand組織里
   

基于多樣化數據集的Cellpose 1.0
Cellpose 1.0 的文章發表于 2020 年 12 月 14 日^[1]。其特色是，開發了一個通用的細胞分割模型，為此構建了一個多樣化的數據集，希望通過這個多樣化的數據集訓練得到的細胞分割效果，無論在單一的數據集還是多樣的數據集都能有好的表現，不需要用戶重新訓練。
其專門構建的數據集共 608 張，包含 316 張帶有熒光細胞質標記的細胞、50 張明場顯微鏡拍攝的細胞、58 張帶有熒光細胞膜標記的細胞、86 張其他類型顯微鏡的圖像以及 98 張由水果、巖石和水母等重復物體組成的非顯微鏡拍攝圖片，并將其中 100 張帶有熒光細胞質標記的細胞抽取出來作為 Cell Image Library。

圖 2 Cellpose構建的包含608張多類型圖像的數據集可視化展示
 

簡單介紹下 Cellpose 的算法：
在圖像分割領域常通過計算圖像的梯度來提取物體邊界，以此進行分割物體。有別于傳統圖像分割中基于灰度值計算梯度的分水嶺算法，Cellpose 中的圖像梯度是通過模擬擴散創建出來的，從手動分割注釋的細胞數據集（Groud Truth）中，為每個 ROI（Regions of Interest）使用熱擴散算法，從 ROI 中心迭代擴散以此模擬創建出拓撲圖，解出 x 和 y 方向的梯度矢量場。設計的深度神經網絡，基于經典的 Unet 結構進行改進，并引入了殘差塊。神經網絡架構通過對輸入的圖像進行預測，輸出圖像的水平、垂直梯度及像素是否在細胞內三個矩陣，這三個預測結果合成一個梯度向量場。再根據這個梯度向量場構建一個具有固定點的動力系統，所有收斂到同一個固定點的像素分組在一起，得到單個細胞的形狀。

圖 3 Cellpose 模型的架構

文章中將 Cellpose 與 Mask R-CNN、Stardist、U-Net3、U-Net2 等不同深度學習模型進行了比較，分別通過對 generalist data（包含全部 608 張圖像的數據集）和 specialist data （只包含 100 個熒光細胞的 Cell Image Library）分別對 Cellpose 和其他模型進行訓練。其結果為，用 generalist data 訓練的模型，用 generalist data 和 specialist data 測試，Cellpose 模型都比其他模型預測的更精準；用 specialist data 訓練的模型，在 specialist data 測試，Cellpose 也比其他模型要好。

文章里同時還探究了 ROI 同質性與 ROI 凸性對 Cellpose 分割的影響。同質性指的是圖像內每個 ROI 大小差別，同質性越大，ROI 大小差別越小，計算方式是對 ROI 面積大小從小到大排序，第一四分位數除以第三四分位數即為同質性指標。通過對同質性與分割效果的相關性分析以判斷是否相關 ；而凸性可以理解為 ROI 圓不圓潤，凸性越大，ROI越圓潤，計算方式為 ROI 面積除以恰好能包裹住的圓的面積，通過將 ROI 分為低、中和高凸性來探究 ROI 的凸性是否影響分割效果。實驗結果表明，分割效果與細胞大小的同質性之間沒有關系，而凸性會影響到分割效果，所有模型在高凸性 ROI 的分割表現優于低凸性ROI。

圖 5 探究了ROI同質性與ROI凸性對Cellpose分割的影響

文章的最后，作者還對 Cellpose 模型進行了修改，使其能支持 3D 的數據，即支持對視頻內的細胞進行分割。

Cellpose 2.0的預訓練模型與“人在回路”

“Cellpose 2.0: how to train your own model”發表于 2022 年 11 月^[2]。盡管 Cellpose 1.0 在設計之初就考慮了通用性，希望可以為許多不同的細胞圖像提供開箱即用的良好分割效果。但是在實際應用中，卻發現一個很大的問題——一方面不同數據集差別很大，每個數據集注釋風格也不一致，另一方面不同用戶想要的分割樣式可能也不一樣。如何確保模型的自適應力強，不僅能用于不同數據集，還能滿足不同用戶希望的分割風格，是細胞分割領域的一大挑戰。

為此，Cellpose2.0 改進之一，是集合了原有的 608 張多類型的圖像以及 TissueNet^[3]、LiveCell 數據集^[4]，通過聚類分成了 9 個不同風格數據集，為這 9 個具有人工注釋的數據集單獨訓練對應的 Cellpose 模型進行集成。這 9 個模型具有不同的分割樣式，用戶可以選擇最符合他們要求的模型，并且軟件可支持計算輸入圖像的風格來自動推薦模型。 
 

鑒于集成的 9 個模型可能依然無法解決對全新圖像類型的泛化問題，文章中還探究了用戶能否以相對較少的注釋來訓練一個自定義模型。將 TissueNet 和 LiveCell 數據集視為新的圖像類別，通過比較 Cellpose 1.0 已預訓練的模型和完全從頭開始訓練的 Cellpose 模型（from scratch），將 TissueNet 和 LiveCell 團隊各自使用的模型（Mesmer 模型和 LiveCel 模型）當作參考基準，探究對于兩個數據集需要多少個 ROI 訓練才能實現良好的分割效果。實驗結果表明，預訓練模型比完全從頭開始訓練的模型更有優勢，僅僅只需要 500-1,000 個訓練 ROI 就足以在TissueNet 和 LiveCell 數據集中實現接近最大的分割精度，并且在多樣化的 Cellpose 數據集中預訓練能比大型的 TissueNet 和 LiveCell 數據集預訓練表現更好。
 

Cellpose 2.0 的改進之二，借鑒了 TissueNet 數據集的細胞 ROI 標注方法^[3]，在深度學習算法層面引入了“人在回路”（Human-in-the-loop）。傳統的監督學習算法，包括 Cellpose 1.0 算法，完全依賴于數據標注員對數據集的注釋，經過一次次的迭代訓練使其在當前的數據集表現良好，卻無法真正保證其在新數據下的表現。“人在回路”的思想是在訓練過程中引入人的反饋，以提高模型預測的準確性、不同數據集下的魯棒性。目前大火的 ChatGPT，便是在 GPT3.5 模型上引入了“人在回路”的強化學習，人工對答案滿意度進行打分排序，使得 ChatGPT 的回答更接近于人。

Cellpose 2.0 的“人在回路”訓練過程為，先訓練一個初始的、可能并不完美的模型，這個初始模型應用于用戶的數據上，結果將由用戶來修正，模型再通過修正后的結果進行重新訓練，以提高模型的細胞分割表現。文章表明，Cellpose 預訓練模型配上“人在回路”訓練方式僅需要 3-5 張圖像（100-200 個手動分割的 ROI）就足以獲得良好的分割效果。 
 

 

Cellpose 使用入門
本文的最后，將簡單介紹 Cellpose 的使用。
 在線版本 Cellpose 1.0

Cellpose 官網支持運行在線版本的 Cellpose 1.0。

https://www.cellpose.org/
用戶能夠直接上傳數據來進行簡單的分割。模型運行完畢后，將顯示原圖、預測的細胞分割結果、預測的細胞分割 mask 及預測的梯度矢量場，并且支持下載 mask 為 png 圖片。

圖 10 運行在線的cellpose

本地版本Cellpose 2.0 

如果需要大量的細胞成像圖片進行細胞分割以及想體驗 Cellpose 2.0 的新模型和“人在回路”訓練自定義模型，則需要安裝本地版本。

Cellpose 基于 Python 語言編寫，并沒有提供 exe 文件來直接安裝。

在Cellpose的Github repo上有詳細的安裝指導：

https://github.com/MouseLand/cellpose。

官方的安裝建議是使用 conda 作為包和環境管理器，來安裝 Cellpose。安裝和配置 conda 這里并不展開，可從網絡搜索教程，Windows 系統和 Mac 系統推薦安裝具有圖形界面的 Anaconda，而 Linux 系統推薦安裝更為輕便的 miniconda 或 mambaforge。
在確保 conda 配置完畢的前提下，需要打開命令行窗口（Anaconda Promopt/CMD/Bash 等）來安裝安裝 Cellpose，安裝命令如下：

運行 Cellpose 的命令如下：

之后便會打開 Cellpose。

圖 11 Cellpose 軟件界面

簡要介紹下 Cellpose 的基本使用方式。

• 加載圖像：
  通過拖入圖像或者點擊左上方的【File】選項欄可以加載圖像，Cellpose 不僅會讀取當前的圖像，通過按左右鍵則可以切換同一文件下的其他圖像。
• 運行模型：在左邊的 Segmentation 欄，可以輸入細胞的平均直徑、選擇要分割的通道、配置模型運行參數，下方可以根據實際情況選擇不同的模型，或者讓程序自動推薦模型。點擊【run model】即開始運行模型，運行完畢后，將在圖像上展示預測的分割結果 mask 和識別的 ROI 數目。
• ROI 操作：【鼠標左鍵】選中某個 ROI，【Ctrl/Command+ 鼠標左鍵】刪除某個 ROI，【鼠標右鍵】繪制新 ROI。
• 訓練自定義模型：先選擇一個預訓練模型，對圖像進行分割，對分割得到的 ROI 進行增刪之后， 點擊左上方的【Model->Train new model with image+mask in folder】，進行訓練得到自定義模型，將會自動加載到 custom model 的選項中，之后通過重復的運行 + 修正 + 訓練，得到最終滿意的分割模型。

更多使用方式詳見 Cellpose 的文檔

https://cellpose.readthedocs.io/en/latest/

Cellpose 與軟件的聯動

• napari：作者專門開發 napari 的插件，Github 地址為：
  
  https://github.com/MouseLand/cellpose-napari
• ImageJ：Cellpose 的 Github repo 中提供了將 cellpose 導出的 outline.txt 轉為 ImageJ ROI 的 Python 腳本
  
  https://github.com/MouseLand/cellpose/blob/main/imagej_roi_converter.py
• Suite2p：Suite2p 支持使用 Cellpose 的模型對神經元進行分割

Cellpose 與硬件的聯動

• ......(暫無)

   

  【注：Cellpose在算法與分析功能方法已經完勝大多數商業化AI軟件，不過從事儀器硬件生產研發的廠家的則
  更擅長
  AI+智能硬件
  的整體解決方案
  。通過AI算法實時分析采集的圖像，精準定位研究目標對象，進而映射并控制圖像采集設備
  ，具備從
  AI采集到AI分析
  的全流程
  智能功
  能，
  例如：科技前沿丨真·人工智能替你搬磚
  。更多TruAI相關信息，請點擊“閱讀原文”獲取。】

 

參考文獻
[1] Stringer C, Wang T, Michaelos M, et al. Cellpose: a generalist algorithm for cellular segmentation [J]. Nature Methods, 2021, 18(1): 100-6.
[2] Pachitariu M, Stringer C. Cellpose 2.0: how to train your own model [J]. Nature Methods, 2022, 19(12): 1634-41.
[3] Greenwald N F, Miller G, Moen E, et al. Whole-cell segmentation of tissue images with human-level performance using large-scale data annotation and deep learning [J]. Nature Biotechnology, 2022, 40(4): 555-65.
[4] Edlund C, Jackson T R, Khalid N, et al. LIVECell-A large-scale dataset for label-free live cell segmentation [J]. Nature Methods, 2021, 18(9): 1038-45.