Aplikace Medical Image Labeler

Základním krokem segmentace a označování (labeling) lékařských snímků je rozdělení obrazu na oblasti odpovídající různým tkáním, orgánům a kostem. V rámci Medical Imaging Toolboxu, který jsme si představili v předchozích článcích o zpracování lékařských snímků v MATLABu (první díl, druhý díl), lze segmentaci a označování provádět interaktivně prostřednictvím aplikace Medical Image Labeler. Aplikace umožňuje manuálně, poloautomaticky nebo automaticky označit sadu dat. Pomocí této aplikace můžete:

• Importovat více 2D snímků nebo 3D objemů.
• Zobrazovat snímky jako roviny řezů nebo objemy s anatomickými směry a rovinami.
• Označovat pixely pomocí automatických algoritmů, jako je flood fill, poloautomatických technik, jako je interpolace, a manuálních technik, jako je využití superpixelů.
• Importovat a používat vlastní algoritmy pro automatické označování.
• Exportovat 2D a 3D snímky ve formátu PNG, PDF a GIF.
• Exportovat označená data jako objekt groundTruthMe­dical – ten lze sdílet s kolegy nebo použít k trénování sítí hlubokého učení pro sémantickou segmentaci (viz níže).

Aplikace Medical Image Labeler podporuje 2D snímky i obrazové sekvence ve formátu DICOM a dalších obrazových formátech kompatibilních s MATLABem. Dvourozměrné snímky nebo série snímků (např. z ultrazvuku) lze rovněž importovat z objektů typu medicalImage ve workspace. Aplikace dále umožňuje práci s 3D objemovými snímky uloženými ve formátech DICOM, NIfTI, NRRD a TIFF, které je možné importovat také ve formě objektů medicalVolume z workspace.

Segmentační masky lze také použít ke generování 3D anatomických modelů pro aplikace, jako je 3D tisk a analýza konečných prvků, které jsou užitečné například pro plánování chirurgických zákroků. Jak vygenerovat STL soubor pro 3D tisk ze segmentační masky stehenní kosti, se můžete podívat v dokumentaci. Ve spolupráci s kolegy, kteří pracují s Comsol Multiphysics, jsme takto vytvořili model plic segmentovaný z CT snímků hrudníku. Model byl vytvořen v MATLABu a exportován do formátu STL a následně importován do Comsol Multiphysics, kde byl na tomto modelu simulován ohřev plic pomocí metody konečných prvků.

Sémantická segmentace

Sémantická segmentace přiřazuje kategorie, jako jsou konkrétní typy objektů, ke každému pixelu v obrázku. Obrázek se tím rozdělí do oblastí s daným významem a je možné jej využít pro hlubší pochopení snímané scény. Na pozadí sémantické segmentace využíváme model hlubokého učení, který v sobě nese veškeré nezbytné informace. U aplikací hlubokého učení je tradiční ruční označování náchylné k chybám. Aplikace Medical Image Labeler a Image Labeler umožňují ručně nebo poloautomaticky označovat vaše datové sady s vysokou přesností a rychlostí. Poté můžete pomocí aplikace Deep Network Designer vytvářet, vizualizovat a trénovat sítě hlubokého učení. Můžete také použít aplikaci Experiment Manager ke správě více experimentů hlubokého učení a k analýze a porovnání výsledků a kódu.

Podpůrné softwarové balíčky

V rámci Medical Imaging Toolboxu lze při segmentaci využít také podpůrné softwarové balíčky:

• Medical Imaging Toolbox Model for Medical Segment Anything Model (MedSAM) – MedSAM je model hlubokého učení určený k segmentaci lékařských obrazových dat, který vychází z původního modelu Segment Anything Model (SAM) od společnosti Meta. SAM je obecný model segmentace obrázků, schopný rozpoznávat a oddělovat objekty v obrazech s minimálním zadáním od uživatele (např. kliknutí, rámeček, bod).
• Medical Imaging Toolbox Interface for MONAI Label Library – MONAI je open-source framework pro vývoj a trénování AI modelů v medicínském zobrazování. Jedná se o knihovnu postavenou na PyTorch. Obsahuje nástroje pro předzpracování a augmentaci medicínských dat, návrh a trénování neuronových sítí, hodnocení výkonu modelů, integraci s klinickými systémy (např. DICOM, NIfTI) a další.
• Medical Imaging Toolbox Interface for Cellpose Library – Cellpose je open-source algoritmus a software pro segmentaci buněk a dalších biologických struktur na mikroskopických snímcích. Využívá hluboké učení k automatickému rozpoznání a oddělení jednotlivých buněk nebo objektů v obraze bez nutnosti složitého ručního označování nebo přizpůsobování parametrů.