Startseite > Medizintechnik > Systeme & Anwendungen > Auf dem Weg zum künstlichen Sehen

Medical Embedded Vision

Auf dem Weg zum künstlichen Sehen

18. Mai 2022, 9:48 Uhr | Martin Danzer, Congatec

Mithilfe eines maßgeschneiderten Startersets bringen Basler, Congatec und NXP Medizingeräten das Sehen bei.

KI in der medizinischen Bildverarbeitung ist mit vorkonfigurierten Embedded-Vision-Baukästen einfacher zu entwickeln.

Die Art der Embedded-Vision-Integration entscheidet über den Erfolg solch KI-basierter Systeme – egal, ob bei der Befundung oder während minimalinvasiver Operationen. Damit Entwickler und Entwicklerinnen schneller zu ihren individuellen Produkten kommen, bieten sich vorkonfigurierte Embedded-Vision-Baukästen an.

Das Auge ist das Resultat einer evolutionären Meisterleistung der Natur. Von der lichtempfindlichen Netzhaut über den informationsführenden Sehnerv bis hin zum analysierenden Gehirn – das natürliche Sehen ist eine hochkomplexe Datenverarbeitung, die über eine neuronale Vernetzung mit geringem Energieverbrauch arbeitet. Die intelligente Abstraktion des Gesehenen macht es Menschen und Tieren möglich, in Sekundenbruchteilen zu entscheiden, welche Relevanz das vom Auge eingefangene sichtbare Licht für das eigene Leben hat. Ein Meisterstück der natürlichen Intelligenz, deren Entwicklung gleichwohl Millionen von Jahre gedauert hat. So lange können sich Entwickler und Entwicklerinnen von Systemen mit künstlicher Intelligenz (KI) nicht Zeit lassen.

Aus diesem Grund setzen Hersteller von KI-basierten Anwendungen auf kompakte und vorkonfigurierte Embedded-Vision-Baukästen, die Hard- und Software der KI energieeffizient kombinieren. Aktuell sind Lösungen gefragt, die für beschleunigte Entscheidungen abgestimmt sind. Für KI-basierte Systeme liegt hier der neuralgische Punkt, um in Echtzeit aus Bildinformationen fundierte Entscheidungsgrundlagen zu liefern. Der Umweg über eine cloudbasierte Analyse ist dagegen nicht nur zeitaufwendiger, sondern darüber hinaus von einer kontinuierlichen Verfügbarkeit des Netzes abhängig. Im OP oder auf der Intensivpflegeabteilung sind die Systeme jedoch am Ort des Geschehens und müssen unmittelbar und autark visuelle Bilddaten erfassen und auswerten.

Mit einer NPU zum Embedded-Vision-System

Damit jedoch eine Computerleistung erbracht werden kann, die für Deep Learning und maschinelles Lernen benötigt wird, ist ein neuromorpher Prozessor oder eben eine NPU (Neural Processing Unit) unabdingbar. Eine NPU eignet sich insbesondere für die Analyse von Bildern und Mustern und wird dadurch zur zentralen Recheneinheit für ein KI-basiertes Medical-Vision-System. Inspiriert von der Architektur des neuronalen Netzes des Gehirns, können NPUs ereignisgesteuert arbeiten und benötigen nur gelegentlich Energie, wodurch sie selbst bei hoher Rechen- und Grafikleistung nur wenige Watt an Leistung brauchen. Gleichwohl erzielen solche Low-Power-NPUs eine Leistung von mehrerern TOPS (Tera Operations Per Second) und genügen damit den Anforderungen, die Entwickler und Entwicklerinnen an ihre smarten Medical-Systeme stellen.
Der Halbleiterhersteller NXP hat seinen Prozessor i.MX 8M Plus mit einer solchen NPU ausgestattet, um ihn fit für das maschinelle Lernen zu machen. Kombiniert mit vier Arm-Cortex-A53-Kernen und einem Arm-Cortex-M7-Controller, erzielt die Einheit bis zu 2,3 TOPS. Zudem besitzt der i.MX 8M Plus einen Image Signal Processor (ISP) für die parallele Echtzeitverarbeitung von hochaufgelösten Bildern und Videos. Er erlaubt bereits bei der Bilderfassung eine Vorverarbeitung, damit die NPU im Nachgang noch klarere Ergebnisse liefern kann. Das ist überall interessant, wo sich durch Bildbearbeitungsalgorithmen bessere visuelle Ergebnisse erzeugen lassen, beispielsweise in der minimalinvasiven Chirurgie.

Um den Einsatz des NXP-Prozessors zu beschleunigen, hat wiederum Congatec ein Starterset konzipiert und auf den Markt gebracht, das Edge-Anwendungen schnell und sicher das KI-Auge öffnet. Herzstück des Embedded-Vision-Baukastens ist ein kreditkartengroßes SMARC 2.1 Computer-on-Module (COM) mit dem Prozessor
i.MX 8M Plus, der eine hardwarebeschleunigte Decodierung und Codierung von Videodaten ermöglicht. Der Videokomprimierungsstandard H.265 sorgt dafür, dass sich von der NPU vorselektierte, hochauflösende Kamerasequenzen der beiden integrierten MIPI-CSI-Schnittstellen auch direkt über das Netzwerk für eHealth übertragen lassen. An Datenspeicher finden Entwickler und Entwicklerinnen auf dem SMARC-2.1-basierten COM bis zu 128 GB eMMC-Speicher. Das mit mehreren Peripherieschnittstellen ausgestattete Modul bietet Zugriff auf ein umfangreiches Ökosystem für KI-basierte Embedded-Systeme und ist je nach Ausstattung für den Temperaturbereich von -40 bis +85 °C geeignet, sodass auch mobiles Equipment mit diesen Prozessoren ausgestattet werden kann. Für den Betrieb benötigt das SMARC-Modul eine Leistung von zwei bis sechs Watt und wird passiv gekühlt.

Anpassung über Softwareplattform

Bei der Vielfalt der potenziellen Anwendungsmöglichkeiten ist es selbstredend, dass sich bei einem Starterset die Embedded-Vision-Anwendung individuell gestalten lassen muss. NXP bietet hierfür softwareseitig die Plattform »eIQ Machine Learning« an – wobei die Abkürzung für Edge-Intelligenz steht. Entwickler und Entwicklerinnen erhalten für ihre KI-basierten Systeme Zugriff auf eine Entwicklungsumgebung, die unterschiedliche Bibliotheken und Development-Tools vereint und auf Mikroprozessoren und Mikrocontroller des Halbleiterherstellers abgestimmt sind. Dazu gehören softwarebasierte Inferenzmaschinen, die durch Schlussfolgerungen neue Fakten aus bestehenden Daten und Erkenntnissen ableiten können. eIQ unterstützt zudem Inferenzmaschinen und Bibliotheken wie Arm Neural Network (NN) und die Open-Source-basierte TensorFlow Lite.

Während das SMARC COM im Starterset das künstliche Gehirn des KI-Auges ist, übernimmt ein postkartengroßes 3,5-Zoll-Carrier-Board die Aufgaben des Sehnervs. Als zentrale Schnittstelle für die Datenkommunikation vernetzt es über MIPI CSI-2.0 ohne zusätzliche Konvertermodule das »Gehirn« mit dem »Auge« – in Testkit eine MIPI-Kamera Basler dart BCON oder auch jedwede OEM-Kamera, die konform zu MIPI-CSI ist und von dem Basler/Congatec-Kit unterstützt werden kann. Softwareseitig liefert die Basler pylon Camera Software Suite ein einheitliches SDK, das auch für andere Schnittstellen als MIPI CSI-2.0 geeignet ist und auch Kameras mit den Standards USB 3 oder GigE ansteuern kann. Dank der Integration des Softwarepakets im Starterset für i.MX-8M-Plus-Prozessoren erhalten Entwickler und Entwicklerinnen sofort Zugriff auf zentrale, KI-basierte Vision-Funktionen wie Triggering, die ultraschnelle Bereitstellung von Einzelbildaufnahmen und hochdifferenzierte Möglichkeiten zur Kamerakonfiguration sowie einen einfachen Zugang zu kundenspezifischen Inferenzalgorithmen auf Basis der Ökosysteme von Arm NN und TensorFlow Lite, mit denen sich die Performance der NPU voll ausschöpfen lässt.

Entwickelt für die Mensch-Maschine-Interaktion

Das vorkonfigurierte KI-Auge als komplettes Paket bringt nicht nur eine zeitliche Einsparung bei der Entwicklung von Medical-Vision-Systemen, sondern auch die Gewissheit, auf am Markt etablierte Technologien und bekannte Standards zu setzen. Gerade die Kombination aus den Arm-Cortex‑A-Prozessoren und der NPU von NXP ermöglicht es Medizingeräten, intelligente Entscheidungen vorzubereiten, indem sie ohne oder fast ohne menschlichen Eingriff lernen und entsprechende Rückschlüsse aus den visuellen Informationen ziehen. Die Anwendungsbandbreite des NPU-basierten Embedded-Vision-Starterset geht weit über kamerabasierte Systeme hinaus. Die Bildgebung ist ebenso ein Anwendungsfall, und auch die Hilfe beim Lesen von EKGs sowie das Bedienen von Medizingeräten mit Handgesten und einer natürlichen Sprachverarbeitung eignen sich beispielsweise, um das Starterset für die Applikationsentwicklung einer interaktiven Kommunikation zwischen Mensch und Maschine zu nutzen. (me)