Künstliche Intelligenz

Auf dem Weg zum künstlichen Sehen

15. November 2021, 7:00 Uhr | Martin Danzer (Congatec)
Mithilfe eines maßgeschneiderten Startersets bringen Basler, Congatec und NXP Medizingeräten das Sehen bei.
© AdobeStock.com/lassedesignen

Embedded-Vision-Integration in der Diagnostik und Chirurgie

Das Auge ist das Resultat einer evolutionären Meisterleistung der Natur. Angefangen von der lichtempfindlichen Netzhaut über den informationsführenden Sehnerv bis hin zum analysierenden Gehirn – das natürliche Sehen ist eine hochkomplexe Datenverarbeitung, die über eine neuronale Vernetzung mit geringem Energieverbrauch arbeitet. Die intelligente Abstraktion des Gesehenen macht es Menschen und Tieren möglich, in Sekundenbruchteilen zu entscheiden, welche Relevanz das vom Auge eingefangene sichtbare Licht für das eigene Leben hat. Ein Meisterstück der natürlichen Intelligenz, deren Entwicklung gleichwohl Millionen von Jahren gedauert hat. So lange können sich Entwickler und Entwicklerinnen von Systemen mit Künstlicher Intelligenz (KI) nicht Zeit lassen.

Aus diesem Grund setzen Hersteller von KI-basierten Anwendungen auf kompakte und vorkonfigurierte Embedded-Vision-Baukästen, die Hard- und Software der KI energieeffizient kombinieren. Aktuell sind Lösungen gefragt, die für beschleunigte Entscheidungen abgestimmt sind. Für KI-basierte Systeme liegt hier der neuralgische Punkt, um in Echtzeit aus Bildinformationen fundierte Entscheidungsgrundlagen zu liefern. Der Umweg über eine cloudbasierte Analyse ist dagegen nicht nur zeitaufwändiger, sondern darüber hinaus von einer kontinuierlichen Verfügbarkeit des Netzes abhängig. Im OP oder auf Intensivpflegeabteilung sind die Systeme jedoch am Ort des Geschehens und müssen unmittelbar und autark visuelle Bilddaten erfassen und auswerten.

Mit einer NPU zum Embedded-Vision-System

Das Starterset für KI-Vision integriert die einzelnen Bestandteile eines KI-Auges. Eine Basler dart Kamera als eigentliches Auge, ein SMARC 2.1 Carrierboard mit 2x MIPI CSI als Sehnerv und ein SMARC 2.1 Modul als Gehirn.
Das Starterset für KI-Vision integriert die einzelnen Bestandteile eines KI-Auges. Eine Basler dart Kamera als eigentliches Auge, ein SMARC 2.1 Carrierboard mit 2x MIPI CSI als Sehnerv und ein SMARC 2.1 Modul als Gehirn.
© Congatec

Damit jedoch eine Computerleistung erbracht werden kann, die für Deep Learning und Maschinelles Lernen benötigt wird, ist ein neuromorpher Prozessor oder eben NPU (Neural Processing Unit) unabdingbar. Eine NPU eignet sich insbesondere für die Analyse von Bildern und Mustern und wird dadurch zur zentralen Recheneinheit für ein KI-basiertes Medical-Vision-Systeme. Inspiriert von der Architektur des neuronalen Netzes des Gehirns können NPUs ereignisgesteuert arbeiten und benötigen nur gelegentlich Energie, wodurch sie selbst bei hoher Rechen- und Grafikleistung nur wenige Watt an Leistung brauchen. Gleichwohl erzielen solche Low-Power NPUs eine Leistung mehrerer TOPS (Tera Operations Per Second) und genügen damit den Anforderungen, die Entwickler und Entwicklerinnen an ihre smarten Medical-Systeme stellen.

Der Halbleiterhersteller NXP hat seinen i.MX 8M Plus Prozessor mit einer solchen NPU ausgestattet, um ihn fit für das maschinelle Lernen zu machen. Kombiniert mit vier Arm Cortex-A53 Kernen und einem Arm Cortex-M7 Controller erzielt die Einheit bis zu 2,3 TOPS. Zudem besitzt der i.MX 8M Plus einen Image Signal Prozessor (ISP) für die parallele Echtzeitverarbeitung von hochaufgelösten Bildern und Videos. Er erlaubt bereits bei der Bilderfassung eine Vorverarbeitung, damit die NPU im Nachgang noch eindeutigere Ergebnisse liefern kann. Das ist überall interessant, wo sich durch Bildbearbeitungsalgorithmen bessere visuelle Ergebnisse erzeugen lassen, beispielsweise in der minimalinvasiven Chirurgie. 

Um den Einsatz des NXP Prozessors zu beschleunigen, hat wiederum Congatec ein Starterset konzipiert und auf den Markt gebracht, das Edge-Anwendungen schnell und sicher das KI-Auge öffnet. Herzstück des Embedded-Vision-Baukastens ist ein kreditkartengroßes SMARC 2.1 Computer-on-Module (COM) mit dem i.MX 8M Plus Prozessor, der eine hardwarebeschleunigte Dekodierung und Kodierung von Videodaten ermöglicht. Der Videokomprimierungsstandard H.265 sorgt dafür, dass sich von der NPU vorselektierte hochauflösende Kamerastreamsequenzen der beiden integrierten MIPI-CSI-Schnittstellen auch direkt über das Netzwerk für eHealth-Lösungen übertragen lassen.

An Datenspeicher finden Entwickler und Entwicklerinnen auf dem SMARC 2.1 basierten COM bis zu 128 GB eMMC-Speicher. Das mit mehreren Peripherieschnittstellen ausgestattete Modul bietet Zugriff auf ein umfangreiches Ökosystem für KI-basierte Embedded-Systeme und ist je nach Ausstattung für Temperaturbereich von -40 bis +85 °C geeignet, sodass auch mobiles Equipment mit diesen Prozessoren ausgestattet werden können. Für den Betrieb benötigt das SMARC Modul eine Leistung von 2 bis 6 Watt und wird mit einer passiven Kühlung geliefert.

Anpassung über Softwareplattform

Das SMARC 2.1 Modul conga-SMX8-Plus bringt die neuromorphe Intelligenz ans Edge bei nur 6 W TDP.
Das SMARC 2.1 Modul conga-SMX8-Plus bringt die neuromorphe Intelligenz ans Edge bei nur 6 W TDP.
© Congatec

Bei der Vielfalt der potenziellen Anwendungsmöglichkeiten ist es selbstredend, dass sich bei einem Starterset die Embedded-Vision-Anwendung individuell gestalten lassen muss. NXP bietet hierfür softwareseitig die Plattform »eIQ Machine Learning« an – wobei die Abkürzung für Edge-Intelligenz steht. Entwickler und Entwicklerinnen erhalten für ihre KI-basierten Systeme Zugriff auf eine Entwicklungsumgebung, die unterschiedliche Bibliotheken und Development-Tools vereint und auf Mikroprozessoren und Mikrocontroller des Halbleiterherstellers abgestimmt sind. Dazu gehören softwarebasierte Inferenzmaschinen, die durch Schlussfolgerungen neue Fakten aus bestehenden Daten und Erkenntnissen ableiten können. eIQ unterstützt zudem Inferenzmaschinen und Bibliotheken wie Arm Neural Network (NN) und die Open-Source-basierten TensorFlow Lite.

Während das SMARC COM im Starterset das künstliche Gehirn des KI-Auges ist, so übernimmt ein postkartengroßes 3,5-Zoll-Carrier-Board die Aufgaben des Sehnervs. Als zentrale Schnittstelle für die Datenkommunikation vernetzt es über MIPI CSI-2.0 ohne zusätzliche Konvertermodule das »Gehirn« mit dem »Auge« – in Testkit-Fall einer MIPI-Kamera Basler dart BCON oder auch jedwede OEM-Kamera, die Konform zu MIPI-CSI ist und von dem Basler/Congatec-Kit unterstützt werden kann.

Softwareseitig liefert die Basler pylon Camera Software Suite ein einheitliches SDK, das auch für andere Schnittstellen als MIPI CSI-2.0 geeignet ist und auch Kameras mit den Standards USB 3 oder GigE ansteuern kann. Dank der Integration des Softwarepakets im Starterset für i.MX 8M Plus Prozessoren erhalten Entwickler und Entwicklerinnen sofort Zugriff auf zentrale KI-basierte Vision-Funktionen wie Triggering, die ultra-schnelle Bereitstellung von Einzelbildaufnahmen und hochdifferenzierte Kamera-Konfigurationsmöglichkeiten sowie einen einfachen Zugang zu kundenspezifischen Inferenzalgorithmen auf Basis der Ökosysteme von Arm NN und TensorFlow Lite, mit denen sich die Performance der NPU voll ausschöpfen lässt.

Entwickelt für die Mensch-Maschine-Interaktion

Das vorkonfigurierte KI-Auge als komplettes Paket bringt nicht nur eine zeitliche Einsparung bei der Entwicklung von Medical-Vision-Systemen, sondern auch die Gewissheit, auf im Markt etablierte Technologien und bekannte Standards zu setzen. Gerade die Kombination aus den Arm Cortex-A Prozessoren und der NPU von NXP ermöglicht es Medizingeräten, intelligente Entscheidungen vorzubereiten, indem sie ohne oder fast ohne menschlichen Eingriff lernen und entsprechende Rückschlüsse aus den visuellen Informationen ziehen.

Die Anwendungsbandbreite des NPU-basierten Embedded-Vision Starterset geht weit über Kamera-basierte Systeme hinaus. Die Bildgebung ist ebenso ein Anwendungsfall und auch die Hilfe beim Lesen von EKGs, sowie das Bedienen von Medizingeräten mit Handgesten und einer natürlichen Sprachverarbeitung eignet sich beispielsweise, um das Starterset für die Applikationsentwicklung mit interaktiver Kommunikation zwischen Mensch und Maschine zu nutzen.

Anmerkung: Dieser Artikel erschien zuerst in der medical design 4/2021. Hier geht's zum kostenfreien ePaper der Ausgabe.


Lesen Sie mehr zum Thema


Jetzt kostenfreie Newsletter bestellen!

Weitere Artikel zu congatec AG