Spel

La ricerca sull’intelligenza artificiale con movimento dell’ago addestra i robot chirurgici nella simulazione

Una collaborazione tra NVIDIA e ricercatori accademici sta preparando i robot per la chirurgia.

ORBIT-Surgical, sviluppato dai ricercatori dell’Università di Toronto, UC Berkeley, ETH di Zurigo, Georgia Tech e NVIDIA, è un framework di simulazione per l’addestramento di robot che potrebbe aumentare le competenze delle équipe chirurgiche riducendo al contempo il carico cognitivo dei chirurghi.

Supporta più di una dozzina di manovre ispirate al curriculum formativo per le procedure laparoscopiche, note anche come chirurgia mini-invasiva, come afferrare piccoli oggetti come gli aghi, passarli da un braccio all’altro e posizionarli con grande precisione.

Il framework basato sulla fisica è stato creato utilizzando NVIDIA Isaac Sim, una piattaforma di simulazione robotica per la progettazione, l’addestramento e il test di robot basati sull’intelligenza artificiale. I ricercatori hanno addestrato algoritmi di apprendimento per rinforzo e imitazione su GPU NVIDIA e hanno utilizzato NVIDIA Omniverse, una piattaforma per lo sviluppo e la distribuzione di applicazioni e pipeline 3D avanzate basate sulla descrizione universale delle scene (OpenUSD), per consentire il rendering fotorealistico.

Utilizzando il kit di ricerca da Vinci, sostenuto dalla comunità e fornito dalla Intuitive Foundation, un’organizzazione no-profit sostenuta da Intuitive Surgical, leader nella chirurgia robotica, il team di ricerca di ORBIT-Surgical ha dimostrato come l’addestramento di un gemello digitale nella simulazione viene trasferito a un robot fisico in un laboratorio ambiente nel video qui sotto.

ORBIT-Surgical sarà presentato giovedì all’ICRA, la conferenza internazionale dell’IEEE sulla robotica e l’automazione, che si terrà questa settimana a Yokohama, in Giappone. Il pacchetto open source è ora disponibile su GitHub.

Un punto in AI ne salva nove

ORBIT-Surgical è basato su Isaac Orbit, un framework modulare per l’apprendimento dei robot costruito su Isaac Sim. Orbit include il supporto per diverse librerie per l’apprendimento per rinforzo e l’apprendimento per imitazione, in cui gli agenti di intelligenza artificiale vengono addestrati a imitare esempi di veri esperti.

Il framework chirurgico consente agli sviluppatori di addestrare robot come il da Vinci Robot Research Kit, o dVRK, a manipolare oggetti duri e morbidi utilizzando framework di apprendimento per rinforzo e apprendimento per imitazione in esecuzione su GPU NVIDIA RTX.

ORBIT-Surgical offre più di una dozzina di attività di riferimento per la formazione chirurgica, comprese attività con una sola mano come raccogliere un pezzo di garza, inserire uno shunt in un vaso sanguigno o sollevare un ago da sutura in una posizione specifica. Comprende anche compiti a due mani, come passare un ago da un braccio all’altro, far passare un ago filettato attraverso un perno ad anello e raggiungere due braccia in posizioni specifiche evitando gli ostacoli.

Uno dei test di riferimento di ORBIT-Surgical è l’inserimento dell’elettrocatetere, mostrato a sinistra con un robot nel mondo reale e a destra in una simulazione.

Sviluppando un simulatore chirurgico che sfrutta l’accelerazione e la parallelizzazione della GPU, il team può aumentare la velocità di apprendimento del robot di un ordine di grandezza rispetto alle strutture chirurgiche esistenti. Hanno scoperto che il robot gemello digitale poteva essere addestrato a completare attività come l’inserimento di uno shunt e il sollevamento di un ago da sutura in meno di due ore su una singola GPU NVIDIA RTX.

Con il realismo visivo consentito dal rendering in Omniverse, ORBIT-Surgical consente inoltre ai ricercatori di generare dati sintetici ad alta fedeltà, che potrebbero aiutare ad addestrare modelli di intelligenza artificiale per compiti di percezione come la segmentazione di strumenti chirurgici in video del mondo reale catturati in sala operatoria.

Una prova di concetto del team ha dimostrato che la combinazione di simulazione e dati reali ha migliorato significativamente la precisione di un modello di intelligenza artificiale per la segmentazione degli aghi chirurgici dalle immagini, contribuendo a ridurre la necessità di grandi set di dati del mondo reale e i costi elevati per addestrare tali modelli.

Leggi l’articolo su ORBIT-Surgical e scopri di più sugli articoli scritti da NVIDIA all’ICRA.