Perception, control and path planning of robotic laparoscopic surgical system

This thesis studies all the stages involved in the perception, control and manipulation of robotic laparoscopic tools with emphasis given to the pivot trajectories and the RCM constrained motion planning. The forward and inverse kinematics of the 7 DoF KUKA iiwa14 industrial robot arm was studied...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Καραδήμος, Αλέξιος
Άλλοι συγγραφείς: Karadimos, Alexios
Γλώσσα:English
Έκδοση: 2022
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/15791
id nemertes-10889-15791
record_format dspace
institution UPatras
collection Nemertes
language English
topic Minimal invasive surgery
Perception
Control system
Path planning
Fulcrum
ROS
Ελάχιστη επεμβατική χειρουργική
Αναγνώριση
Σύστημα ελέγχου
Σχεδιασμός διαδρομής
spellingShingle Minimal invasive surgery
Perception
Control system
Path planning
Fulcrum
ROS
Ελάχιστη επεμβατική χειρουργική
Αναγνώριση
Σύστημα ελέγχου
Σχεδιασμός διαδρομής
Καραδήμος, Αλέξιος
Perception, control and path planning of robotic laparoscopic surgical system
description This thesis studies all the stages involved in the perception, control and manipulation of robotic laparoscopic tools with emphasis given to the pivot trajectories and the RCM constrained motion planning. The forward and inverse kinematics of the 7 DoF KUKA iiwa14 industrial robot arm was studied followed by kinematics of the attached Barrett hand gripper for grasping purposes. Minimal Invasive Surgery (MIS) necessitates the study of Remote Center-of-Motion (RCM) constraint for the pivot motions, the elbow- up constraint to avoid collisions as well as the workspace constraints and singularities. The transformation of the surgical task space into the robot’s taskspace and the joint space is subsequently analyzed along with the robot’s manipulability. Emphasis was given in calculating various geometric paths for the robot to follow inside the surgical task. The equations for circular, circular arc, line segment, helical, cubic spline, b- spline, higher-order polynomial and trapezoid and s-curve velocity profile trajectories are studied in detail in order to generate pivot motions with a wide variety. Simulations were conducted using the ROS framework and libraries like Gazebo, RViz and MoveIt using the RRTConnect path planning algorithm. The simulations were evaluated with measurements of time, position accuracy and RCM distance deviation. This thesis also briefly studies a simple recognition of a laparoscopic tool and the estimation of its position and orientation using computer vision as well as the calculation of three points on the surgical tool where the gripper’s fingers will be placed in order to grasp the object with a satisfactory force closure. Finally this thesis studies some control system schemes like for example the RCM tracking and pivot motion control.
author2 Karadimos, Alexios
author_facet Karadimos, Alexios
Καραδήμος, Αλέξιος
author Καραδήμος, Αλέξιος
author_sort Καραδήμος, Αλέξιος
title Perception, control and path planning of robotic laparoscopic surgical system
title_short Perception, control and path planning of robotic laparoscopic surgical system
title_full Perception, control and path planning of robotic laparoscopic surgical system
title_fullStr Perception, control and path planning of robotic laparoscopic surgical system
title_full_unstemmed Perception, control and path planning of robotic laparoscopic surgical system
title_sort perception, control and path planning of robotic laparoscopic surgical system
publishDate 2022
url http://hdl.handle.net/10889/15791
work_keys_str_mv AT karadēmosalexios perceptioncontrolandpathplanningofroboticlaparoscopicsurgicalsystem
AT karadēmosalexios antilēpsēelenchoskaischediasmosdiadromēsrompotikoulaparoskopikoucheirourgikousystēmatos
_version_ 1771297186036842496
spelling nemertes-10889-157912022-09-05T09:40:59Z Perception, control and path planning of robotic laparoscopic surgical system Αντίληψη, έλεγχος και σχεδιασμός διαδρομής ρομποτικού λαπαροσκοπικού χειρουργικού συστήματος Καραδήμος, Αλέξιος Karadimos, Alexios Minimal invasive surgery Perception Control system Path planning Fulcrum ROS Ελάχιστη επεμβατική χειρουργική Αναγνώριση Σύστημα ελέγχου Σχεδιασμός διαδρομής This thesis studies all the stages involved in the perception, control and manipulation of robotic laparoscopic tools with emphasis given to the pivot trajectories and the RCM constrained motion planning. The forward and inverse kinematics of the 7 DoF KUKA iiwa14 industrial robot arm was studied followed by kinematics of the attached Barrett hand gripper for grasping purposes. Minimal Invasive Surgery (MIS) necessitates the study of Remote Center-of-Motion (RCM) constraint for the pivot motions, the elbow- up constraint to avoid collisions as well as the workspace constraints and singularities. The transformation of the surgical task space into the robot’s taskspace and the joint space is subsequently analyzed along with the robot’s manipulability. Emphasis was given in calculating various geometric paths for the robot to follow inside the surgical task. The equations for circular, circular arc, line segment, helical, cubic spline, b- spline, higher-order polynomial and trapezoid and s-curve velocity profile trajectories are studied in detail in order to generate pivot motions with a wide variety. Simulations were conducted using the ROS framework and libraries like Gazebo, RViz and MoveIt using the RRTConnect path planning algorithm. The simulations were evaluated with measurements of time, position accuracy and RCM distance deviation. This thesis also briefly studies a simple recognition of a laparoscopic tool and the estimation of its position and orientation using computer vision as well as the calculation of three points on the surgical tool where the gripper’s fingers will be placed in order to grasp the object with a satisfactory force closure. Finally this thesis studies some control system schemes like for example the RCM tracking and pivot motion control. Η παρούσα διπλωματική εξετάζει όλα τα στάδια που εμπλέκονται στην αναγνώριση, τον έλεγχο και τον χειρισμό των λαπαροσκοπικών εργαλείων με μια ολιστική προσέγγιση αλλά με μεγαλύτερη έμφαση να δίνεται στις τροχιές περιστροφής γύρω από σημείο και στον προ- γραμματισμό περιορισμένης κίνησης RCM. Το πρώτο βήμα ήταν να μελετηθεί το ευθύ και αντίστροφο κινηματικό πρόβλημα του βιομηχανικού ρομποτικού βραχίονα KUKA iiwa14 (με την τεχνική αποσύνδεσης θέσης- προσανατολισμού για ρομπότ 6 βαθμών ελευθερίας, αφήνοντας τον επιπλέον βαθμό ελευθερίας να καθοριστεί από άλλους περιορισμούς) καθώς και η κινηματική της αρπάγης Barrett ώστε να υπολογιστούν λαβές του χειρουργικού ερ- γαλείου. Δεδομένου ότι η ρομποτική MIS επιβάλλει πολλούς περιορισμούς, το επόμενο βήμα ήταν να μελετηθεί ο περιορισμός RCM για τις κινήσεις περιστροφής (pivot), o περι- ορισμός στον οποίο ο αγκώνας του ρομπότ πρέπει να είναι προς τα πάνω για την αποφυγή συγκρούσεων καθώς και οι περιορισμοί και τα σημεία ενικότητας του χώρου εργασίας. Κατά το σχεδιασμό εφαρμογών ρομπότ είναι σημαντικό να μελετηθεί ο χώρος εργασίας του ρομπότ και για το λόγο αυτό, αυτή στη διπλωματική αυτή μελετάται επιπλέον ο χώρος χειρουργικών εργασιών και πώς αυτός μετατρέπεται στον χώρο εργασιών του ρομπότ και στον χώρο αρθρώσεών του. Μελετήθηκε επίσης ο δείκτης επιδεξιότητας του ρομπότ και η κατάλληλη διάταξη του ρομπότ σε σχεση με το περιβάλλον του έτσι ώστε όλες οι τροχιές να είναι καλά προσβάσιμες και να μπορουν να εκτελεστούν με ευκολία. Δόθηκε μεγάλη έμφαση στον υπολογισμό διαφόρων γεωμετρικών μονοπατιών που έπρεπε να ακολουθήσει το ρομπότ μέσα στο χώρο χειρουργικής εργασίας. Οι εξισώσεις για τροχιές κύκλου, κυκλικού τόξου, ευθύγραμμου τμήματος, έλικα, κυβικού spline, b-spline, πολυωνύμων υψηλότερης τάξης και τροχιές με προφίλ ταχύτητας τραπεζοειδές και καμπύλης-s, μελετώνται λεπτομερώς, προκειμένου να δημιουργηθούν χειρουργικές ρομποτικές κινήσεις με μεγάλη ποικιλία. ́Ολα τα πειράματα υλοποιήθηκαν χρησιμοποιώντας το περιβάλλον ROS και δημοφιλή εργαλεία και βιβλιοθήκες όπως τα Gazebo, RViz και MoveIt χρησιμοποιώντας τον αλγόριθμο σχεδιασ- μού διαδρομής RRTConnect. Τα πειράματα αξιολογήθηκαν με μετρήσεις χρόνου, ακρίβειας θέσης και απόκλισης απόστασης RCM. Στη διπλωματική αυτή μελετάται επίσης εν συν- τομία η απλή αναγνώριση ενός λαπαροσκοπικού εργαλείου και η εκτίμηση της θέσης και του προσανατολισμού του με χρήση υπολογιστικής όρασης καθώς και ο υπολογισμός 3 σημείων πάνω στο χειρουργικό εργαλείο όπου θα τοποθετηθούν τα δάχτυλα της αρπάγης για να πιάσει το αντικείμενο με μία ικανοποιητική λαβή. Τέλος, σε αυτή τη διπλωματική μελετώνται ορισμένα συστήματα ελέγχου όπως για παράδειγμα ενός συστήματος για την παρακολούθηση RCM και τον έλεγχο κίνησης περιστροφής. 2022-02-14T11:56:57Z 2022-02-14T11:56:57Z 2022-02-02 http://hdl.handle.net/10889/15791 en application/pdf