MKNM "Synergia"

Stan: W ciągłym doskonaleniu

The Mirror

The Mirror

Projekt został zrealizowany w ramach rekrutacji do MKNMiR „Synergia” 2018/2019. 

The Mirror jest robotem, który wykorzystuje przetwarzanie obrazu w celu przetworzenia mimiki twarzy człowieka na odpowiadający jej ruch serwomechanizmów zamocowanych na modelu. W ramach algorytmu przetwarzania obrazu zostały wykorzystane biblioteki „opencv” i „dlib”. Obraz pobierany jest z kamerki internetowej, następnie na obrazie zostaje wykryta twarz. Kolejnym krokiem jest nałożenie na wykrytą twarz 68 charakterystycznych punktów (szukaj: „Face landmarks”). Ostatni moduł algorytmu skupia się na wykorzystaniu zależności trygonometrycznych i proporcji w celu ustalenia poziomu uśmiechu i tego czy w danym momencie osoba ma otwarte lub zamknięte oczy. Następnie wyniki są mapowane i zostają wysłane poprzez Serial (Virtual COM) na mikrokontroler STM32F103C8T6 (tzw. „Blue pill”). Tam wartości są ponownie mapowane aby móc wykorzystać sygnał PWM do kontroli serwomechanizmów.

Fazy projektowe i napotkane problemy:
Faza pierwsza zakładała wykorzystanie mikrokomputera Raspberry Pi oraz zamontowanie zewnętrznej kamery na korpus robota. Kamera podłączona do RPi, gdzie miałby wykonywać się cały algorytm (wraz z przetwarzaniem obrazu). Podczas testów okazało się, że  zastosowany algorytm przetwarzania obrazu jest zbyt wymagający i uzyskane efekty były niezadowalające.
Faza druga zakładała wykorzystanie zakupionego mikrokomputera jako streamera obrazu na PC gdzie miał odbywać się algorytm przetwarzania obrazu a następnie na drodze sprzężenia zwrotnego RPi miałoby sterować serwami. Niestety ten pomysł również okazał się być nie dobry ze względu na opóźnienia w przesyle danych.
Faza trzecia – finalna (opisana wyżej)

Model został zaprojektowany w programie Autodesk Inventor Professional 2019. Koła („twarz”), na których trzymają się pozostałe elementy zostały wycięte z pleksi 3mm. Elementy nieregularne zostały wydrukowane przy pomocy drukarki 3D (filament: PET-G).

Robot spotkał się z aprobatą ze strony organizatorów rekrutacji, dlatego zakończyła się ona sukcesem !

Pobierz