Object Recognition and Tracking

Bachelor Thesis Roman Gribi and Christian Güdel 2016, see project page

Within the ‘Live Paper’ setup everyday objects serve as input devices. The system has to be enabled to recognize and to track them.
Ziel dieser Arbeit ist es, einen Ansatz ohne vorgängige Präparation der Objekte zu untersuchen und zu implementieren. Dazu soll das System in der Lage sein, Objekte nach einer kurzen Anlernphase zuverlässig zu erkennen und die notwendigen Attribute wie Position, Drehung, etc. liefern zu können. Damit die Elemente in einem Gespräch verwendet werden können, muss das System in Echtzeit arbeiten.

Unter Einbezug von Farbbild sowie Tiefeninformationen werden mit unterschiedlichen Algorithmen mögliche Objektpositionen berechnet. Dazu werden klassische Bildverarbeitungsalgorithmen wie Morphologie, Thresholding und Konturenerkennung eingesetzt. Ebenso wurde der Einsatz von 3D Point Clouds untersucht.

Mit Hilfe eines Showcases wird gezeigt, dass die eingesetzten Technologien in interaktiven Anwendungen eingesetzt werden können. Dabei wird das klassische Brettspiel “Mühle” auf einem Tisch gespielt, über welchem die Kamera aufgebaut ist. Mit Hilfe der in dieser Arbeit erarbeiteten Algorithmen werden die einzelnen Spielsteine verfolgt und innerhalb einer Anwendung angezeigt. Die Anwendung selber implementiert die einzelnen Regeln des Spieles und benachrichtigt die Spieler über unerlaubte Spielzüge sowie Endstände. Dieses Beispiel zeigt eine mögliche interaktive Ergänzung einer Anwendung mit realen Objekten.

The aim of this work is to find approaches that allow object recognition and tracking without prior preparation of the object, and to implement this approach. In a first step, the system should be able to recognize objects after a brief training period  and provide the necessary attributes such as position, rotation, etc.. Thus, the objects can be used in a conversation, the system must operate in real time.

Color images and depth information enable different algorithms to calculate object positions.  Therefore classic image processing algorithms such as morphology, thresholding and contour detection are used. Likewise, the use of 3D Point Clouds was investigated.

With a selected showcase is has been shown that the technologies can be used in interactive applications. Within this showcase, the classic board game “mill” is played on a table, on which the camera is constructed. With the help of the developed algorithms in this work, the individual pieces are tracked and displayed within an application. The application itself implements the individual rules of the game and will notify the players on illicit moves and end figures. This example shows a possible interactive addition to an application with real objects.