AbstractsComputer Science

A cyber-physical system with a mixed reality interface

by J (Johan) Juntunen




Institution: University of Oulu
Department:
Year: 2016
Keywords: Electrical Engineering
Posted: 02/05/2017
Record ID: 2068085
Full text PDF: http://urn.fi/URN:NBN:fi:oulu-201606092492


Abstract

This thesis presents a cyber physical system that mirrors and augments real world devices and their functionality in a virtual representation of the real world. The energy characteristics of real world devices are measured and presented in the virtual reality interface in real-time. The virtual reality interface augments the functionality of the real world system with virtual inputs and outputs. The system is designed and implemented using a multi-agent software model. The challenge of keeping real and virtual worlds synchronous and consistent is solved by introducing a synchronisation block. The synchronisation and consistency of the real and virtual worlds were evaluated from a technical perspective. Synchronisation was evaluated with timing measurements. They revealed that the system operated most of the time without breaking timing conditions. Still, there were at times larger delays which showed that the system was not synchronous all the time. Consistency was verified with empirical measurements of visually observable states. The responses of the system to the user actions were mainly consistent, although a malfunction leading to inconsistency between the states of virtual and real devices was found. The results demonstrate that the real world devices and their corresponding virtual representations are controlled synchronously and their visually observable states remain consistent. The thesis shows that it is feasible to augment a cyber-physical system with virtual objects, for example virtual sensors, which operate and interact synchronously with the real world system. The thesis concludes with a discussion on findings and future work. Työssä esitetään kyberfysikaalinen järjestelmä, joka peilaa ja täydentää reaalimaailman laitteet ja niiden toiminnallisuuden reaalimaailman virtuaalisessa esityksessä. Reaalimaailman laitteiden energiatasoja mitataan ja ne esitetään virtuaalitodellisuuden rajapinnassa reaaliaikaisesti. Virtuaaliset sisään- ja ulostulot virtuaalitodellisuuden rajapinnassa täydentävät reaalimaailman järjestelmän toiminnallisuutta. Järjestelmä suunnitellaan ja toteutetaan moniagentti- ohjelmistomallia käyttäen. Reaali- ja virtuaalimaailmojen synkronisuuden ja yhdenmukaisuuden takaamisen tuoma haaste ratkaistaan työssä esitettävän synkronointilohkon avulla. Reaali- ja virtuaalimaailman synkronisuuden ja yhdenmukaisuuden arviointi tehtiin teknisestä näkökulmasta. Synkronointi arvioitiin ajoitusmittausten perusteella. Mittausten mukaan järjestelmä toimi pääsääntöisesti ajoitusvaatimusten puitteissa. Ajoittaisia ajoitusvaatimuksia rikkovia viiveitä kuitenkin esiintyi. Järjestelmän yhdenmukaisuus arvioitiin empiirisesti havainnoimalla järjestelmän silminhavaittavia tiloja. Järjestelmän vaste käyttäjän toimiin oli yhdenmukaista lukuunottamatta toimintahäiriötä, joka tietyissä olosuhteissa johti todellisuuden ja virtuaalimaailman esityksen epäyhdenmukaisuuteen. Tulokset osoittavat, että reaalimaailman laitteiden ja niitä vastaavien virtuaalisten esitysten ohjaus on synkronissa ja silminhavaittavat…