AbstractsCommunication

This thesis presents an in-depth examination of musical mapping in two dimensions. Music has existed in two dimensions, in various forms of notation, for hundreds of years. Somewhat more recently, as the touchscreen has reached consumer levels of affordability, music has become controllable via interactive two-dimensional surfaces. This work examines how musical parameters are mapped to and controlled by these surfaces, including interactive touchscreens and static scores. Three reviews of mapping choices in two dimensions are presented. The first provides a detailed review of mappings used in music applications that run on Apple's iOS operating system, focusing on the most popular applications. The second again reviews iOS music applications, but casts a much wider net, reviewing all music applications at a much higher level. The third review examines notation practices with a focus on the graphic scores of the 20th century. Each of these reviews enumerates the mappings used, summarizes major mapping trends, and discusses unique mappings choices. From the data obtained by these reviews, several abstracted control layouts are defined, in terms of the location of controls, the type of controls, and the mapping that follows from the layout. These abstractions are based on common, recurring control layouts that appear in many musical applications and in many notation techniques. Finally, this thesis discusses the engineering process of building a machine learning model to recognize these layouts so as to be able to classify an arbitrary layout of buttons accordingly. An open, web-based API to access this algorithm is also created, as is a sample application, Pattern Recognition, that uses this API to classify and map layouts created by end users. La musique a été retranscrite de façons diverses sur des media à deux dimensions depuis des siècles. Avec la popularisation récente des écrans tactiles il est dorénavant possible d'utiliser des surfaces bi-dimensionnelles pour le contrôle interactif de la musique. Ce travail de thèse livre une analyse en profondeur des stratégie de contrôle (ou mapping) mises en oeuvre pour agir sur la musique grâce à des dispositifs à écrans tactiles. Ce travail débute par trois revues bibliographiques détaillées, chacune se concentrant sur les stratégies de mapping musical en deux dimensions. Chaque revue livre une synthèse des tendances les plus répandues ainsi qu'une analyse des stratégies plus insolites. Tout d'abord, les applications musicales les plus populaires conçues pour l'iOS d'Apple sont examinées. Ensuite, l'étude est élargie aux autres applications musicales pour iOS, en utilisant une approche plus haut niveau. Enfin, les méthodes de notation graphiques du XXe siècles sont considérées. Grâce à ces revues, cette thèse élabore plusieurs archétypes d'interfaces bi-dimensionnelles. Ces modèles généraux prennent en compte l'arrangement des éléments de l'interface dans le plan, les types de contrôles offerts, et les mises en correspondances résultant de la structure de l'interface.…