Im Kurs Invention Design II haben wir eine Gitarren-Lern-App entwickelt, die Augmented Reality nutzt, um den Lernprozess so einfach wie möglich zu gestalten. In der App wird die Hand des Nutzers auf dem Griffbrett der Gitarre aufgezeichnet und auf dem Bildschirm angezeigt. Auf dem gespiegelten Bild werden die zu erlernenden Akkorde direkt auf das Griffbrett gezeichnet, so dass der Nutzer in Echtzeit ein visuelles Feedback erhält, wie er einen Akkord greifen muss um schnelle Erfolge erzielen zu können ohne davor Noten lernen zu müssen.
In einem Design Sprint suchten wir eine Technologie und gleichzeitig ein bestehendes Problem, um dasselbe mit der Technologie zu lösen. Wir haben uns für die Technologie "Augmented Reality" (AR) entschieden. Im Design Sprint kamen wir auf die Idee, dass wir mit Augmented Reality das Gitarrenlernen ohne Noten ermöglichen könnten. Wir entwarfen einen ersten Prototyp, um eine Mixed-Reality-Brille zu simulieren. Damit wollten wir testen, ob eine Mixed-Reality-App das Erlernen des Gitarrenspiels bereichern würde. Zu diesem Zweck wurde ein Klick-Prototyp auf einem iPad erstellt. Dieser wurde in die Luft gehalten, um zu testen, wohin der Nutzer schaut. Dadurch haben wir gelernt, dass eine Mixed-Reality-App gut funktioniert und das Gitarrenspiel ohne Noten ermöglicht.
Um mehr über die Lernerfahrungen mit Instrumenten und speziell mit der Gitarre zu erfahren, haben wir zahlreiche Interviews geführt und etablierte Lösungen wie Musikbücher und Lern-Apps für Instrumente untersucht. Außerdem haben wir die Nutzung bestehender Lern-Apps und eine klassische Unterrichtsstunde mit einem Gitarrenlehrer beobachtet. Dabei war es uns wichtig, ein realistisches Bild der aktuellen Situation und Möglichkeiten zu erhalten. Die Aussagen eines Gitarrenlehrers mit 30 Jahren Erfahrung waren ebenso relevant wie die Einschätzung eines Anfängers. Im Ergebnis konnten wir folgende Vorteile einer AR-App im Lernkontext "Gitarre" identifizieren: Akkorde sind auf der Gitarre sichtbar, direktes Feedback, Aufrechte Haltung beim Üben, da man sich nicht über die Gitarre beugen muss, App erkennt wie gut man spielt und passt sich mit Geschwindigkeit und Schwierigkeitsgrad dem Können an, Navigieren der App über Sprache, direkte visuelle Rückmeldung.
Da der Blick auf die Gitarrensaiten mit einer Brille nur mit einer schlechten Körperhaltung möglich ist, haben wir uns für eine Augmented Reality App entschieden. Diese sollte für das iPad oder einen PC mit Webcam erhältlich sein. Um zu testen, ob das Spielen über eine gespiegelte Ansicht mit der Markierung von Akkorden Anfängern den Einstieg erleichtert, wurde ein weiterer Prototyp erstellt. Der Prototyp der AR-App bestand aus farbigen Papierschnipseln, die Akkorde markierten, und der eingeschalteten Innenkamera des iPads. Die Nutzer waren schnell in der Lage, die ersten Akkorde richtig zu erfassen und Akkordwechsel zu üben.
Die Idee wurde in einem weiteren Prototyp weiter ausgearbeitet. Hierfür wurde ein Interface entworfen und in der Prototyping-App Protopie über dem Bild der inneren Kamera angezeigt. Die erfolgreiche Erkennung von richtig gespielten Akkorden wurde mit der Wizard of Oz-Methode umgesetzt. So wurden die Animationen über eine Tastatur ferngesteuert ausgelöst. Zum Testen musste die Gitarre so fixiert werden, dass alle Animationen an der richtigen Position über der Gitarre angezeigt wurden.
Der Design Sprint hat uns geholfen, uns nicht in der Recherche zu verlieren und schnell eine konkrete Idee für ein Problem zu finden. Der an einem Tag erstellte Prototyp war definitiv ausreichend, um das im Sprint entwickelte Konzept zu testen. Das Testen war sehr ehrlich, da wir nur fünf Tage in das Konzept investiert hatten und es eindeutig die Möglichkeit gab, alles zu verwerfen und neu zu beginnen. Neben dem Design-Sprint haben wir viel über das Prototyping von Augmented-Reality-Anwendungen gelernt. Mit der Erkenntnis, dass es wichtig ist, sich im Vorfeld Gedanken darüber zu machen, welche Erkenntnisse mit dem Prototyp gewonnen werden sollen. Darauf aufbauend sollte dann der einfachste Prototyp entworfen werden, der die These unterstützen oder widerlegen kann. Dabei haben wir festgestellt, dass manchmal ein einfacher Prototyp mit Klebeband und einer Selfie-Kamera ausreicht, um eine Augmented-Reality-Idee zu testen.