Laboreinrichtung: MTDML | Music Technology and Digital Musicology Lab

Das Bild zeigt einen Serverraum. Im Vordergrund ist ein Wagen mit einem Bildschirm, Tastatur und Maus zu sehen. Auf der rechten Seite sind mehrere Serverschränke zu sehen, die hinter perforierten Türen angeordnet sind.

Computer Audition Lab

Computer Audition nutzt Methoden der künstlichen Intelligenz und des maschinellen Lernens, um semantische Informationen aus Audiodaten zu extrahieren. Dazu zählen beispielsweise die automatische Bestimmung von Musikgenres sowie die Erkennung von Emotionen.

Ein weiteres zentrales Forschungsfeld ist die Computational Creativity. Dieses multidisziplinäre Gebiet befasst sich mit der Frage, wie Kreativität mithilfe von Computern modelliert, simuliert, nachgeahmt und besser verstanden werden kann. In unserem Labor liegt der Schwerpunkt dabei insbesondere auf der computergestützten Erzeugung von Musik.

Für diese in der Regel sehr rechen- und GPU-intensiven Verfahren stehen in unserem Labor sechs Prototyping-Systeme mit GPUs der Modelle NVIDIA RTX PRO 6000, NVIDIA RTX 3090 und NVIDIA RTX 3080 zur Verfügung. Darüber hinaus haben wir direkten Zugriff auf den 2021 neu eingerichteten High-Performance-Computing-Cluster der Universität Osnabrück. Dieser umfasst acht NVIDIA A100 Tensor-Core-GPUs mit jeweils 80 GB Speicher, acht NVIDIA H100 GPUs sowie 51 CPU-Rechenknoten mit jeweils 128 Prozessorkernen.

Das Bild zeigt eine Nahaufnahme eines Audiomischpults in Schwarz-Weiß. Zu sehen sind zahlreiche Regler und Schieberegler, die in mehreren Reihen angeordnet sind. Die Drehknöpfe und Tasten sind gleichmäßig auf der Oberfläche des Mischpults verteilt, und die Schieberegler befinden sich auf einer separaten Ebene.

Aufnahmestudio

Das Aufnahmestudio besteht aus einem separaten Regie- und Aufnahmeraum. Neben der Standard-Infrastruktur eines Tonstudios steht eine breite Palette an elektronischen (z.B. EMS VCS 3, Synthi E und Synthi 200, eine Variante des Synthi 100), akustischen (Flügel, Schlagzeug etc.) und hybriden (z.B. Disklavier) Instrumenten zur Verfügung.

Außerdem gibt es ein mobiles Aufnahmestudio, mit dem regelmäßig die Konzerte der zahlreichen Ensembles, Chöre und Bands oder des Sinfonieorchesters des Instituts aufgenommen werden.

Das Bild zeigt eine Frau, die ein Virtual-Reality-Headset und eine EEG-Haube mit Elektroden trägt. Die Elektroden sind über Kabel mit anderen Geräten verbunden, vermutlich zur Erfassung von Gehirnaktivität. Im Hintergrund steht eine andere Person in einem weißen Laborkittel, die auf einem Klemmbrett Notizen macht.

Wahrnehmungslabor

Das Wahrnehmungslabor verfügt über ein neues Eye-Tracking-System von Pupil Labs sowie über verschiedene physiologische Messsysteme von MindMedia und Empatica. Damit lassen sich unter anderem EEG, Muskelaktivität (sEMG), Herzfrequenz, relativer Blutfluss, Hautleitfähigkeit, Atmung und Körpertemperatur erfassen. Ergänzt wird die Ausstattung durch ein kabelloses EEG-System von Brain Products mit bis zu 64 Kanälen (LiveAmp 64). Für die Durchführung der Messungen steht ein akustisch optimierter Raum einschließlich einer mobilen reflexionsarmen Kammer zur Verfügung.

Visuelle Stimuli können über einen mobilen, drucksensitiven interaktiven 86-Zoll-Bildschirm sowie über verschiedene VR-Headsets präsentiert werden. Zur aktuellen Ausstattung gehören zwei Apple Vision Pro, vier Oculus Quest Pro, zehn Oculus Quest 2, vierzehn Oculus Quest 3, zwei HTC Vive Pro Eye, eine HTC Vive Focus 3 und eine PICO 4.

Für die Präsentation auditiver Stimuli stehen verschiedene Knochenleitungskopfhörer von Shokz, Kopfhörer von Sennheiser, Beyerdynamic und AKG, elektrostatische Kopfhörer von STAX sowie ein digital steuerbares Mehrkanalsystem der Genelec-SAM-Serie zur Verfügung.

Das Bild zeigt eine orangefarbene, dreidimensionale Skulptur eines menschlichen Kopfes, die sich in einem 3D-Drucker befindet. Die Skulptur ist zentriert, und der Druckkopf des 3D-Druckers ist oberhalb des Modells positioniert. Der Innenraum des Druckers ist in einem metallischen Grau gehalten, und mehrere mechanische Bauteile und Führungen sind um die Skulptur herum sichtbar.

Workspace

Neben Arbeitsplätzen für 22 Personen mit Windows-, Linux- und MacOS-Notebooks/Arbeitsplätzen verfügt der MTDML-Arbeitsbereich auch über 3D-Drucker (Ultimaker 3 Extended, Original Prusa MK4) und einen Elektronik-Arbeitsplatz (Mikrocontroller, Sensoren etc.). Der MTDML-Arbeitsraum wird sowohl für Seminare und Praktika als auch für individuelle Projektarbeit genutzt. Der Raum ist außerdem mit einem Videomischpult und mehreren Kameras von Blackmagic für hybride Seminare, Videokonferenzen und Live-Streaming-Events ausgestattet.

Für zusätzlichen Bedarf (z.B. VR-Laufbänder, AR-Hardware wie Microsoft HoloLens 2, Magic Leap One oder Werkzeuge wie Lasercutter, CNC-Fräse, Schneideplotter oder Textilverarbeitung) kann das UOS DIGILAB genutzt werden.

Das Bild zeigt ein dodekaederförmiges Lautsprechersystem, das aus mehreren Lautsprechereinheiten besteht, die auf jeder Fläche des Dodekaeders angebracht sind. Die Lautsprecher sind gleichmäßig verteilt und nach außen gerichtet, sodass Schall in verschiedene Richtungen ausgestrahlt werden kann. Das Lautsprechersystem ist an einem Ständer befestigt.

XR Lab

Das XR-Lab widmet sich insbesondere der Forschung im Bereich **Acoustical Extended Reality (AXR)**. Im Mittelpunkt steht der Einsatz von Virtual-, Augmented- und Mixed-Reality-Technologien zur Untersuchung akustischer und vor allem musikbezogener Fragestellungen.

Zur Ausstattung gehören ein Motion-Capture-System von OptiTrack mit 13 Kameras und synchronisiertem Eye-Tracking sowie verschiedene VR- und AR-Systeme. Dazu zählen derzeit zwei Apple Vision Pro, vierzehn Meta Quest 3, eine Meta Quest 3S, vier Meta Quest Pro, zehn Meta Quest 2, zwei HTC Vive Pro Eye, eine HTC Vive Focus 3, eine PICO 4 und eine Ray-Ban Wayfarer.

Darüber hinaus verfügt das Labor über ein DSP-gesteuertes Mehrkanal-Lautsprechersystem, einen Dodekaeder mit individuell ansteuerbaren Lautsprechern sowie mehrere 3D-Scanner der Modelle Revopoint POP und Revopoint POP 2.

In Kürze wird die Ausstattung zudem um ein Gaussian-Splatting-Rig mit 21 Kameras erweitert.