07 - Finding music versions on YouTube 

Caption

Finding music versions on YouTube: query formulation and result classification
Simon Hachmeier

IBI|HU Berlin


Das Forschungsfeld Cover Song Identification (CSI) befasst sich mit der automatisierten Zuordnung von Audioaufnahmen basierend auf musikalischer Ähnlichkeit. Zuletzt wurden viele neue CSI Modelle vorgestellt, die bspw. den Metrik-Lern Paradigmen aufbauen und dabei traditionellere Ansätze übertreffen. Die Datensätze zum Training und zur Evaluierung dieser Modelle entstanden hierbei hauptsächlich durch die Auswahl von Songs auf der Online Platform Secondhandsongs. Die dort gesammelten Songs sind gruppiert nach Werken und basieren auf einem manuellen Such- und Validierungsprozess.

Als Alternative zur Beschaffung von Songs kann YouTube angesehen werden. Die hochgeladenen Inhalte werden hier von Künstlern bereitgestellt, aber auch von Musik-Fans. Daher ist eine hohe Varianz in verschiedensten Dimensionen der Inhalte zu erwarten, wie beispielsweise der Professionalität der Aufnahme und der Video-/Audio-Qualität. Da YouTube nicht nur auf musikalische Inhalte beschränkt ist, können auch Unterbrechungen in den Inhalten vorhanden sein.

In diesem Vortrag präsentieren wir ein Crowdsourcing Experiment zur Erstellung eines Musik-Datensatzes in Form von YouTube Videos. Wir verwenden aktuelle Modelle zweier Modalitäten (Metadaten und Audio/CSI) zur Gruppierung in sichere und unsichere Fälle. Darauf aufbauend, wählen wir letztere aus und beziehen Annotationen von Workern auf der Crowdsourcing Platform MTurk. In unserer Analyse evaluieren wir die Qualität des Crowdsourcings für den Anwendungsfall und zeigen Beispiele für Typen von YouTube Inhalten auf, die für aktuelle Modelle schwierig sind. Das resultierende Datenset soll bereitgestellt werden für die Nutzung zur anwendungsorientierten Evaluierung von CSI Modellen.