Autoren:  (1) Juan F. Montesinos, Fakultät für Informations- und Kommunikationstechnologien, Universitat Pompeu Fabra, Barcelona, Spanien {juanfelipe.montesinos@upf.edu};  (2) Olga Slizovskaia, Fakultät für Informations- und Kommunikationstechnologien, Universitat Pompeu Fabra, Barcelona, Spanien {olga.slizovskaia@upf.edu};  (3) Gloria Haro, Fakultät für Informations- und Kommunikationstechnologien, Universitat Pompeu Fabra, Barcelona, Spanien {gloria.haro@upf.edu}.  Linktabelle   Zusammenfassung und Einleitung   Verwandte Arbeiten   Datensatz   Experimente   Schlussfolgerungen und Referenzen  III. DATENSATZ  Solos[1] wurde so konzipiert, dass es dieselben Kategorien wie der URMP-Datensatz [1] enthält, sodass URMP als Testdatensatz in einem realen Szenario verwendet werden kann. Auf diese Weise wollen wir eine Standardmethode zur Bewertung der Leistungsfähigkeit von Quellentrennungsalgorithmen etablieren und dabei den Einsatz von Mix-and-Separate bei Tests vermeiden. Solos besteht aus 755 Aufnahmen, die auf 13 Kategorien verteilt sind, wie in Abbildung 1 dargestellt, mit einer durchschnittlichen Anzahl von 58 Aufnahmen pro Kategorie und einer durchschnittlichen Dauer von 5:16 Minuten. Interessant ist, dass bei 8 von 13 Kategorien der Median der Auflösung HD ist, obwohl es sich um einen von YouTube gesammelten Datensatz handelt. Statistiken nach Kategorien finden Sie in Tabelle I. Diese Aufnahmen wurden gesammelt, indem YouTube mit den Tags „Solo“ und „Auditions“ in mehreren Sprachen wie Englisch, Spanisch, Französisch, Italienisch, Chinesisch oder Russisch abgefragt wurde.   A. OpenPose-Skelette  Solos ist nicht nur eine Sammlung von Aufnahmen. Neben den Videokennungen bieten wir auch: i) Körper- und Handskelette, die von OpenPose [33] in jedem Frame jeder Aufnahme geschätzt werden, und ii) Zeitstempel, die nützliche Teile anzeigen. OpenPose ist ein System, das Körper- und Handskelette vorhersagen kann.   Dabei kommen zwei verschiedene neuronale Netzwerke zum Einsatz. Dazu erstellen sie eine Konfidenzkarte der Annahme, dass sich ein bestimmter Körperteil an einem beliebigen Pixel befinden könnte, sowie Teilaffinitätsfelder, die den Grad der Assoziation zwischen verschiedenen Körperteilen kodieren. Schließlich werden 2D-Skelette und die Konfidenz pro Gelenk durch gierige Inferenz vorhergesagt. In der Praxis wird das Körperskelett mit einem ersten Netzwerk geschätzt. Dann wird die Position der Handgelenke im Körperskelett verwendet, um die Position beider Hände zu schätzen. Ein zweites neuronales Netzwerk ermittelt das Skelett jeder Hand unabhängig. Beachten Sie, dass OpenPose, da jeder Körperteil unabhängig geschätzt wird, keine Annahmen über die zu findenden Gliedmaßen trifft. Es berechnet lediglich das wahrscheinlichste Skelett anhand von Konfidenzkarten und Teilaffinitätsfeldern. Der gesamte Prozess wird Frame-weise ausgeführt. Dies führt zu einem leichten Flackern und Fehlvorhersagen zwischen den Frames.     B. Zeitstempelschätzung und Skelettverfeinerung  OpenPose ordnet falsch vorhergesagte Gelenke dem Ursprung der Koordinaten zu. Wir haben empirisch festgestellt, dass ein so großer Sprung in der Position eines Gelenks Rauschen verursacht. Die Verwendung interpolierter Koordinaten hilft, dieses Problem zu lösen.  Dieses Dokument ist   . auf arxiv unter der Lizenz CC BY-NC-SA 4.0 DEED verfügbar  [1] Datensatz verfügbar unter https://juanfmontesinos.github.io/Solos/

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Boost your HackerNoon story @ $159.99! 🚀

Solos: Ein Datensatz für die audiovisuelle Musikanalyse - Datensatz

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps