Machine Learning pour les oiseaux: Construisez votre propre classificateur de vocalisation des oiseaux

Introduction Les scientifiques utilisent des systèmes automatisés pour étudier de grands écosystèmes. sont utilisés pour enregistrer l'audio qui peut être utilisé pour aider à identifier différentes espèces d'animaux et d'insectes. Ces informations peuvent être utilisées pour développer une meilleure compréhension de la distribution des espèces au sein d'un environnement donné. "Les écologistes utilisent les oiseaux pour comprendre les systèmes alimentaires et la santé des forêts - par exemple, s'il y a plus de forestiers dans une forêt, cela signifie qu'il y a beaucoup de bois mort."En outre, ils notent la valeur de l'identification audio-basée: "[Puisque] les oiseaux communiquent et marquent le territoire avec des chansons et des appels, il est le plus efficace de les identifier par l'oreille. autonomous recording units (ARUs) Séparer la chanson des oiseaux dans le sauvage pour la classification Séparer la chanson des oiseaux dans le sauvage pour la classification Récemment, le La compétition lancée Sous le parapluie de la ImageCLEF soutient l'enquête sur l'annotation et la récupération d'images dans une variété de domaines.L'objectif de la compétition est direct: concevoir un modèle de classification qui peut prédire avec précision les espèces d'oiseaux à partir d'un enregistrement audio. Le BirdCLEF+ 2025 Kaggle Imagerie Le BirdCLEF+ 2025 Imagerie Au début, la tâche semble triviale étant donné la disponibilité du également connu comme Le classificateur GBV est formé sur près de 11 000 espèces d’oiseaux et constitue donc un choix évident en tant que modèle de classification. Google Bird Vocalization (GBV) Classifiateur Perch Google Bird Vocalization (GBV) Classifiateur Cependant, la compétition inclut les espèces d'oiseaux qui se trouvent en dehors de l'ensemble de formation du classificateur GBV. En conséquence, le classificateur GBV n'atteint que ~60% de précision sur le groupe de données de test de la compétition BirdCLEF+ 2025. Ce guide détaille une approche pour construire votre propre classificateur de vocalisation des oiseaux qui peut être utilisé en combinaison avec le classificateur GBV pour classer une sélection plus large d'espèces d'oiseaux. La conception utilise le dataset de compétition BirdCLEF+ 2025 pour la formation. Article de Données de formation Le , y compris les fichiers de support, est d'environ 12 Go. Les principaux répertoires et fichiers qui composent la structure des ensembles de données sont: Les données de formation BirdCLEF+ 2025 birdclef_2025 |__ train_audio |__ train_soundscapes |__ test_soundscapes recording_location.txt taxonomy.csv train.csv train_audio Le Le répertoire est le plus grand composant de l'ensemble de données, contenant 28 564 enregistrements audio de formation. Les enregistrements audio sont regroupés en sous-répertoires qui représentent chacune une espèce particulière d'oiseau, par exemple : train_audio .ogg train_audio |__amakin1 |__ [AUDIO FILES] |__amekes |__ [AUDIO FILES] ... Le Le fichier peut être utilisé pour rechercher les noms scientifiques et communs réels des espèces d'oiseaux représentés par les noms de sous-répertoire, par exemple : taxonomy.csv SUB-DIRECTORY NAME SCIENTIFIC NAME COMMON NAME amakin1 Chloroceryle amazona Amazon Kingfisher amekes Falco sparverius American Kestrel ... L'ensemble de données de la compétition comprend 206 espèces d'oiseaux uniques, c'est-à-dire 206 classes. 64 de ces classes sont couvert par le Ces Les classes sont généralement étiquetées à l'aide d'un identifiant numérique de classe : Introduction pas GBV Classifier Non-GBV 1139490, 1192948, 1194042, 126247, 1346504, 134933, 135045, 1462711, 1462737, 1564122, 21038, 21116, 21211, 22333, 22973, 22976, 24272, 24292, 24322, 41663, 41778, 41970, 42007, 42087, 42113, 46010, 47067, 476537, 476538, 48124, 50186, 517119, 523060, 528041, 52884, 548639, 555086, 555142, 566513, 64862, 65336, 65344, 65349, 65373, 65419, 65448, 65547, 65962, 66016, 66531, 66578, 66893, 67082, 67252, 714022, 715170, 787625, 81930, 868458, 963335, grasal4, verfly, y00678 Certains des Les classes sont caractérisées par : Non-GBV Limited training data. Class , for example, only contains 2 audio recordings. By contrast, class , which is a “known” class, contains 89 recordings. 1139490 amakin1 GBV Poor recording quality. Highlighting class again, both training recordings are of poor quality with one being particularly difficult to discern. 1139490 Ces deux conditions conduisent à un déséquilibre significatif entre les classes en termes de quantité de qualité audio et audio disponibles. La plupart des enregistrements audio de formation à travers les deux and Les classes comprennent également le langage humain, avec l'orateur annotant l'enregistrement avec des détails tels que l'espèce d'oiseau qui a été enregistré et l'emplacement de l'enregistrement. - les cas, les annotations suivent les vocalisations des oiseaux enregistrées. GBV Non-GBV Mais pas tous Les tactiques utilisées pour faire face au déséquilibre de classe et à la présence d’annotations de la parole humaine sont discutées dans le La section . Building the Classifier train_soundscapes Le La bibliothèque compte près de 10 000 audio recordings of birdsong. As will be discussed in the section, ces enregistrements audio peuvent être incorporés dans les données de formation via . train_soundscapes unlabeled Building the Classifier pseudo-labeling test_soundscapes Le Le tableau est vide, sauf pour un Ce répertoire est rempli d'un ensemble caché d'audio de test lors de la soumission des résultats de prédiction au concours BirdCLEF+ 2025. test_soundscapes readme.txt Construire le classificateur Approche de base et contexte L’approche de base utilisée par pour former leur classificateur de vocalisation des oiseaux est le suivant: Recherche Google Diviser l'audio enregistré en 5 segments de seconde. Convertir les segments audio en spectrogrammes mel. Formez un classificateur d'image sur les spectrogrammes de mel. La même approche sera suivie dans ce guide.Le classificateur d'image qui sera formé est celui de Google Si vous êtes familier avec le famille de modèles, vous savez qu'ils ont été conçus pour un traitement d'image efficace. Efficacité B0 EfficientNet Efficacité B0 Cependant, avant que les échantillons audio puissent être divisés et convertis en spectrogrammes de mollusques, nous devons faire face aux problèmes de déséquilibre de classe et d'annotation humaine mentionnés dans le document. section. Broadly, these problems will be addressed respectively via data augmentation and slicing the audio samples. Training Data Avant de plonger dans la conception réelle, les sous-sections suivantes fournissent quelques informations de fond brèves. Modèles efficaces Google a dévoilé sa famille de modèles en 2019 comme un ensemble de Des modèles qui dépassaient les modèles de pointe, à l’époque, en termes de taille et de performance. EfficientNet convolutional neural network Les modèles, lancés en 2021, offrent une performance et une efficacité paramétriques encore meilleures. Efficacité2 Bien que formé à Les modèles EfficientNet ont démontré leur utilité lorsqu’ils sont transférés à d’autres ensembles de données, ce qui en fait un choix attrayant en tant que technologie de classification pour ce projet. Imaginaire Spectrogrammes de Mel Un spectrogramme de mel est une représentation visuelle d'un signal audio. Il pourrait être le mieux analogisé à une carte thermique pour le son. L'axe x d'un spectrogramme de mel représente la dimension temporelle du signal audio, et l'axe y représente les fréquences des sons dans le signal. Cependant, au lieu d'afficher toutes les fréquences le long d'une échelle continue, les fréquences sont regroupées en Ces bandes sont, à leur tour, espacées en utilisant le L’échelle du miel est une C'est une échelle qui rapproche le système auditif humain et la façon dont les humains perçoivent le son.Les couleurs du spectrogramme de la farine représentent l'amplitude des sons dans les bandes.Les couleurs plus brillantes représentent des amplitudes plus élevées tandis que les couleurs plus sombres représentent des amplitudes plus basses. mel bands mel scale logarithmic Le design Mon objectif dans la discussion de la conception est de fournir un examen de haut niveau de l'approche sans entrer dans trop de détails. (« note d’entraînement ») qui se compose de 4 sections principales : Télécharger Notebook : Audio data loading. Section 1 Section 2 : Traitement des données audio. Section 3: Génération et préparation des spectrogrammes Mel. Chapitre 4 : Formation des modèles. Vous remarquerez que les 2 premières cellules de chaque section principale sont (1) les importations utilisées par cette section et (2) une cellule définissant les constantes utilisées dans cette section et dans les sections ultérieures. Config L’écriture commence en fait par où les paquets Python de base utilisés dans l'ensemble du bloc-notes sont importés. Cette section comprend également la logique pour vous connecter à ("WandB") pour suivre les cours d'entraînement. Vous devrez joindre votre propre WandB Dans le cahier comme a Utiliser le nom . Section 0 Weights & Biases API key Kaggle Secret WANDB_API_KEY Comme nous l’avons discuté dans la section, les sonorités de formation non étiquetées peuvent être incorporées dans les données de formation via la pseudo-étiquetage. Gardez à l'esprit que les environnements Kaggle non GPU sont limités à 30 GiB de mémoire. Training Data Section 3.5 - Pseudo-Labeling Un modèle formé suivant la configuration expérimentale décrite dans les sous-sections suivantes a été posté sur Kaggle ici. Si vous le souhaitez, vous pouvez utiliser ce modèle sans vous entraîner vous-même et sauter directement à la section Running Inference pour exécuter une inference sur l'audio de la chanson d'oiseau. Un modèle formé suivant la configuration expérimentale décrite dans les sous-sections suivantes a été posté sur Kaggle ici. Si vous le souhaitez, vous pouvez utiliser ce modèle sans vous entraîner vous-même et sauter directement à la section Running Inference pour exécuter une inference sur l'audio de la chanson d'oiseau. Section 1 - Téléchargement de données audio Le Section du Notebook : Audio Data Loading Extrait des classes de l'ensemble de données de la compétition BirdCLEF+ 2025 qui ne sont pas couvertes par le classificateur GBV. Télécharge les données audio brutes via la méthode load_training_audio. Créer un répertoire processed_audio et enregistrer une copie des données audio chargées en tant que fichiers .wav dans ce répertoire. Le La cellule de cette section comprend une Cette constante spécifie le nombre maximum de fichiers audio à charger à partir d'une classe donnée. pour vous assurer que tous les fichiers audio sont chargés pour Vous devrez peut-être ajuster cette constante pour votre propre configuration expérimentale. Par exemple, si vous téléchargez des données audio à partir de Dans les classes, vous devrez peut-être définir cette constante à une valeur inférieure pour éviter d’épuiser la mémoire disponible. Config MAX_FILES 1000 non-GBV all Le La méthode peut être appelée A paramètre, qui est une liste de classes dont l'audio sera chargé. Les classes sont stockées en tant que liste et affectées à la variable Ce qui est ensuite transmis à la La méthode via le Le paramètre. load_training_audio classes non-GBV missing_classes load_training_audio classes # `missing_classes` list ['1139490', '1192948', '1194042', '126247', '1346504', '134933', '135045', '1462711', '1462737', '1564122', '21038', '21116', '21211', '22333', '22973', '22976', '24272', '24292', '24322', '41663', '41778', '41970', '42007', '42087', '42113', '46010', '47067', '476537', '476538', '48124', '50186', '517119', '523060', '528041', '52884', '548639', '555086', '555142', '566513', '64862', '65336', '65344', '65349', '65373', '65419', '65448', '65547', '65962', '66016', '66531', '66578', '66893', '67082', '67252', '714022', '715170', '787625', '81930', '868458', '963335', 'grasal4', 'verfly', 'y00678'] Vous pouvez charger toutes les 206 classes BirdCLEF+ 2025 en passant une liste vide en tant que paramètre des classes. Vous pouvez charger toutes les classes 206 BirdCLEF+ 2025 en passant une liste vide en tant que Le paramètre. classes La méthode load_training_audio accepte également un paramètre boolean use_slice optionnel. Ce paramètre fonctionne avec la constante LOAD_SLICE définie dans la cellule Config. Le paramètre use_slice et la constante LOAD_SLICE ne sont pas utilisés avec cette mise en œuvre. Cependant, ils peuvent être utilisés pour charger une quantité spécifique d'audio de chaque fichier. Par exemple, pour charger seulement 5 secondes d'audio de chaque fichier audio, définissez LOAD_SLICE à 160000, ce qui est calculé comme 5 fois le taux d'échantillonnage de 32000; et passez True au paramètre use_slice. La méthode load_training_audio accepte également un paramètre boolean use_slice optionnel. Ce paramètre fonctionne avec la constante LOAD_SLICE définie dans la cellule Config. Le paramètre use_slice et la constante LOAD_SLICE ne sont pas utilisés avec cette mise en œuvre. Cependant, ils peuvent être utilisés pour charger une quantité spécifique d'audio de chaque fichier. Par exemple, pour charger seulement 5 secondes d'audio de chaque fichier audio, définissez LOAD_SLICE à 160000, ce qui est calculé comme 5 fois le taux d'échantillonnage de 32000; et passez True au paramètre use_slice. The La méthode accepte un boolean Lorsque ce paramètre est La logique crée un répertoire et enregistre une copie de chaque échantillon audio comme un Les copies audio sont enregistrées dans des sous-répertoires reflétant la classe à laquelle elles appartiennent. Le répertoire est utilisé dans la section suivante pour enregistrer les échantillons audio modifiés sur le disque sans affecter les répertoires de datasets BirdCLEF+ 2025. load_training_audio make_copy True processed_audio .wav processed_audio Le méthode renvoie un dictionnaire de données audio chargées en utilisant les noms de classe comme clés. Chaque valeur dans le dictionnaire est une liste de tuples du formulaire : load_training_audio (AUDIO_FILENAME, AUDIO_DATA) {'1139490': [('CSA36389.ogg', tensor([[-7.3379e-06, 1.0008e-05, -8.9483e-06, ..., 2.9978e-06, 3.4201e-06, 3.8700e-06]])), ('CSA36385.ogg', tensor([[-2.9545e-06, 2.9259e-05, 2.8138e-05, ..., -5.8680e-09, -2.3467e-09, -2.6546e-10]]))], '1192948': [('CSA36388.ogg', tensor([[ 3.7417e-06, -5.4138e-06, -3.3517e-07, ..., -2.4159e-05, -1.6547e-05, -1.8537e-05]])), ('CSA36366.ogg', tensor([[ 2.6916e-06, -1.5655e-06, -2.1533e-05, ..., -2.0132e-05, -1.9063e-05, -2.4438e-05]])), ('CSA36373.ogg', tensor([[ 3.4144e-05, -8.0636e-06, 1.4903e-06, ..., -3.8835e-05, -4.1840e-05, -4.0731e-05]])), ('CSA36358.ogg', tensor([[-1.6201e-06, 2.8240e-05, 2.9543e-05, ..., -2.9203e-04, -3.1059e-04, -2.8100e-04]]))], '1194042': [('CSA18794.ogg', tensor([[ 3.0655e-05, 4.8817e-05, 6.2794e-05, ..., -5.1450e-05, -4.8535e-05, -4.2476e-05]])), ('CSA18802.ogg', tensor([[ 6.6640e-05, 8.8530e-05, 6.4143e-05, ..., 5.3802e-07, -1.7509e-05, -4.8914e-06]])), ('CSA18783.ogg', tensor([[-8.6866e-06, -6.3421e-06, -3.1125e-05, ..., -1.7946e-04, -1.6407e-04, -1.5334e-04]]))] ...} The method also returns basic statistics describing the data loaded for each class as a comma-separated-value string. You can optionally export these statistics to inspect the data. class,sampling_rate,num_files,num_secs_loaded,num_files_loaded 1139490,32000,2,194,2 1192948,32000,4,420,4 1194042,32000,3,91,3 ... Section 2 - Traitement des données audio The Section du Notebook : Audio Data Processing Optionally strips silent segments and slices audio to eliminate most human annotations from raw audio. Stripping silent segments eliminates irrelevant parts of the audio signal. L'augmentation audio consiste à (1) ajouter un signal de bruit généré au hasard, (2) changer le rythme de l'audio brut, ou (3) ajouter un signal de bruit généré au hasard et changer le rythme de l'audio brut. Section 2.1 - Détection de segments silencieux The method is used to "slide" over each raw audio sample and identify silent segments by comparing the value of a given segment to a specified threshold. If the RMS is below the threshold, the segment is identified as a silent segment. The following constants specified in the cellules de cette section contrôlent le comportement du method: detect_silence root-mean square (RMS) Config detect_silence SIL_FRAME_PCT_OF_SR = 0.25 SIL_FRAME = int(SR * SIL_FRAME_PCT_OF_SR) SIL_HOP = int(1.0 * SIL_FRAME) SIL_THRESHOLD = 5e-5 SIL_REPLACE_VAL = -1000 # Value used to replace audio signal values within silent segments Le and constants can be modified to adjust how the method "slides" over the raw audio. Similarly, the value can be modified to make the method more aggressive or conservative with respect to identification of silent segments. SIL_FRAME SIL_HOP SIL_THRESHOLD La méthode produit un dictionnaire de marqueurs de segments silencieux pour chaque fichier dans chaque classe. fichiers audio sans segments silencieux détectés sont identifiés par des listes vides. {'1139490': {'CSA36389.ogg': [0, 8000, 16000, 272000, 280000, 288000, 296000, 304000], 'CSA36385.ogg': [0, 8000, 16000, 24000, 240000, 248000, 256000]}, '1192948': {'CSA36388.ogg': [0, 8000, 16000, 24000, 256000, 264000, 272000, 288000], 'CSA36366.ogg': [0, 8000, 16000, 24000, 256000, 264000, 272000, 280000, 288000], 'CSA36373.ogg': [0, 8000, 16000, 24000, 256000, 264000, 272000, 288000], 'CSA36358.ogg': [8000]}, '1194042': {'CSA18794.ogg': [], 'CSA18802.ogg': [], 'CSA18783.ogg': [0, 8000, 16000, 24000, 600000, 608000, 616000]}, '126247': {'XC941297.ogg': [], 'iNat1109254.ogg': [], 'iNat888527.ogg': [], 'iNat320679.ogg': [0], 'iNat888729.ogg': [], 'iNat146584.ogg': []}, '1346504': {'CSA18803.ogg': [0, 8000, 16000, 24000, 3000000, 3008000, 3016000], 'CSA18791.ogg': [], 'CSA18792.ogg': [], 'CSA18784.ogg': [0, 8000, 16000, 1232000, 1240000, 1248000], 'CSA18793.ogg': [0, 8000, 16000, 24000, 888000]} ...} Section 2.2 - Removing Silent Segments and Eliminating Human Annotations The constant defined in the cell of this section specifies if audio should be stripped of silent segments sliced to remove Les annotations humaines. USE_REMOVE_SILENCE_AND_HUMAN_ANNOT Config and Le plus USE_REMOVE_SILENCE_AND_HUMAN_ANNOT = True The method strips silent segments from audio samples using the output from the En outre, il met en œuvre la logique pour traiter les annotations humaines basées sur une simple observation: de nombreux échantillons audio, à savoir ceux avec des annotations humaines, to have the following structure: remove_silence_and_human_annot detect_silence tend | < 10s | ~1s | | | BIRDSONG | SILENCE | HUMAN ANNOTATION | The birdsong and human annotation sections themselves may contain silent segments. However, as seen in the diagram above, the bird vocalization recordings often occur within the first few seconds of audio. Therefore, a simple, if imperfect, approach to deal with human annotations is to slice audio samples at the first silent segment marker that occurs outside of a specified window, under the assumption that a human annotation follows that silent segment. The logic uses the constant in the cellule pour vérifier si un marqueur de segment silencieux se trouve en dehors de la fenêtre spécifiée par Si elle le fait, la logique coupe l'audio brut à ce marqueur et ne conserve que les données qui se produisent avant. Une inspection manuelle de l'audio traité pendant l'expérimentation a révélé que cette approche était satisfaisante. section, there are enregistrements audio où l'annotation humaine the birdsong recording. The logic described here does address those cases. Some audio samples feature long sequences of recorded birdsong and these samples often do not have silent segments. Such samples are unaffected by the previously described logic and kept in their entirety. remove_silence_and_human_annot ANNOT_BREAKPOINT Config ANNOT_BREAKPOINT Training Data some precedes pas Une seconde constante, , can be optionally used in a final processing step to return an even more refined slice of the processed audio. Set to the number of seconds of processed audio that you want to retain. SLICE_FRAME SLICE_FRAME The méthode enregistre l'audio traité sur le disque sous le répertoire à travers le paramètre, qui est utilisé comme La méthode renvoie un dictionnaire de des secondes d'audio traitées pour chaque classe. remove_silence_and_human_annot processed_audio save_audio True Totalement {'1139490': 14, '1192948': 29, '1194042': 24, '126247': 48, '1346504': 40, '134933': 32, '135045': 77, ...} The La méthode est utilisée comme suit to get the average number of seconds of audio across all classes. get_audio_stats remove_silence_and_human_annot Section 2.3 - Calculating Augmentation Turns for Minority Classes As mentioned in the section, the classes are not balanced. Augmentation is used in this notebook section to help address the imbalance leveraging the average number of seconds of audio across all classes, as provided by the Classes avec des secondes totales d'audio traitées the average are augmented. The La méthode détermine le nombre de tours d'augmentation pour chaque classe minoritaire en utilisant le nombre moyen de secondes par échantillon audio traité. Training Data get_audio_stats ci-dessous get_augmentation_turns_per_class TURNS = (AVG_SECS_AUDIO_ACROSS_CLASSES - TOTAL_SECS_AUDIO_FOR_CLASS)/AVG_SECS_PER_AUDIO_SAMPLE Les classes minoritaires inférieures à la moyenne auront plus de tours d'augmentation par rapport aux classes minoritaires plus proches de la moyenne qui auront moins de tours d'augmentation. Le get_augmentation_turns_per_class inclut une constante AVG_SECS_FACTOR qui peut être utilisée pour ajuster la valeur pour La constante peut être utilisée pour rendre la logique plus conservatrice ou plus agressive lors du calcul du nombre de tours d'augmentation. Le get_augmentation_turns_per_class inclut une constante AVG_SECS_FACTOR qui peut être utilisée pour ajuster la valeur pour La constante peut être utilisée pour rendre la logique plus conservatrice ou plus agressive lors du calcul du nombre de tours d'augmentation. Section 2.4 - Running Augmentations The constant defined in the cell of this section specifies if audio should be augmented. USE_AUGMENTATIONS Config USE_AUGMENTATIONS = True Comme mentionné précédemment, l'augmentation audio consiste à (1) ajouter un signal de bruit généré au hasard, (2) changer le rythme de l'audio brut, ou (3) ajouter un signal de bruit généré au hasard et changer le rythme de l'audio brut. et methods encapsulate the logic for adding a noise signal and changing the tempo respectively. The noise signal range and tempo change range can be adjusted via the following constants in the La cellule : add_noise change_tempo Config NOISE_RNG_LOW = 0.0001 NOISE_RNG_HIGH = 0.0009 TEMPO_RNG_LOW = 0.5 TEMPO_RNG_HIGH = 1.5 Le méthode exécute les augmentations en utilisant la sortie de la method. For those classes that will be augmented, the logic: run_augmentations get_augmentations_turns_per_class Sélectionne au hasard un échantillon audio traité (c'est-à-dire des segments silencieux déjà supprimés) pour augmentation. Sélectionne aléatoirement l'augmentation pour effectuer: (1) ajouter du bruit, (2) changer le rythme, ou (3) ajouter du bruit et changer le rythme. Saves the augmented audio to disk under the appropriate class within the directory. processed_audio Alors que la logique des notes augmente les classes minoritaires avec des secondes d'audio totales inférieures à la moyenne, elle ignore les classes avec des secondes d'audio totales supérieures à la moyenne. Section 3 - Mel Spectrogram Generation and Input Preparation Le section of the notebook: Mel Spectrogram Generation and Input Preparation Splits processed audio data into training and validation lists. Splits audio into 5 second frames. Génère des spectrogrammes pour chaque cadre audio de 5 secondes. Resizes mel spectrograms to a target size of . (224, 224) Optionally loads pseudo-labeled data samples to augment training data. One-hot encodes training data and validation data labels. Constructs TensorFlow objects from training and validation data lists. Dataset Optionnellement, il utilise la logique MixUp pour augmenter les données de formation. Section 3.1 - Splitting Processed Audio Data Processed audio data is loaded from the folder. The data is split into 4 lists: processed_audio training_audio training_labels validation_audio validation_labels Labels are, of course, the class names associated with the audio examples. The définie en permanence dans la cell controls the split ratio between the training and validation data lists. Processed audio data is shuffled before splitting. SPLIT Config Section 3.2 - Splitting Audio into Frames Audio is split into 5 second segments using the method, which itself uses the TensorFlow méthode pour diviser chaque exemple audio. Les constantes suivantes dans le La cellule contrôle l'opération de division : frame_audio signal.frame Config FRAME_LENGTH = 5 FRAME_STEP = 5 Section 3.3 - Generating Mel Spectrograms Mel spectrograms are generated for each 5 second audio frame generated in à travers le Les constantes suivantes dans la cell specify the parameters used when generating the mel spectrograms, such as the number of mel bands, minimum frequency, and maximum frequency: Section 3.2 audio2melspec Config # Mel spectrogram parameters N_FFT = 1024 # FFT size HOP_SIZE = 256 N_MELS = 256 FMIN = 50 # minimum frequency FMAX = 14000 # maximum frequency The frequency band was chosen to reflect the Toutefois, certaines espèces d'oiseaux peuvent vocaliser en dehors de cette gamme. potential Section 3.4 - Resizing Mel Spectrograms The La méthode est utilisée pour convertir chaque spectrogramme en un object. Each L'objet est ensuite remis à qui est la dimension d'entrée attendue par le modèle EfficientNet B0. to_melspectrogram_image pillow Image Image (224, 224) Section 3.5 - Téléchargement des données pseudo-labellées As mentioned in the Section, le directory contains nearly 10,000 audio recordings of birdsong. These audio recordings can be incorporated into the training data via . A simple process to create pseudo-labeled data is as follows: Training Data train_soundscapes unlabeled pseudo-labeling Train a classifier pseudo-labeled data. without Télécharger des fichiers audio audio. Segmentez chaque son en 5 frames de seconde. Générer des spectrogrammes de farine pour chaque cadre de 5 secondes et redimensionner à (224, 224). Run predictions on each resized mel spectrogram using the classifier that you trained in the first step. Keep the predictions above a desired confidence level and save the mel spectrograms for those predictions to disk under the predicted class label. Train your classifier again using the psuedo-labeled data. Pseudo-labeled data can improve the performance of your classifier. If you want to generate your own pseudo-labeled data, you should continue with the remaining sections to train a classifier pseudo-labeled data. Then, use your classifier to create your own set of pseudo-labeled data using the process outlined above. Finally, re-train your classifier using your pseudo-labeled data. sans This implementation does not use pseudo-labeled data. However, you can modify the inference notebook referenced in the générer des données pseudo-étiquetées. Running Inference Mettez le constante dans la cellule à pour contourner l’utilisation de données pseudo-étiquetées. USE_PSEUDO_LABELS Config False Section 3.6 - Codage des étiquettes The method is used to one-hot encode labels. One-hot encoded labels are returned as NumPy arrays and added to the training label and validation label lists. process_labels Section 3.7 - Converting Training and Validation Data Lists to TensorFlow Objects Dataset Dataset Le TensorFlow La méthode est utilisée pour créer TensorFlow objects from the training and validation data lists. The La méthode est appelée à la formation object to shuffle training data before batching. The La méthode est appelée les deux Objets pour batter les ensembles de données de formation et de validation. constant in the cell controls the batch size. data.Dataset.from_tensor_slices Dataset shuffle Dataset batch Dataset BATCH_SIZE Config Section 3.8 - Utilisation de MixUp pour augmenter les données de formation Comme vous le savez peut-être déjà, MixUp est une technique d'augmentation de données qui mélange efficacement deux images ensemble pour créer un nouvel échantillon de données. La méthode, ainsi que le méthode, encapsule la logique MixUp optionnelle. mix_up sample_beta_distribution This implementation uses MixUp to augment the training data. To use MixUp, set the constante dans la cell to . USE_MIXUP Config True Chapitre 4 - Formation Le Section du Notebook : Model Training Initialiser et configurer un projet WandB pour capturer les données d'exécution de la formation. Créer et compiler le modèle EfficientNet B0. Entraînez le modèle. Saves the trained model to disk. Section 4.1 - Initialisation et configuration du projet WandB Ensure that you have attached your own WandB API key as a à la note et que le WandB method in of the notebook has returned . Kaggle Secret login Section 0 True Assurez-vous que vous avez joint votre propre clé API WandB en tant que à la note et que le WandB Méthode en Le cahier des notes est de retour . Kaggle Secret login Section 0 True Le La cellule de cette section comprend la logique pour initialiser et configurer un nouveau projet WandB (si le projet n'existe pas déjà) qui capture les données d'exécution de la formation: Config wandb.init(project="my-bird-vocalization-classifier") config = wandb.config config.batch_size = BATCH_SIZE config.epochs = 30 config.image_size = IMG_SIZE config.num_classes = len(LABELS) Obviously, you can change the project name to your desired WandB project name. my-bird-vocalization-classifier Section 4.2 - Building and Compiling the EfficientNet B0 Model Le La méthode est utilisée pour charger le modèle EfficientNet B0 pré-entraîné avec des poids ImageNet et sans la couche supérieure: build_model model = EfficientNetB0(include_top=False, input_tensor=inputs, weights="imagenet") Le modèle est gelé pour tirer parti des poids ImageNet pré-entraînés avec l'objectif de ne (c'est-à-dire train) les couches dans la phase finale du modèle: unfreeze # Unfreeze last `unfreeze_layers` layers and add regularization for layer in model.layers[-unfreeze_layers:]: if not isinstance(layer, layers.BatchNormalization): layer.trainable = True layer.kernel_regularizer = tf.keras.regularizers.l2(L2_RATE) The constant in the cellule spécifie le nombre de couches à ne pas congeler. UNFREEZE_LAYERS Config La partie supérieure du modèle est reconstruite avec une finale layer reflecting the number bird species classes. est choisi comme fonction de perte pour aider à résoudre le déséquilibre de classe. et constants in the Les cellules sont utilisées avec la fonction de perte. Dense Categorical focal cross-entropy LOSS_ALPHA LOSS_GAMMA Config Section 4.3 - Modèle de formation Le La méthode est appelée sur le compilé from Pour suivre la formation, notez que a Le callback, , is used instead of a constant learning rate. An initial learning rate of Le taux d'apprentissage est réduit en 2 étapes en fonction du nombre d'époques. constante dans la de cellule. fit model Section 4.2 learning rate scheduler lr_scheduler 4.0e-4 EPOCHS Config Section 4.4 - Modèle d'épargne Le La méthode est appelée sur le compilé après la formation pour enregistrer le modèle sur disque. save model model.save("bird-vocalization-classifier.keras") Résultats de la formation L'exécution du bloc-notes devrait produire les résultats de formation suivants, en supposant que vous ayez utilisé la configuration expérimentale décrite dans le section: Building the Classifier Comme on l'a vu, la précision est juste au-dessus de 90% et la précision de validation est d'environ 70% après l'entraînement pendant 30 époques. Cependant, comme on l'a vu, la précision de validation fluctue considérablement. Cette variation est partiellement attribuée au déséquilibre de la classe avec la mémoire disponible limitant l'utilisation d'augmentations supplémentaires pour résoudre pleinement le déséquilibre. Les résultats suggèrent que le modèle souffre d'une suralimentation sur les données d'entraînement et ne généralise pas comme on l'espérait. Courir à l'inference Ceci ("notebook d'inférence") peut être utilisé pour exécuter l'inférence. La logique de notebook d'inférence utilise à la fois le modèle de classificateur GBV et le modèle que vous avez formé dans la section précédente. Chaque fichier audio soundcapes est divisé en 5 frames de seconde. constant defined in the cell of Le numéro de l'appareil contrôle le nombre de fichiers audio qui sont chargés pour la déduction. Télécharger Notebook train_soundscapes MAX_FILES Config Section 0 Les prédictions pour les 143 classes de données de la compétition BirdCLEF+ 2025 connues pour le classificateur GBV sont isolées si la probabilité maximale parmi les 143 classes «connues» est supérieure ou égale à , alors la classe prédite GBV est sélectionnée comme la classe vraie. Si la probabilité maximale parmi les 143 classes "connues" est inférieure , on suppose que la vraie classe est parmi les 63 classes "inconnues" pour le classificateur GBV - c'est-à-dire les classes utilisées pour former le modèle dans la section précédente. GBV_CLASSIFIER_THRESHOLD GBV_CLASSIFIER_THRESHOLD Le La constante est définie dans la cellule de Les prévisions sont la sortie à 2 fichiers: GBV_CLASSIFIER_THRESHOLD Config Section 5 A file that captures the prediction and prediction probability for each 5-second soundscape slice. preds.csv Un fichier submission.csv qui capture toutes les probabilités de classe au format du concours BirdCLEF+ 2025. Définissez le chemin vers votre modèle finement ajusté dans la première cellule de la section 4 du bloc-notes de conclusion. Définissez le chemin vers votre modèle finement ajusté dans la première cellule de of the inference notebook. Section 4 Future Work Le cahier d'apprentissage peut être utilisé pour former un modèle sur toutes les classes 206 BirdCLEF+ 2025, éliminant ainsi la nécessité du classificateur GBV, au moins en ce qui concerne le groupe de données de la compétition. à la La méthode chargera les données audio de toutes les classes. et Les constantes peuvent être utilisées pour limiter la quantité d'audio chargé afin de travailler dans les limites d'un environnement de note-note Kaggle. [] load_training_audio MAX_FILES LOAD_SLICE Bien sûr, un modèle plus précis peut être formé en utilisant une plus grande quantité de données de formation. Idéalement, un plus grand nombre d'augmentations serait utilisé pour résoudre le déséquilibre de la classe. En outre, d'autres techniques d'augmentation, telles que CutMix, pourraient être mises en œuvre pour augmenter davantage les données de formation.