Autori:  (1) Daniele Malitesta, Politecnico di Bari, Italia e daniele.malitesta@poliba.it con autori corrispondenti: Daniele Malitesta (daniele.malitesta@poliba.it) e Giuseppe Gassi (g.gassi@studenti.poliba.it);  (2) Giuseppe Gassi, Politecnico di Bari, Italia e g.gassi@studenti.poliba.it con autori corrispondenti: Daniele Malitesta (daniele.malitesta@poliba.it) e Giuseppe Gassi (g.gassi@studenti.poliba.it);  (3) Claudio Pomo, Politecnico di Bari, Italia e claudio.pomo@poliba.it;  (4) Tommaso Di Noia, Politecnico di Bari, Italia e tommaso.dinoia@poliba.it.   Abstract e 1 Introduzione e Motivazione   2 Architettura e 2.1 Dataset   2.2 Estrattore   2.3 Corridore   3 Conduttura di estrazione   4 Ducho come applicazione Docker   5 Dimostrazioni e 5.1 Demo 1: caratteristiche degli elementi visivi + testuali   5.2 Demo 2: funzionalità degli elementi audio + testuali   5.3 Demo 3: elementi testuali/caratteristiche delle interazioni 6   Conclusione e lavori futuri, ringraziamenti e riferimenti  2 ARCHITETTURA  L'architettura di Ducho è costruita su tre moduli principali, vale a dire Dataset, Extractor e Runner, dove i primi due moduli forniscono implementazioni diverse a seconda della modalità specifica (ad esempio, audio, visuale, testuale) presa in considerazione. Ricordiamo anche quello di Configuration tra gli altri componenti ausiliari. L'architettura è progettata per essere altamente modulare, integrando eventualmente nuovi moduli o personalizzando quelli esistenti. Di seguito, ci immergiamo in profondità in ogni modulo/componente delineato.  2.1 Insieme di dati  Il modulo   gestisce il caricamento e l'elaborazione dei dati di input forniti dall'utente. Partendo da uno schema generale condiviso per tutte le modalità disponibili, questo modulo fornisce tre implementazioni separate:   e   Dataset. Come approccio comune nella letteratura, Audio e Visual Dataset richiedono il percorso alla cartella da cui vengono caricati i file immagine/audio, mentre Textual Dataset funziona tramite un file tsv che mappa tutte le caratteristiche testuali agli input. Dataset Audio, Visual Textual  Degno di nota, e diversamente da altre soluzioni esistenti, Ducho può gestire ciascuna modalità in due modi, a seconda che la modalità specifica descriva gli   (ad esempio, descrizioni di prodotto) o le   tra utenti ed elementi (ad esempio, recensioni [1]). Concretamente, mentre gli elementi sono mappati sui loro ID univoci (estratti dal nome file o dal file tsv), le interazioni sono mappate sulla coppia utente-elemento (estratta dal file tsv) a cui fanno riferimento. Sebbene le fasi di pre-elaborazione ed estrazione non cambino a livello di elementi e interazioni (vedere più avanti), crediamo che questo schema possa adattarsi perfettamente ai nuovi sistemi di raccomandazione consapevoli multimodali con modalità che descrivono ogni tipo di sorgente di input (anche   ). elementi interazioni gli utenti  Un altro compito importante per il modulo Dataset è gestire la fase di pre-elaborazione dell'input dei dati. A seconda della modalità specifica coinvolta, Ducho offre la possibilità di:    carica l'audio in ingresso estraendo la forma d'onda e la frequenza di campionamento e ricampionalo in base alla frequenza di campionamento su cui è stato addestrato il modello pre-addestrato; • audio:    converte le immagini di input in RGB e le ridimensiona/normalizza per allinearle al modello di estrazione pre-addestrato; • visivo:    (facoltativamente) pulisci i testi di input per rimuovere o modificare modelli testuali rumorosi come punteggiatura e cifre • testuale:  Dopo la fase di estrazione (vedere più avanti), il modulo Dataset si occupa infine di salvare le feature multimodali generate nel formato array   , seguendo lo schema di denominazione dei file della mappatura precedente. numpy  2.2 Estrattore  Il modulo   crea un modello di estrazione da una rete pre-addestrata e lavora su ogni campione di input caricato/pre-elaborato per estrarne le caratteristiche multimodali. In modo simile al modulo Dataset, Extractor fornisce tre diverse implementazioni per ogni modalità, vale a dire gli estrattori audio, visivi e testuali. Ducho espone un'ampia gamma di modelli pre-addestrati da tre backend principali: TensorFlow, PyTorch e Transformers. Sono attualmente disponibili le seguenti combinazioni modalità/backend: Extractor  •   PyTorch (Torchaudio) e Transformers; audio:  •   Tensorflow e PyTorch (Torchvision); visivo:    Transformers (e SentenceTransformers). • testuale:  Per eseguire l'estrazione delle feature, Ducho prende come input (l'elenco dei) layer di estrazione per qualsiasi modello pre-addestrato. Poiché ogni backend gestisce l'estrazione dei layer nascosti all'interno di una rete in modo diverso, seguiamo le linee guida fornite nella documentazione ufficiale, supponendo che l'utente seguirà lo stesso schema di denominazione/indicizzazione dei layer e conoscerà in anticipo la struttura del modello pre-addestrato selezionato. Il lettore interessato può fare riferimento al README[2] nella cartella config/ su GitHub per una spiegazione esaustiva su come impostare il layer di estrazione in ogni impostazione di modalità/backend.  Infine, nel caso testuale, l'utente può anche specificare l'attività specifica su cui deve essere addestrato il modello pre-addestrato (ad esempio, analisi del sentiment), poiché ogni rete pre-addestrata può avere versioni diverse a seconda della strategia di addestramento.  2.3 Corridore  Il modulo   è l'orchestratore di Ducho, il cui scopo è di istanziare, chiamare e gestire tutti i moduli descritti. Con i suoi metodi API, questo modulo può innescare la pipeline di estrazione completa (vedi più avanti) di una singola modalità o di tutte le modalità coinvolte simultaneamente Runner  Il modulo Runner è opportunamente personalizzato tramite un componente   ausiliario che memorizza ed espone tutti i parametri per configurare la pipeline di estrazione. Anche se una configurazione predefinita è già disponibile per il bene dell'utente, Ducho consente di sovrascrivere alcuni (o tutti) i suoi parametri tramite un file di configurazione esterno (in formato YAML) e/o coppie chiave-valore come argomenti di input se si eseguono gli script dalla riga di comando. Ancora una volta, suggeriamo ai lettori di fare riferimento al README nella cartella config/ su GitHub per comprendere lo schema generale del file di configurazione YAML. di configurazione  Questo articolo è   con licenza CC BY 4.0 DEED. disponibile su arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

YAML's human-friendly syntax shines, a language of structure, organizing complexity with ease, in a neat and tidy line.

yaml's blog

Questo audio è prodotto nella lingua originale della storia!

Troppo lungo; Leggere

Get Free Unlimited IP Geo Data With IPinfo Lite

Un nuovo modo per estrarre funzionalità per raccomandazioni AI più intelligenti

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

HackerNoon - A User Experience Analysis: Part 2

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

HackerNoon - A User Experience Analysis: Part 2

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps