SentSound

Descrizione

SentSound è un framework modulare basato su Python che consente di analizzare il sentiment di un testo e generare un suono o musica in base all'emozione rilevata. Il sistema è progettato per essere facilmente estensibile e integrabile in diversi contesti applicativi, sfruttando un'architettura basata su moduli indipendenti.

Obiettivo

L'obiettivo di SentSound è fornire un framework flessibile per la generazione sonora condizionata da input testuali. Attraverso l'analisi del sentimento, il sistema produce suoni che si adattano dinamicamente al contesto emotivo del testo, offrendo un'esperienza interattiva e immersiva.

Caratteristiche

• Architettura Modulare: Suddivisione in moduli indipendenti che facilitano l'estendibilità e la manutenzione.
• Integrazione con modelli AI: Utilizzo di modelli avanzati di NLP e generazione audio.
• Gestione multi-threading: Separazione della gestione degli input, dell'analisi del sentimento, della generazione sonora e della riproduzione audio.
• Compatibilità con diversi modelli: Possibilità di integrare nuovi modelli di analisi del sentimento e generazione sonora senza modificare il codice principale.

Tecnologie Utilizzate

• Linguaggio: Python
• Framework: Pytorch:
  • transformers di Hugging Face per l'analisi del sentiment e generazione dei suoni
• Gestione Audio:
  • pydub per la manipolazione audio
  • pygame.mixer per la riproduzione
• Gestione Multi-threading:
  • threading e queue per la gestione parallela dell'input e della generazione sonora

Struttura della Repository

SentSound/
│── src/ 
│   ├── models/
│   │   ├── models.py       # Classe wrapper
│   │   ├── interface.py      # Interfaccia base per i modelli
│   ├── audio_manager.py     # Gestione della riproduzione audio
│   ├── queue_manager.py   # Gestione dei thread attraverso una coda
│   │── main.py                  # Punto di ingresso per l'esecuzione
│── requirements.txt         # Dipendenze del progetto
│── .gitignore
│── LICENSE
│── README.md                # Documentazione

Installazione

Requisiti

• Python 3.8+
• Pytorch con supporto GPU (opzionale ma consigliato)
• Librerie Hugging Face
• Conda per la gestione dell'ambiente virtuale

Setup

# Clonare il repository
git clone https://github.com/DarioDeMaio/real_time_sound_generation_framework.git
cd sentsound

# Creare un ambiente virtuale
conda create --name sentsound_env python=3.8
conda activate sentsound_env

# Installare le dipendenze
pip install -r requirements.txt

Utilizzo

Eseguire il framework utilizzando il comando:

python src/main.py