AI open source

Tre aggiornamenti concreti questa settimana nell’ecosistema AI open source: il motore che fa girare i modelli diventa più veloce, un nuovo sistema legge documenti e ascolta audio insieme, e IBM pubblica i dettagli tecnici dei propri modelli. Nessuna rivoluzione. Segnali utili per chi deve decidere.

---

In sintesi

• vLLM V1 riduce i tempi di risposta nei sistemi AI in produzione, abbassando la soglia tecnica per installazioni interne.
• NVIDIA Nemotron Nano Omni elabora testo, audio e video insieme, su hardware meno potente rispetto ai modelli di fascia alta.
• IBM Granite 4.1 pubblica documentazione tecnica verificabile sull’architettura e sui dati di addestramento: rilevante per settori regolamentati e audit AI Act.
• Open ASR Leaderboard aggiorna i benchmark per il riconoscimento vocale automatico, ma la maggior parte dei test è su inglese americano, non su italiano regionale in ambienti reali.
• Chi invia dati a provider di inferenza cloud con sede negli USA deve verificare la base giuridica del trasferimento ai sensi del GDPR, Reg. UE 2016/679.

---

vLLM V1: il motore che fa girare i modelli diventa più veloce

Partiamo da un fatto tecnico che ha conseguenze pratiche concrete. vLLM è una libreria di inferenza, termine che in questo campo significa il software che prende un modello AI già addestrato e lo fa rispondere alle richieste in tempo reale, come il motore sotto il cofano di un’auto: non lo vedi, ma determina tutto. La versione 1, chiamata V1, introduce ottimizzazioni interne che riducono la latenza, in particolare il TTFT (dall’inglese Time To First Token, ovvero il tempo che passa dal momento in cui si invia una domanda al momento in cui l’AI inizia a rispondere). Pensa a quando apri un documento PDF su un computer lento: il contenuto c’è, ma aspetti. Il TTFT è quell’attesa, applicata all’AI.

Perché tocca te? Se la tua azienda sta valutando di eseguire un modello AI direttamente sui propri server, per ragioni di privacy, costo o controllo, la scelta del motore di inferenza è decisiva quanto la scelta del modello stesso. Un motore lento rende inutilizzabile anche il modello migliore. Uno studio commercialista che vuole un assistente AI per rispondere alle domande dei clienti sui dichiarativi, per esempio, non può permettersi risposte che arrivano dopo dieci secondi: l’utente abbandona. vLLM V1 abbassa la soglia tecnica per chi vuole portare AI on-premise, cioè sui propri sistemi interni, senza dipendere da servizi cloud esterni.

Cosa fai oggi: se stai valutando fornitori o consulenti per un’installazione AI interna, chiedi quale stack di inferenza, cioè quale insieme di software usano per far girare i modelli, e se supportano vLLM. Non è una domanda da tecnico. È una domanda da acquirente informato, e la risposta ti dice subito se il fornitore lavora con strumenti aggiornati o con soluzioni di tre anni fa.

---

NVIDIA Nemotron Nano Omni: un modello che legge, ascolta e vede insieme

NVIDIA ha rilasciato Nemotron Nano Omni, un modello multimodale, termine che significa capace di elaborare più tipi di contenuto contemporaneamente, non solo testo scritto. Questo modello lavora su documenti, audio e video con contesti di lunga durata. “Contesto lungo” vuol dire che il sistema può tenere in memoria e ragionare su materiale molto esteso senza perdere il filo: utile per analizzare un contratto di 80 pagine, la trascrizione di una riunione di due ore, o un video di formazione aziendale.

Il nome “Nano” non è un vezzo di marketing. Indica che il modello è ottimizzato per girare su hardware meno potente rispetto ai sistemi di fascia alta, che richiedono GPU, ovvero schede grafiche professionali da migliaia di euro, di ultima generazione. Un fattore rilevante per la maggior parte degli studi e aziende italiane strutturate.

Perché tocca te? Considera un hotel che riceve feedback dai clienti in tre formati diversi: email scritte, messaggi vocali sulla segreteria, video recensioni su piattaforme social. Fino a poco tempo fa, analizzarli insieme richiedeva tre strumenti separati e qualcuno che raccogliesse i risultati a mano. Stesso problema per una clinica con referti PDF, registrazioni audio delle visite e immagini diagnostiche. O per uno studio legale con fascicoli misti di documenti scansionati e udienze registrate. Modelli come Nemotron Nano Omni comprimono quella complessità in un sistema solo.

Cosa fai oggi: prima di valutare qualsiasi modello multimodale, mappa i tuoi flussi documentali reali. Quanti formati diversi entrano nel processo ogni settimana? Dove si crea attrito manuale, ovvero dove qualcuno copia dati da un sistema all’altro a mano? Quella mappa è il brief più utile che puoi portare a qualsiasi fornitore tecnico.

---

IBM Granite 4.1: quando la trasparenza tecnica diventa un requisito legale

IBM ha pubblicato la documentazione tecnica completa dell’architettura e del processo di addestramento dei modelli Granite 4.1. Non è materiale promozionale. È documentazione che spiega come il modello è stato costruito, con quali dati e con quali scelte di progetto. Questo tipo di trasparenza è raro nell’industria AI. Ha un valore pratico preciso.

Perché tocca te? Se la tua azienda opera in settori regolamentati, penso a sanità, finanza, servizi legali, o se stai valutando sistemi AI classificati ad alto rischio ai sensi dell’AI Act, Reg. UE 2024/1689, avere documentazione verificabile sull’origine e il comportamento del modello non è un optional. È un requisito. Un modello di cui non conosci la provenienza dei dati di addestramento è difficile da difendere davanti a un audit. Granite 4.1 offre quella tracciabilità. I modelli sono disponibili con licenza open source su Hugging Face, il che significa che possono essere eseguiti internamente senza inviare dati a IBM.

Resto convinto che questo aspetto sia sottovalutato dalla maggior parte degli studi e aziende italiane strutturate. Non perché manchino le intenzioni, ma perché la domanda “da dove vengono i dati con cui hai addestrato questo modello?” non viene quasi mai posta in una trattativa commerciale. Iniziare a porla costa zero.

Cosa fai oggi: aggiungi questa domanda alla tua lista quando valuti un fornitore AI: “Potete fornire documentazione tecnica sull’architettura del modello e sulla provenienza dei dati di addestramento?” Se la risposta è vaga o rimanda a un PDF di marketing, hai già un’informazione utile.

---

Open ASR Leaderboard: le classifiche vocali e il problema dell’italiano reale

L’Open ASR Leaderboard, ospitato su Hugging Face, è una classifica pubblica che confronta sistemi di ASR (dall’inglese Automatic Speech Recognition, in italiano riconoscimento vocale automatico: il software che converte audio parlato in testo scritto). La classifica si aggiorna periodicamente con nuovi modelli e nuovi set di test.

Il problema è strutturale. La maggior parte dei benchmark, cioè dei test di riferimento usati per misurare le prestazioni, è costruita su audio in inglese americano, parlato in condizioni quasi perfette, microfono ravvicinato, stanza silenziosa, parlante madrelingua. Un modello che eccelle in quella classifica può essere mediocre su italiano regionale, con accento, in un ambiente rumoroso. Pensa alla cucina di un ristorante, a un cantiere edile, a un pronto soccorso affollato: condizioni reali, non da laboratorio.

Perché tocca te? Se stai valutando un sistema di trascrizione automatica per verbali di riunione, assistenza clienti telefonica o documentazione medica, la metrica che conta non è la posizione in classifica globale. È il tasso di errore sulla tua lingua, nel tuo settore, con il tuo tipo di audio. La classifica è un punto di partenza. Non è una risposta.

Cosa fai oggi: chiedi al fornitore un test su un campione reale dei tuoi audio, non su demo preconfezionate. Cinque minuti di registrazione autentica del tuo contesto, con il tuo accento e il tuo rumore di fondo, valgono più di qualsiasi benchmark internazionale.

---

GDPR e inferenza cloud: la domanda che nessuno fa

Hugging Face integra provider di inferenza come DeepInfra, con sede negli Stati Uniti, che permettono di eseguire modelli AI senza installare nulla internamente. Comodo, spesso economico. Però ogni volta che un’azienda italiana invia dati a un server extra-UE per farli elaborare da un modello AI, si configura un trasferimento di dati personali verso paesi terzi ai sensi del GDPR, Reg. UE 2016/679, Capo V.

Dal 2023 esiste il Data Privacy Framework UE-USA, che semplifica i trasferimenti verso aziende americane certificate. Non li rende però automaticamente leciti per qualsiasi tipo di dato. Dati sensibili, come cartelle cliniche, dati finanziari e corrispondenza legale, richiedono una valutazione specifica. Il Garante per la protezione dei dati personali ha già sanzionato aziende italiane per trasferimenti non adeguatamente documentati. La comodità di un’API cloud non esime dall’obbligo di sapere dove vanno i dati.

Cosa fai oggi: prima di integrare qualsiasi servizio di inferenza cloud, verifica due cose. Il provider è certificato nel Data Privacy Framework? Il contratto include le cosiddette SCC (dall’inglese Standard Contractual Clauses, in italiano clausole contrattuali tipo), approvate dalla Commissione europea per regolare i trasferimenti internazionali? Se non sai rispondere, è il momento di chiedere al tuo consulente privacy, prima di firmare qualsiasi contratto.

---

Domande correlate

I modelli AI open source sono più sicuri di quelli proprietari per i dati aziendali?

Non necessariamente più sicuri, ma potenzialmente più controllabili. Un modello open source eseguito internamente non invia dati a terzi per definizione. La sicurezza dipende però da come viene installato e gestito: un modello open source mal configurato su un server esposto è più rischioso di un servizio cloud certificato ISO 27001.

Posso usare NVIDIA Nemotron Nano Omni senza GPU professionale?

Il nome “Nano” indica ottimizzazione per hardware meno potente, ma “meno potente” è relativo. Dipende dalla dimensione del modello e dal volume di richieste. Per uso occasionale su un server aziendale moderno può funzionare. Per uso continuativo in produzione serve una valutazione tecnica specifica del tuo hardware.

Come scelgo un sistema di trascrizione vocale per l’italiano in contesto business?

Parti da un test su audio reali tuoi, non da benchmark internazionali. Valuta il tasso di errore su termini tecnici del tuo settore, su accenti regionali presenti nel tuo team o tra i tuoi clienti, e su condizioni audio realistiche. Solo dopo guarda la classifica.

Cosa cambia per la mia azienda con l’AI Act se uso modelli open source?

L’AI Act, Reg. UE 2024/1689, si applica in base all’uso del sistema, non alla natura del modello. Un modello open source usato per prendere decisioni su persone fisiche in ambiti ad alto rischio, come selezione del personale, credito o salute, resta soggetto agli obblighi dell’AI Act. L’open source non è un’esenzione automatica.

---

Fonti:

• vLLM — sito ufficiale: https://vllm.ai/ (accesso luglio 2025)
• Hugging Face — piattaforma modelli e inferenza: https://huggingface.co/ (accesso luglio 2025)
• NVIDIA Developer Blog — Introducing NVIDIA Nemotron 3 Nano Omni: https://developer.nvidia.com/blog/introducing-nvidia-nemotron-3-nano-omni-long-context-multimodal-intelligence-for-documents-audio-and-video-agents/ (accesso luglio 2025)
• IBM Blog — Granite 4.1 LLMs: How They’re Built: https://www.ibm.com/blog/granite-llm/ (accesso luglio 2025)
• Open ASR Leaderboard su Hugging Face: https://huggingface.co/spaces