Aggiornamenti AI · l'Osservatorio

Tre aggiornamenti questa settimana nell’infrastruttura AI open source: un cambio di versione nel motore più usato per eseguire modelli linguistici, una famiglia di modelli pensata per aziende con obblighi normativi, e un’opzione di calcolo a consumo per chi non ha server propri.

In sintesi

vLLM, libreria open source per eseguire modelli linguistici in produzione, passa a V1 con correzioni sui flussi di apprendimento avanzato: chi ha pipeline RAG (sistemi che recuperano documenti aziendali e generano risposte contestualizzate) deve pianificare la migrazione con test, non aggiornare d’impulso.
IBM Granite 4.1 pubblica metodologia di addestramento e fonti dei dati: per le aziende italiane con obblighi GDPR, offre esecuzione locale che le API cloud proprietarie non garantiscono.
NVIDIA Nemotron 3 Nano Omni elabora testo, audio e video in un unico modello compatto: primo caso industrialmente rilevante di agente multimodale eseguibile fuori dal cloud.
DeepInfra è ora disponibile come fornitore di inferenza su Hugging Face: accesso a modelli open a consumo, senza contratti enterprise né hardware costoso.
L’Open ASR Leaderboard, classifica pubblica dei sistemi di riconoscimento vocale automatico, introduce misure contro la manipolazione dei benchmark: i confronti tra prodotti diventano più affidabili.

vLLM V1: non aggiornare in produzione senza test

vLLM è la libreria open source più diffusa per eseguire LLM, sigla inglese per Large Language Models ovvero modelli linguistici di grandi dimensioni, in modo efficiente su hardware aziendale. È il motore che molte aziende usano per far girare modelli AI propri senza dipendere da API esterne come quelle di OpenAI.

La migrazione da V0 a V1 non è un ritocco estetico. Il focus dichiarato è la correttezza nei flussi di RL, Reinforcement Learning ovvero apprendimento per rinforzo, una tecnica con cui si affina il comportamento del modello tramite feedback iterativo. Questo tocca direttamente le pipeline RAG, ovvero i sistemi di Retrieval-Augmented Generation che recuperano documenti interni e generano risposte contestualizzate: uno studio commercialista che ha addestrato il proprio assistente sui contratti dei clienti, un hotel che usa un chatbot alimentato dal manuale operativo interno, uno studio medico con un sistema che risponde a domande sui protocolli di visita.

Il rischio concreto è quello delle regressioni di correttezza: risposte che prima erano accurate diventano meno affidabili su certi tipi di domanda, senza che nessun allarme suoni. È il tipo di errore silenzioso che emerge quando un cliente segnala una risposta sbagliata, non prima.

Cosa fare oggi. Se hai una pipeline RAG attiva su vLLM V0, non aggiornare in produzione prima di aver eseguito test di regressione su un ambiente separato. Documenta un campione rappresentativo di query critiche, confronta le risposte V0 contro V1, pianifica la migrazione in una finestra di manutenzione con rollback pronto. Chi non ha un ambiente di test separato, aspetti.

IBM Granite 4.1 è una famiglia di modelli linguistici progettata per contesti aziendali con requisiti normativi. La differenza rispetto alle API cloud proprietarie non è solo tecnica. IBM pubblica la metodologia di addestramento, le fonti dei dati usati e l’architettura del modello, informazioni che Azure OpenAI o Anthropic non rendono disponibili con lo stesso livello di dettaglio.

Per un’azienda italiana, questo ha peso su due fronti legati al GDPR, il Regolamento europeo sulla protezione dei dati personali (Reg. UE 2016/679).

Il primo riguarda la data residency, cioè dove fisicamente risiedono i dati elaborati. Granite 4.1 può girare in locale o su infrastruttura europea certificata, eliminando il trasferimento verso server statunitensi che alcune interpretazioni del GDPR rendono problematico. Il secondo riguarda l’accountability: il Garante Privacy italiano richiede che l’azienda sappia spiegare come funziona il sistema usato nei processi decisionali. Con un modello a metodologia opaca, quella spiegazione è difficile da produrre in sede di audit.

Esempio diretto. Uno studio legale che vuole usare un LLM per analizzare contratti riservati non può caricare quei documenti su API cloud senza valutare le condizioni di trattamento dati del fornitore. Con Granite 4.1 eseguito in locale, il documento non esce mai dall’infrastruttura dello studio. Stesso ragionamento vale per una clinica con cartelle cliniche digitali o per una fiduciaria con dati patrimoniali dei clienti.

Cosa fare oggi. Se stai valutando un LLM per uso interno con dati sensibili, chiedi al tuo fornitore tecnico un confronto esplicito tra opzione cloud e opzione locale su Granite 4.1, con analisi dei flussi di dati e delle implicazioni GDPR. Non è una scelta tecnica: è una scelta legale travestita da tecnica.

NVIDIA Nemotron 3 Nano Omni: testo, audio e video in un modello solo

NVIDIA ha rilasciato Nemotron 3 Nano Omni, un modello multimodale, cioè capace di elaborare più tipi di contenuto insieme: testo, audio e video. È progettato per agenti AI che lavorano su documenti a contesto lungo, dove “contesto lungo” indica la quantità di testo che il modello tiene in memoria durante una singola elaborazione. Un modello con contesto lungo legge un contratto di 80 pagine o la trascrizione di un’ora di riunione senza perdere il filo.

“Nano” nel nome non è marketing. Indica un modello più piccolo del solito, eseguibile su hardware aziendale standard senza server da datacenter. Questo abbassa la soglia di accesso in modo concreto.

Pensa a una clinica che vuole trascrivere e riassumere automaticamente le visite audio dei pazienti, o a un hotel che analizza i feedback video degli ospiti raccolti all’uscita, o a uno studio di architettura che elabora riunioni di cantiere registrate sul telefono. Fino a ieri serviva un’infrastruttura dedicata. Con Nemotron 3 Nano Omni, la stessa elaborazione può girare su un server già in casa.

Resta il fatto che non è ancora uno strumento plug-and-play. Serve integrazione tecnica. Ma la direzione è quella giusta, e il salto di accessibilità rispetto a un anno fa è reale.

Cosa fare oggi. Se hai flussi di lavoro che combinano documenti e audio, trascrizioni di riunioni, analisi di chiamate commerciali, revisione di contratti con note vocali, chiedi una valutazione tecnica su Nemotron 3 Nano Omni. Non per domani. Per capire se rientra nel tuo orizzonte dei prossimi 12 mesi.

DeepInfra su Hugging Face: modelli open a consumo, senza hardware

DeepInfra è ora disponibile come fornitore di inference (esecuzione del modello su una richiesta in arrivo) sulla piattaforma Hugging Face, il principale repository pubblico di modelli AI open source. In pratica: accedi a modelli open con una chiamata API, paghi solo per l’uso effettivo, senza contratti enterprise e senza gestire hardware.

Il collo di bottiglia fisico per chi vuole eseguire LLM in proprio è la VRAM, ovvero la memoria video RAM della scheda grafica dove il modello viene caricato. Un modello di medie dimensioni richiede tra 24 e 80 GB di VRAM, hardware che costa tra 5.000 e 30.000 euro. DeepInfra elimina quell’investimento iniziale.

Il modello economico è diverso dalle API proprietarie. I prezzi sono pubblici, calcolati per token, l’unità base con cui i modelli misurano il testo elaborato, approssimativamente 100 token corrispondono a 75 parole in italiano. Per un e-commerce che genera descrizioni prodotto in batch mensili, o per un’agenzia immobiliare che produce schede tecniche su commissione, il costo variabile è spesso inferiore a un abbonamento fisso.

Cosa fare oggi. Se paghi un abbonamento mensile fisso per API AI ma il tuo utilizzo è irregolare, confronta il tuo consumo reale con i prezzi per token di DeepInfra su modelli equivalenti. Su volumi bassi o stagionali, la differenza può essere sostanziale.

Open ASR Leaderboard: benchmark più onesti per il riconoscimento vocale

L’Open ASR Leaderboard, la classifica pubblica dei migliori sistemi di ASR, ovvero Automatic Speech Recognition, il software che converte la voce in testo scritto, ha introdotto misure anti-benchmark-gaming. In italiano: meccanismi per impedire che i produttori ottimizzino artificialmente le prestazioni sui test pubblici senza migliorare le prestazioni reali.

Prima di queste misure, un modello poteva risultare primo in classifica su quel benchmark specifico e comportarsi peggio in produzione su audio reale con accenti regionali o rumore di fondo. Un problema non astratto: chi ha provato a trascrivere una riunione milanese con tre persone che si sovrappongono sa esattamente di cosa parliamo.

Per un’azienda che valuta soluzioni di trascrizione automatica, per verbali, call center, dettatura medica, i confronti pubblici diventano ora più affidabili. Non definitivi, ma più onesti.

Cosa fare oggi. Prima di scegliere un sistema di trascrizione, verifica se il fornitore dichiara le prestazioni sull’Open ASR Leaderboard. Poi chiedi un test su campioni audio reali del tuo contesto operativo: accenti del tuo territorio, terminologia di settore, condizioni acustiche reali. Le demo preconfezionate non bastano.

Domande correlate

Devo aggiornare subito vLLM a V1 se ho un sistema in produzione?

No. La migrazione richiede test di regressione su un ambiente separato prima di toccare la produzione. Prepara un campione di query critiche, confronta i risultati tra V0 e V1, tieni pronto un rollback. Un aggiornamento non testato può introdurre errori silenziosi nelle risposte, quelli che si scoprono solo quando un cliente si lamenta.

IBM Granite 4.1 è adatto a un’azienda italiana strutturata con dati sensibili?

È una scelta solida se puoi eseguirlo in locale o su cloud europeo certificato, e se hai bisogno di documentare la metodologia del modello per obblighi GDPR o audit interni. Richiede competenze tecniche per la messa in produzione: non è un’API da attivare in cinque minuti, ma il vantaggio normativo è reale.

DeepInfra conviene rispetto a OpenAI API per una piccola azienda?

Conviene se il tuo utilizzo è irregolare o stagionale e se i modelli open disponibili coprono il tuo caso d’uso. Per volumi bassi e discontinui, il modello pay-per-token è spesso più economico di un abbonamento fisso. Per casi d’uso che richiedono i modelli più recenti di OpenAI, il confronto va fatto caso per caso sui volumi reali.

Come scelgo un sistema di trascrizione vocale affidabile?

Verifica le prestazioni sull’Open ASR Leaderboard, poi testa su campioni audio reali del tuo contesto: riunioni con accenti regionali, chiamate con rumore di fondo, terminologia specifica del tuo settore. I dati di benchmark generici non sostituiscono un test operativo sul tuo audio.

Nemotron 3 Nano Omni è già utilizzabile da un’azienda?

Non in autonomia. Serve integrazione tecnica. È però il primo modello multimodale compatto abbastanza da non richiedere datacenter: se hai flussi che combinano audio, video e documenti, vale la pena tenerlo nel radar per i prossimi 12 mesi e chiedere una valutazione al tuo fornitore tecnico.

Fonti:

vLLM — libreria open source per inferenza LLM — accesso luglio 2025
DeepInfra su Hugging Face Inference Providers — accesso luglio 2025
[NVIDIA Developer Blog — Introducing NVIDIA Nemotron 3 Nano Omni](https://