▸ avstudio.ai · Commento News

Conviene il self-hosting di modelli AI open weight MoE?

I modelli AI MoE open weight sono tecnicamente gestibili su server aziendali. Valutiamo se il self-hosting conviene economicamente rispetto alle API a consumo.

Modelli open weight 2026: conviene davvero il self-hosting?

I modelli AI con architettura MoE, sigla inglese per Mixture of Experts, cioè “miscela di esperti”, attivano solo una parte dei loro parametri per ogni risposta. Questo li rende tecnicamente gestibili su server aziendali. Se valga economicamente è un’altra questione, e dipende da numeri che molti non hanno ancora misurato.

In sintesi

  • Kimi K2 ha 1 trilione di parametri totali ma ne attiva circa 32 miliardi per risposta; DeepSeek V3 attiva circa 37 miliardi su 671 totali.
  • L’architettura MoE riduce la VRAM, cioè la memoria della scheda grafica, attiva durante il calcolo, non quella necessaria a caricare il modello: servono comunque server con decine o centinaia di GB di memoria GPU.
  • Con GPT-4o a circa 2,50 dollari per milione di token in input, chi consuma 50 milioni di token al mese spende circa 1.500 dollari mensili di sola API. Sotto i 20-30 milioni di token mensili, le API a consumo restano più convenienti.
  • Le licenze di DeepSeek e Kimi K2 permettono uso commerciale, ma con clausole che vanno lette prima del deploy, cioè la messa in produzione.
  • La decisione tecnica resta umana: nessun modello open weight si gestisce da solo.

Cosa sono i modelli open weight e perché tornano di moda

Un modello open weight è un sistema AI i cui parametri, cioè i valori numerici che determinano come il modello risponde, sono pubblicamente scaricabili. Non è la stessa cosa di “open source” nel senso tradizionale. Il codice di addestramento spesso non è pubblico, ma il modello funzionante sì. Questo significa che un’azienda può installarlo sui propri server invece di pagare ogni singola chiamata a servizi esterni come OpenAI o Anthropic.

Fino a un anno fa il divario qualitativo rispetto ai modelli proprietari era netto. Nel 2025-2026 si è ridotto in modo rilevante, principalmente grazie all’architettura MoE. Invece di attivare tutti i parametri per ogni risposta, il sistema attiva solo un sottoinsieme specializzato, detto appunto “esperto”. Il risultato è che modelli con centinaia di miliardi di parametri totali consumano risorse computazionali paragonabili a modelli molto più piccoli durante l’uso reale.

Per capire la portata concreta: un hotel con un chatbot (assistente conversazionale automatico) per le prenotazioni, o uno studio legale con un assistente per la ricerca documentale, prima doveva scegliere tra qualità e costo. Oggi quella scelta è meno obbligata.

L’architettura MoE: cosa cambia davvero per l’hardware

È il punto su cui circolano più imprecisioni. Vale essere precisi.

Kimi K2 ha 1 trilione di parametri totali. Per ogni risposta ne attiva circa 32 miliardi, anche se il numero esatto varia in base alla natura della richiesta e a come il router interno distribuisce il carico tra gli esperti: non è un valore fisso assoluto, ma un ordine di grandezza affidabile. DeepSeek V3 attiva circa 37 miliardi sui 671 totali. In entrambi i casi, il costo computazionale per singola risposta è paragonabile a quello di un modello “denso” da 32-37 miliardi di parametri.

C’è però una distinzione che conta. MoE riduce la VRAM attiva durante l’inference (esecuzione del modello su una singola richiesta), non la VRAM totale necessaria a caricare l’intero modello in memoria. Un modello da 1 trilione di parametri, anche con architettura MoE, richiede comunque decine o centinaia di gigabyte di memoria GPU per essere reso disponibile. Non funziona su una workstation da ufficio. Servono server con schede grafiche professionali di fascia alta.

Detto questo: il costo per singola risposta, una volta che il modello è caricato, è effettivamente contenuto. Ed è su questo che si costruisce il ragionamento economico.

I conti: quando conviene il self-hosting rispetto alle API

Le API a consumo si misurano in dollari per milione di token, dove un token equivale a circa 4 caratteri di testo. GPT-4o di OpenAI costa circa 2,50 dollari per milione di token in input e 10 dollari per milione in output (prezzi pubblici OpenAI, luglio 2025). Claude Sonnet di Anthropic ha tariffe simili.

Un esempio concreto. Una clinica che usa un assistente AI per gestire le richieste dei pazienti, redigere bozze di referti e rispondere a domande amministrative raggiunge facilmente 50 milioni di token al mese tra input e output. Con GPT-4o, la spesa mensile si avvicina a 1.500-2.000 dollari, cioè 18.000-24.000 dollari l’anno, senza contare i costi di integrazione.

Un server dedicato con GPU adeguata al self-hosting di un modello MoE di media taglia costa 2.000-4.000 dollari al mese su cloud dedicato. Per soluzioni on-premise, l’investimento hardware una tantum è nell’ordine dei 30.000-80.000 euro. Il break-even a 6-12 mesi regge solo con volumi elevati e continui.

Sotto i 20-30 milioni di token mensili, le API restano più convenienti per la maggior parte delle realtà operative. Non richiedono personale tecnico dedicato, né responsabilità diretta sull’infrastruttura. La variabile nascosta è proprio questa: un modello self-hosted richiede qualcuno che lo installi, aggiorni e monitori. Se quella competenza non è già in casa, va messa nel conto del confronto economico, altrimenti i numeri mentono.

Licenze: il dettaglio che molti saltano

“Open weight” non significa “usabile liberamente per qualsiasi scopo commerciale senza condizioni”. Non funziona così.

DeepSeek V3 e R1 sono distribuiti con una licenza MIT modificata che permette l’uso commerciale, ma include restrizioni sull’uso per addestrare modelli concorrenti e obblighi di attribuzione. Kimi K2 di Moonshot AI ha una licenza commerciale con limitazioni legate alla scala: sopra una certa soglia di utenti attivi mensili, le condizioni cambiano. Qwen3 di Alibaba usa la licenza Apache 2.0, generalmente più permissiva.

Prima del deploy in produzione, cioè prima di mettere il modello in uso reale con clienti o dipendenti, la licenza specifica va letta. Non è burocrazia: una violazione può esporre a contestazioni legali o bloccare l’accesso agli aggiornamenti futuri.

Resta il fatto che chi usa questi modelli in contesti professionali deve anche considerare il Regolamento UE 2024/1689 sull’intelligenza artificiale, noto come AI Act. Gli obblighi non sono generici: dipendono dal contesto d’uso e dal livello di rischio del sistema. Se il modello entra in un processo che impatta decisioni su persone fisiche, come la gestione di candidature o la valutazione creditizia, gli obblighi di conformità aumentano in modo significativo. Per capire se la tua azienda rientra nei casi ad alto rischio, la classificazione del rischio AI Act è il punto di partenza corretto.

La decisione che resta umana

Nessuno di questi modelli si gestisce da solo. Il punto è chiaro.

La scelta tra API a consumo e self-hosting dipende da tre variabili che solo il titolare o il responsabile operativo dell’azienda può valutare: il volume reale di utilizzo, quello misurato non quello stimato; la disponibilità di competenze tecniche interne o esterne affidabili; il livello di controllo sui dati che il contesto operativo richiede.

Un ecommerce con picchi stagionali ha esigenze diverse da uno studio notarile che elabora documenti riservati tutto l’anno. Un ristorante che usa l’AI per rispondere alle prenotazioni ha probabilmente un volume troppo basso per giustificare infrastruttura dedicata. Una società immobiliare che analizza centinaia di contratti al mese potrebbe avere i numeri per farlo.

Il modello giusto non è il più grande o il più recente. È quello che si adatta al volume reale, alla licenza compatibile con il tuo uso e all’infrastruttura che puoi realisticamente gestire, con le persone che hai oggi o puoi ragionevolmente aggiungere.

Domande correlate

Cosa serve tecnicamente per fare self-hosting di un modello MoE?

Serve un server con GPU professionale da almeno 80-160 GB di VRAM totale per modelli di taglia media, un sistema operativo Linux, software di serving come vLLM o Ollama, e una persona tecnica che gestisca installazione e aggiornamenti. Non è un’operazione per un responsabile IT generalista senza esperienza specifica di modelli AI.

Le API a consumo sono più sicure per i dati aziendali?

Dipende dal fornitore e dal contratto. I principali provider come OpenAI e Anthropic offrono accordi enterprise con garanzie sul non utilizzo dei dati per addestrare i modelli. Il self-hosting garantisce che i dati non escano dall’infrastruttura aziendale, ma sposta la responsabilità della sicurezza interamente sull’azienda stessa.

Qwen3, DeepSeek e Kimi K2 sono equivalenti in qualità?

No. Hanno punti di forza diversi: DeepSeek eccelle nel ragionamento matematico e nel codice, Kimi K2 è progettato per task agentici, cioè compiti che richiedono più passaggi autonomi, Qwen3 ha una copertura linguistica più ampia. La scelta dipende dal caso d’uso specifico, non dalla dimensione dei parametri totali.

Quanto tempo ci vuole per mettere in produzione un modello open weight?

Per un’installazione base su cloud dedicato, da una settimana a un mese, a seconda della complessità dell’integrazione con i sistemi esistenti. Per soluzioni on-premise con hardware proprio, aggiungere il tempo di approvvigionamento hardware: 4-8 settimane aggiuntive.

Fonti:

Vuoi capire come applicarlo alla tua azienda?