Definizione
Che cos’è Model serving e come funziona?
Gestisce caricamento, versioni, risorse, code e endpoint. In produzione richiede monitoraggio e procedure di rollback.
Per i modelli linguistici esistono motori di serving come vLLM o Text Generation Inference, mentre Triton Inference Server copre anche modelli di visione; Ollama è comodo per prove e piccoli carichi. Il continuous batching unisce richieste di utenti diversi sulla stessa GPU per sfruttarla meglio. Molti motori espongono un endpoint compatibile con l’API di OpenAI, così le applicazioni cambiano modello modificando solo l’indirizzo.
Esempio aziendale
Esempio di Model serving in azienda
Una piattaforma espone due versioni del modello, misura gli errori e può tornare rapidamente alla versione precedente.
Applicazioni
Quando può essere utile
- API di inferenza
- LLM privati
- computer vision
- scalabilità
- versionamento
Limiti
Quando fare attenzione
- Ollama usato in produzione con molti utenti
- nuova versione rilasciata a tutti in un colpo
- nessun controllo di salute sull’endpoint
- versione del modello non registrata nei log
Da non confondere
Model serving: con cosa non va confuso?
Il serving mette il modello in produzione. L’addestramento crea o aggiorna il modello.
Dalla definizione al progetto
Cosa può realizzare Agentix con Model serving
Per i clienti che vogliono un LLM privato o un modello di visione sui propri server, Agentix prepara l’infrastruttura di serving: motore di inferenza scelto in base a modello e carico, endpoint autenticato e compatibile con le applicazioni già sviluppate.
Il servizio include controlli di salute, limiti per utente, registrazione della versione di modello usata in ogni risposta e una procedura di rilascio graduale con ritorno alla versione precedente. Documentazione e script permettono al reparto IT di riavviare o aggiornare il servizio in autonomia.
Integra dati, software e AIRisposte rapide
Domande frequenti su Model serving
Che differenza c’è tra Ollama e vLLM?
Ollama è semplice da installare e adatto a sviluppo, prove e pochi utenti. vLLM è pensato per servire molte richieste insieme su GPU, con batching continuo e gestione efficiente della memoria. Per un assistente usato da un intero reparto si sceglie di solito il secondo.
Come si aggiorna un modello senza fermare il servizio?
Si avvia la nuova versione accanto alla vecchia e le si invia una piccola parte del traffico (rilascio canary), confrontando errori e qualità. Se i valori reggono si sposta tutto il traffico; altrimenti si torna indietro cambiando solo l’instradamento.
Dal concetto all’applicazione
Vuoi applicare Model serving nella tua azienda?
Partiamo dal processo, dai dati disponibili e dal risultato atteso per definire un primo progetto concreto.