Laya: il motore che decide prima di chiedere al grande modello

Quando chatti con un assistente intelligente, non sempre serve la stessa «potenza» né tutti gli strumenti disponibili. Laya è un motore leggero che vive dentro TuaGate e risponde a domande del tipo «serve davvero usare gli strumenti?» o «che tipo di richiesta è questa?», senza scrivere paragrafi di risposta. Abbiamo scelto di integrare Laya su TuaGPT sia per diverse ragioni tecniche volte all'ottimizzazione delle prestazioni generali della piattaforma, sia per un beneficio concreto su tutti: inviare meno strumenti al modello principale quando la conversazione non ne ha bisogno, con chat più snelle e meno distrazioni per il modello.

Perché esiste un motore decisionale

Immagina di avere una scrivania piena di attrezzi: cacciavite, martello, pinze, chiavi. Se ogni volta che fai una domanda qualcuno ti mette tutto sul tavolo, perdi tempo e rischi di confonderti. I modelli di linguaggio grandi funzionano in modo simile quando ricevono decine di «tool» (ricerca web, file, calcolatrice, automazioni): devono leggere descrizioni lunghe e decidere se usarli, anche quando la domanda è solo «ciao» o «riassumi questo testo».

Laya non sostituisce il modello con cui scrivi le risposte. Fa un compito diverso: in pochi millisecondi classifica la situazione e restituisce una decisione strutturata (sì o no, oppure una scelta tra categorie), con un indicatore di quanto è sicura. Il cuore tecnico è un modello specializzato eseguito sul server (ONNX, cioè ottimizzato per girare in modo efficiente accanto agli altri servizi di TuaGate), ma per l’utente finale conta l’effetto: meno rumore, scelte più mirate.

Dove vive Laya: TuaGate

TuaGate è il gateway che collega i client (come TuaGPT) ai motori di intelligenza artificiale. È lì che Laya viene installato, verificato e tenuto aggiornato dall’amministratore. TuaGPT non scarica Laya sul PC dell’utente: chiede a TuaGate una valutazione quando serve, usando un «modello virtuale» chiamato SystemOne (nome tecnico tuagate-systemone). È come una linea telefonica dedicata alle sole decisioni, separata dalla chat normale.

Prima di poter usare questa linea, TuaGate deve avere il pacchetto del modello Laya pronto, il motore decisionale attivo e l’opzione che consente ai client di chiamarlo. Se qualcosa non è pronto, TuaGPT non si blocca: continua come prima (comportamento fail-open, cioè «meglio funzionare senza ottimizzazione che fermare la chat»).

La doppia veste di Laya su TuaGate

Su TuaGate, Laya non fa una sola cosa. Ha due ruoli distinti: uso interno e esposizione ai client tramite le api systemone

1. Uso interno: il modello virtuale per il routing

Quando in TuaGate è attivo il modello virtuale «automatico» (spesso indicato come tuagate-auto), il gateway può scegliere da solo quale modello usare tra tutti quelli referenziati dagli endpoint configurati: più veloce, equilibrato o più capace. Per farlo non chiede al modello grande di ragionare a lungo: usa Laya in casa, con domande interne (per esempio complessità, intento, se servono strumenti). Questo avviene sul server, senza che TuaGPT debba fare una chiamata extra.

In pratica: tu selezioni «lascia decidere TuaGate» e dietro le quinte Laya aiuta a indirizzare la richiesta verso il motore giusto. È una leva per qualità, latenza e costi, gestita dalla configurazione del gateway.

2. Uso verso i client (Da TuaGPT): le API SystemOne

La seconda veste è esposta alle applicazioni collegate, tra cui TuaGPT. Tramite l’endpoint SystemOne il client può porre domande personalizzate su uno «stato» (per esempio l’ultimo messaggio o un breve estratto della conversazione) e ricevere risposte tipizzate: scelta tra opzioni, punteggio ordinato, o sì/no.

Qui la creatività è lato applicazione: TuaGPT (oggi o in futuro) può usare Laya per capire se mostrare un pannello, quale flusso attivare, o se ridurre gli strumenti inviati al modello. TuaGate fa da custode: autenticazione, limiti di frequenza, controllo che il servizio sia abilitato per i client.

Entrambi i ruoli possono usare lo stesso motore Laya, ma non è obbligatorio usarli insieme sullo stesso messaggio: doppie valutazioni sullo stesso turno aumentano i tempi di attesa senza un vantaggio chiaro. Di solito si preferisce policy lato server oppure scelta mirata lato client.

Cosa fa TuaGPT in questa prima implementazione

L’integrazione iniziale in TuaGPT è volutamente pratica e opzionale. Non cambia il modo in cui scrivi i messaggi: aggiunge uno strato intelligente nella preparazione della richiesta al modello grande, in particolare per i Tool LLM (le funzioni che il modello può invocare).

La domanda «servono gli strumenti?»

Quando attivi l’opzione nelle Impostazioni, scheda dedicata ai tool del modello, TuaGPT invia a SystemOne una domanda del tipo needs_tools: «in base a questo messaggio e a questo contesto, è probabile che serva usare strumenti?». Laya risponde con una probabilità e un livello di confidenza.

Se la risposta è chiara e supera una soglia configurabile, TuaGPT non invia l’elenco completo degli strumenti al modello per quel turno. Il modello risponde come in una chat normale, senza dover scegliere tra decine di azioni inutili. Se Laya non è disponibile, va in errore di rete o non è sicuro, TuaGPT torna al comportamento classico: tutti gli strumenti abilitati restano disponibili.

Cosa non fa (per ora) questa fase

• Non sostituisce la scelta del modello che fai tu nel menu, salvo gli effetti indiretti del routing su TuaGate se usi un modello automatico lato gateway.
• Non decide da solo permessi, prezzi o regole di sicurezza: sono compiti deterministici o amministrativi, non adatti a una classificazione probabilistica.
• Non genera testo per l’utente: non vedrai mai «risposte di Laya» nella chat; lavora solo dietro le quinte.

Requisiti e trasparenza

Per usare il layer decisionale da TuaGPT serve una versione recente di TuaGate (dalla 1.8.25 in poi), il modello Laya installato e verificato sul server, e l’esposizione del servizio ai client attivata dall’amministratore. TuaGPT può leggere queste informazioni dal catalogo delle capacità del gateway e mostrare in impostazioni se il servizio è pronto.

Puoi regolare timeout e soglia di confidenza per la domanda sugli strumenti. L’obiettivo è equilibrio: essere abbastanza prudenti da non togliere tool quando servono, ma abbastanza decisi da alleggerire le richieste quando sono chiaramente conversazione o testo semplice.

Un esempio quotidiano

Scrivi: «Buongiorno, come stai?». Senza Laya, il modello potrebbe comunque ricevere descrizioni di ricerca web, lettura file, automazioni browser e altro. Con il layer attivo, TuaGPT chiede prima a Laya; se la risposta è «strumenti improbabili», la richiesta al modello principale resta leggera. Poco dopo chiedi: «Cerca sul web il prezzo attuale di X e metti il risultato in una tabella». Laya tende a segnalare che gli strumenti servono, e TuaGPT ripristina l’invio completo dei tool abilitati per quel turno.

Prospettive

SystemOne è progettato per crescere: altre domande (intento, tipo di compito, suggerimenti di interfaccia) possono essere aggiunte in TuaGPT senza caricare nuovi modelli sul desktop, sempre tramite TuaGate. Il routing interno di tuagate-auto e le chiamate esplicite da client restano complementari: il primo ottimizza l’infrastruttura, il secondo ottimizza l’esperienza dell’applicazione che usi ogni giorno.

Se amministri TuaGate, cura installazione e aggiornamento del modello Laya come fai per gli altri componenti del gateway. Se usi solo TuaGPT, ti basta sapere che esiste un interruttore chiaro nelle impostazioni dei tool e che, quando è spento o il server non è pronto, nulla cambia rispetto al passato.

Glossario minimo

Laya

Motore decisionale multilingue eseguito su TuaGate; classifica e stima senza generare risposte in linguaggio naturale per l’utente.

SystemOne

Nome del servizio e del modello virtuale (tuagate-systemone) con cui i client chiedono decisioni strutturate a TuaGate.

Tool LLM

Funzioni che il modello può chiamare (ricerca, file, integrazioni). Ridurli quando non servono alleggerisce ogni richiesta.

tuagate-auto

Modalità in cui TuaGate sceglie il livello di modello; può appoggiarsi a Laya internamente, indipendentemente da SystemOne nel client.

Fail-open

Se la valutazione decisionale non è disponibile, l’applicazione continua con il comportamento standard invece di interrompere la chat.

Per dettagli di configurazione amministrativa e contratti API, consulta la documentazione tecnica disponibile in area utente.