In fondo a destra di questa pagina c’è una fatina
In questo momento, una piccola fata sta fluttuando nell’angolo in basso a destra di questo articolo. Si chiama Pixie. Parlale e ti risponde.
(Provaci pure. Di solito risponde in due o tre secondi.)
Questa fatina non usa nessun servizio di IA esterno. Quello che scrivi non viene inviato da nessuna parte. Una singola macchina che gestiamo noi lo riceve, ci ragiona sopra e risponde da lì.
Il che significa che la bolletta della luce di questa fatina la paghiamo noi.
Perché darsi tanto disturbo? È di questo che parla l’articolo.
Tutto è iniziato con “ma quanto è brava, davvero?”
Far girare un’IA dentro un server gestito dalla propria azienda. Si chiama private LLM, e sapevamo da tempo che questa possibilità esistesse.
Quello che non riuscivamo a capire era quanto valesse davvero. Puoi leggere tutti gli articoli introduttivi del mondo e continuare a non sapere se regge il lavoro vero. Certe cose si chiariscono solo facendole girare.
Quello che ci ha dato la spinta sono stati i soldi.
Oggi ogni sistema che costruiamo arriva con la domanda “si può aggiungere anche l’IA?”. Siamo felici che ce lo chiedano. Il punto è che le API di IA si pagano a consumo. Sui progetti per i clienti quel costo lo copre il cliente, e il conto è semplice. Sui nostri prodotti la storia cambia. La funzione la costruisci una volta sola, ma i soldi continuano a uscire finché resta accesa.
Lo stesso vale per gli abbonamenti di IA per lo sviluppo. Una licenza non è niente. Moltiplicala per il team e il numero smette di fare ridere.
Ci siamo ritrovati in un circolo. Non puoi sapere se è abbastanza buona senza provarla — ma provarla, di per sé, costa.
A quel punto, mettercene una sulla scrivania ha iniziato a sembrare la mossa sensata.
In breve: fa quasi tutto
Questa è stata la sorpresa più grande.
Quasi tutto quello che fa un servizio di IA esterno, lo fa anche una privata.
Quando si sente “self-hosted”, si tende a immaginare una versione ridotta all’osso. Almeno finora, non è stata la nostra esperienza.
- Scrivere, riassumere, sistemare la forma
- Tradurre
- Tirare fuori l’unica cosa che serve da una conversazione lunga
- Leggere foto e screenshot
- Prendere un PDF, un Word o un Excel così com’è e rispondere sul contenuto
- Rispondere partendo dai documenti interni dell’azienda invece che da nozioni generiche
- Essere integrata come funzione dentro le nostre app e i nostri servizi
Ci eravamo immaginati qualcosa di più simile a “una ricerca un po’ più sveglia, solo testo”. La prima volta che le abbiamo passato un’immagine e l’ha semplicemente letta, ci siamo sentiti un po’ sciocchi.
Certo, messa a confronto diretto con i modelli migliori al mondo, una differenza c’è. Per tutto ciò che significa progettare qualcosa di complesso da zero, continuiamo ad appoggiarci ai bravi servizi esterni. Però la maggior parte di quello che vogliamo delegare ogni giorno è già coperta dall’IA che gira sulla nostra macchina. Questa è stata l’impressione onesta.
Detto questo, non è stato un caso di accendere la spina e via.
Quale modello usare, come configurarlo, come dargli in pasto i documenti interni: tutto è stato limato pezzo per pezzo, e mettere a posto l’ambiente ha richiesto lavoro vero. Anche se il processo in sé è stato divertente. Studi l’equipaggiamento, lo tari, scendi nel dungeon e provi. Sembrava un gioco hack and slash.
Scriverlo per intero verrebbe lunghissimo, quindi la parte di costruzione diventerà un articolo a parte.
A cambiare non è stata la qualità, ma quante volte proviamo
Più della capacità in sé, ha pesato il fatto che sperimentare sia diventato gratis.
Sembra ovvio, ma: per quanto la si usi, il conto non cresce.
Prima, dieci tentativi significavano pagare dieci tentativi, quindi c’era sempre quell’attimo in cui ti chiedevi “ne vale la pena?”. Quell’attimo si presentava ogni singola volta.
Adesso non si presenta più.
L’effetto più evidente è stato sui nostri prodotti. Quando a qualcuno viene in mente “sarebbe interessante far gestire questo pezzo all’IA”, può semplicemente provarci. Prima l’idea sbatteva subito contro il discorso dei costi, e di solito moriva proprio lì.
La bolletta, tra l’altro, è arrivata molto sotto a quello per cui ci eravamo preparati. Una sorpresa piacevole.
Cosa le facciamo fare adesso
Ecco una parte di quello che gira oggi.
Guida del sito La fatina dell’inizio dell’articolo. Risponde a “che servizi offrite?” e “ma chi siete?”. Nessuno deve stare lì a presidiare, e non si lamenta se la interpellano alle due di notte.
Trasformare le conversazioni in attività Abbiamo collegato il private LLM all’app di chat che ci siamo costruiti, e pesca le cose da fare dal flusso della conversazione. Quello che prima spariva dopo un “ok, allora è deciso” adesso resta davvero sulla lista.
Accorciare la distanza tra le lingue Nel team girano giapponese, inglese e malese, quindi le traduzioni capitano tutti i giorni. E in quantità: esattamente il tipo di lavoro che si accumula in silenzio se lo mandi a un’API esterna.
Oltre a questi, le passiamo interamente anche compiti più piccoli: chatbot semplici, un primo controllo del tipo “si può pubblicare o no?”.
Messi in fila, hanno due cose in comune.
La prima è che nessuno di questi funziona senza consegnare informazioni interne vere. Nomi di clienti, cifre, cose non ancora pubbliche. Non un carattere di tutto ciò può finire a un servizio esterno.
La seconda è che nessuno di questi richiede intelligenza di livello 100. Quello che conta è la differenza tra zero e uno. Nessuna traduzione, contro una traduzione che si legge abbastanza bene. Nessuno che controlla, contro un primo controllo che esiste. Quel salto è il salto grosso, e tutto ciò che viene dopo — “sì, ma più intelligente” — è onestamente un extra.
Alla fine i lavori che solo l’IA migliore del mondo sa fare sono molti meno di quanto pensassimo. Una volta capito, la gamma di cose che ci siamo sentiti di delegare si è allargata in fretta.
(Anche l’app di chat l’abbiamo costruita noi, ma quello è materiale per un altro articolo.)
E funziona bene anche per la privacy
Il vero ostacolo a portare l’IA nel lavoro non è la tecnologia. È decidere cosa si può darle in pasto. Nomi di clienti, importi delle offerte, disegni non ancora pubblicati, discorsi sul personale. Buona parte del lavoro per cui vorremmo aiuto contiene proprio informazioni che non possono uscire dall’azienda.
Molte aziende rispondono vietando l’IA sul lavoro. Solo che così la si ferma soltanto dentro l’azienda.
Chi ha una scadenza addosso tira fuori il telefono personale e se la fa fare lì. Non c’è cattiva fede. Viviamo già in un’epoca in cui l’IA fa parte del modo di lavorare. E l’azienda non ha alcun modo di sapere cosa è uscito.
È come il divieto di fumo. Vietare non fa sparire una cosa. La rende invisibile.
Un private LLM è, secondo noi, una risposta concreta a questo — e più pesanti sono le informazioni che un’azienda gestisce, più vale. Una società quotata deve poter spiegare a posteriori chi ha inserito cosa. Uno studio legale o di commercialisti ha il segreto professionale. Un ente pubblico deve stabilire dove possono stare i dati dei cittadini. In sanità, dove un errore pesa davvero, il primo passo non viene proprio mai fatto. Nessuno di questi casi è bloccato sul come usare l’IA. Sono tutti bloccati sul dove metterla.
Detto questo, non abbiamo portato tutto in casa
Per chiarezza: non abbiamo smesso di usare IA esterne.
Per il lavoro di sviluppo continuiamo a pagare IA esterne. Sui problemi difficili, chiedere al modello più forte è semplicemente più veloce. Usiamo entrambe le cose.
Quindi non è una discussione su quale delle due sia quella giusta.
Il lavoro che può uscire esce. Quello che non può resta qui.
Ciò che conta è chi traccia quella linea. Se sei tu a tracciarla, puoi spostarla quando vuoi.
Stiamo anche mettendo a punto, senza troppo clamore, un agente di programmazione che gira sul private LLM, con l’obiettivo di arrivare a sviluppare interamente sulla nostra macchina.
”Non lo mandiamo fuori” non è una cosa che la buona volontà possa garantire
Due parole sul meccanismo. Ogni tanto si legge la spiegazione “la nostra policy è di non trasmettere all’esterno”. La buona volontà non ha mai tenuto quella linea. Deve essere impossibile, non sconsigliato.
Quello che facciamo è abbastanza semplice: tra l’utente e l’IA c’è un unico posto di blocco. Tutto ciò che passa e ciò che non passa si decide lì. La parte importante è che quel posto di blocco sta dalla nostra parte — ed è anche il motivo per cui le regole si possono cambiare dopo.
In sintesi, ecco cosa abbiamo stabilito:
- Il traffico in uscita è bloccato di default. Ciò che viene fatto passare è indicato esplicitamente
- Chi ha chiesto cosa viene registrato — non per incastrare qualcuno, ma per poter rispondere se ce lo chiedono
- Ogni impiego ha un ambito definito, e l’IA non ne esce
- Se non è nei documenti, la risposta è “qui non è riportato”
Quest’ultimo punto è silenziosamente ottimo. Si può configurare perché non faccia finta di sapere. È la risposta più pratica che abbiamo trovato alla preoccupazione che tutti sollevano: “e se si inventa le cose con aria sicura?”
Detto tutto ciò, onestamente: nessuna configurazione porta il rischio a zero. Più che promettere garanzie perfette, è realistico decidere in anticipo cosa esce e fin dove.
Per chiudere
Forse stai pensando che tutto questo sia troppo grosso per la tua azienda. Noi abbiamo iniziato con una macchina sola. Abbiamo aggiunto un gruppo di continuità perché non si spegnesse durante un blackout, ma il grosso è quello.
Per finire, parla con la fatina in basso a destra.
Il punto di questa fatina è che possiamo lasciarla aperta a chiunque, gratis. Se girasse su un’API a consumo, ogni conversazione ingrosserebbe una fattura e non potremmo permetterci tanta generosità. Vive di corrente elettrica, quindi la porta può restare aperta.
Nei pochi secondi che impiega a risponderti, niente di quello che hai scritto esce dai nostri uffici. È davvero tutto qui.
Se non fosse che abbiamo visto troppe aziende non partire con l’IA soltanto perché quell’unica questione non è mai stata risolta. Ci sembra uno spreco.
Se questo articolo ti ha fatto venire voglia di capire come sarebbe nella tua azienda, può esserti utile anche la pagina infrastruttura private LLM. E puoi scriverci quando vuoi: ci fa piacere parlarne.