76. IA locale legale finalmente si può fare!

Questa è una puntata ti parlo dei miei esperimenti per ottimizzare al massimo l’utilizzo del mio Mac con l’IA locale.

00:00:00 Intro e presentazione del podcast
00:00:37 Comunicazioni di servizio
00:01:41 Sperimentazioni con agenti AI locali (Open Claw, Agent Zero, Craft Agent)
00:03:05 App open source per anonimizzare documenti legali
00:05:09 Il problema: contesto limitato sui modelli locali
00:09:12 La scoperta: ottimizzare la configurazione con Perplexity
00:10:27 Trucco 1 – Aumentare la RAM dedicata alla GPU
00:13:12 Trucco 2 – Ottimizzare Ollama e ridurre i job paralleli
00:15:21 Trucco 3 – I modelli MoE (Mixture of Experts)
00:17:12 Qwen 3.5 35B e Nemotron 3 Nano: i modelli consigliati
00:21:29 Cos'è la KV Cache e come funziona
00:26:29 Il prompt usato e i risultati concreti ottenuti
00:29:42 Avvertenze: trade-off tra contesto grande e tempi di risposta
00:31:55 MLX e ottimizzazioni avanzate per Apple Silicon
00:33:50 AI locale: privacy, vantaggi e futuro per i professionisti
00:36:57 Saluti e conclusione

https://www.avvocati-e-mac.it/podcast/76