Infrastruttura Fondante

In un singolo sprint abbiamo provisionato lo stack produttivo completo di Intellixer: infrastruttura Google Cloud via Terraform (GCE VM, Cloud SQL Postgres, Secret Manager, backup GCS, cifratura KMS), un gateway API LiteLLM con tracciamento utilizzo su Postgres, pipeline di anonimizzazione PII con Presidio, e il nodo di inferenza on-prem Mac Mini M4 con MLX tramite uno shim FastAPI personalizzato dietro Caddy TLS.

Architettura

Client → api.intellixer.farm (GCE, LiteLLM) → dc1.webhop.me (Caddy/Mac M4) → mlx_lm

• 65 file infrastrutturali committati in un solo giorno
• Moduli Terraform: GCE, Cloud SQL, GCS, KMS, IAM, Secret Manager
• Proxy LiteLLM con callback personalizzati per audit e privacy
• Reverse proxy Caddy con shim on-prem autenticato via token
• Pipeline NLP Presidio per scrubbing PII GDPR prima dell'inferenza

Hardware

Mac Mini M4 (16 GB Unified Memory) esegue modelli quantizzati da 3 miliardi di parametri a oltre 30 token al secondo sull'Apple Neural Engine — a una frazione del costo del cloud GPU.