posts tagged #Genai

~/posts/agent-sandbox.el 21 min · 4433 words

$ Agent Sandbox - Kubernetes-native sandboxes για εκτέλεση κώδικα από AI agents

// Μια hands-on περιήγηση στο agent-sandbox, το project του Kubernetes SIG Apps για isolated, stateful, singleton workloads, φτιαγμένο για τα runtimes των AI agents. Με έναν Go agent με sandboxed tools σε Kind, warm pools που κάνουν claim σε 53ms, Flux GitOps, και τις παγίδες που δεν αναφέρει το documentation.

~/posts/llm-d-distributed-inference.el 23 min · 4723 words

$ llm-d - Kubernetes-native distributed LLM inference σε κλίμακα

// Μια hands-on περιήγηση στο llm-d, το CNCF Sandbox framework για distributed LLM inference σε Kubernetes: inference-aware routing, prefill/decode disaggregation και KV-cache offload. Με demo χωρίς GPU σε Kind, με το vLLM simulator και Flux GitOps.