// Μια hands-on περιήγηση στο llm-d, το CNCF Sandbox framework για distributed LLM inference σε Kubernetes: inference-aware routing, prefill/decode disaggregation και KV-cache offload. Με demo χωρίς GPU σε Kind, με το vLLM simulator και Flux GitOps.
// Μια hands-on περιήγηση στο llm-d, το CNCF Sandbox framework για distributed LLM inference σε Kubernetes: inference-aware routing, prefill/decode disaggregation και KV-cache offload. Με demo χωρίς GPU σε Kind, με το vLLM simulator και Flux GitOps.