Agent Sandbox - Kubernetes-native sandboxes για εκτέλεση κώδικα από AI agents

Fri, 21 Aug 2026 00:00:00 +0000

Πριν από μερικούς μήνες έφτιαξα έναν Kubernetes agent με το ADK της Google για Go. Εκείνος ο agent μιλούσε με το cluster: έτρεχε kubectl πάνω στο kind cluster μου και εξηγούσε τι έβλεπε. Αυτό το post πιάνει το ανάποδο πρόβλημα, που είναι και αυτό που πραγματικά δεν με αφήνει να κοιμηθώ: όταν ένα LLM γράφει κώδικα, πού τρέχει αυτός ο κώδικας;

Για τα περισσότερα agent stacks σήμερα, η ειλικρινής απάντηση είναι «σε όποιο μηχάνημα έτυχε να τρέχει το process του agent». Το LLM παράγει ένα shell command ή ένα Python script, το framework το κάνει exec, και όλοι ελπίζουν ότι το μοντέλο δεν θα βγάλει ποτέ ένα rm -rf ή κάτι που θα κάνει exfiltration τα credentials που κάθονται στο environment. Τα hosted sandboxes όπως το E2B και το Modal υπάρχουν ακριβώς γι’ αυτό. Αν όμως τρέχεις ήδη Kubernetes, το να στέλνεις το code execution των agents σου σε ένα third-party SaaS μοιάζει ανάποδο. Έχεις scheduler, έχεις network policy, έχεις runtimes με kernel isolation. Αυτό που σου έλειπε ήταν το workload abstraction.

llm-d - Kubernetes-native distributed LLM inference σε κλίμακα

Sat, 15 Aug 2026 00:00:00 +0000

Πριν από τρεις μήνες έγραψα για το KServe και για το πώς το InferenceService CRD έχει γίνει ό,τι πιο κοντινό σε standard διαθέτει το cloud-native για να βάλεις ένα εκπαιδευμένο μοντέλο πίσω από ένα API. Εκείνο το post έκλεινε με ένα σκόπιμο cliffhanger: το KServe σου δίνει ένα πολύ καλό primitive για serving ενός μοντέλου, αλλά δεν λύνει το GPU sharing, το fractional scheduling ή το πώς κάνεις load balancing στο inference traffic ανάμεσα σε πολλά replicas ενός μεγάλου μοντέλου. Έδειξα προς το Volcano και το Kueue και προχώρησα.

Genai on SREKubeCraft | Nick Nikolakakis

Agent Sandbox - Kubernetes-native sandboxes για εκτέλεση κώδικα από AI agents

llm-d - Kubernetes-native distributed LLM inference σε κλίμακα