Inference on SREKubeCraft | Nick Nikolakakis

Modelplane πέρα από το placement - Routing policy, το Dynamo stack και τέσσερα gotchas

Tue, 08 Sep 2026 00:00:00 +0000

Το πρώτο post για το Modelplane είχε μία δουλειά: να αποδείξει τον fleet scheduler σε ένα laptop. Τρία Kind clusters, ψεύτικες DRA GPU, ένα mock engine, και ένα manifest που δεν ονόμαζε ούτε cluster ούτε region και παρ’ όλα αυτά έβαζε από ένα replica στο καθένα. Αυτό φτιάχτηκε να δείξει το demo, και αυτό έδειξε.

Ό,τι βρίσκεται πάνω από τον scheduler το άφησα στην άκρη, επίτηδες. Ένα post που προσπαθεί να καλύψει μονοκοπανιά placement, traffic policy, sizing, ένα εναλλακτικό serving stack και το storage path είναι ένα post που δεν το τελειώνει κανείς. Αυτό εδώ είναι λοιπόν το δεύτερο μισό: το κομμάτι του API που πιάνεις στα χέρια σου όταν το placement δουλεύει πια και πρέπει να στήσεις από πάνω του ένα release process.

Modelplane - Fleet inference σε πολλά clusters, demo χωρίς ούτε μία GPU

Sun, 30 Aug 2026 00:00:00 +0000

Το serving ενός μοντέλου σε ένα cluster είναι λυμένο πρόβλημα. Διαλέγεις engine, του δίνεις μια GPU, στέλνεις το traffic πάνω του. Γι’ αυτή τη διαδρομή έχω γράψει ήδη δύο φορές, με το KServe και με το llm-d.

Αυτό που δεν έχει λύσει κανείς καθαρά είναι το fleet. Οι GPU είναι δυσεύρετες, οπότε παίρνεις capacity απ’ όπου βρεις: λίγο σε EKS, λίγο σε GKE, ένα reserved block σε κάποιο neocloud, ένα rack που έχεις ήδη. Τώρα έχεις πέντε clusters που το καθένα θέλει ακριβώς το ίδιο serving stack, και ένα μόνιμο πρόβλημα matchmaking: ποιο μοντέλο τρέχει σε ποιο hardware, σε ποιο region. Από κάτω κρύβονται δύο διαφορετικές δουλειές που οι περισσότερες πλατφόρμες τις κάνουν μία: το platform team πρέπει να δημοσιεύει τι hardware υπάρχει, και το ML team να ζητάει το hardware που χρειάζεται.

llm-d - Kubernetes-native distributed LLM inference σε κλίμακα

Sat, 15 Aug 2026 00:00:00 +0000

Πριν από τρεις μήνες έγραψα για το KServe και για το πώς το InferenceService CRD έχει γίνει ό,τι πιο κοντινό σε standard διαθέτει το cloud-native για να βάλεις ένα εκπαιδευμένο μοντέλο πίσω από ένα API. Εκείνο το post έκλεινε με ένα σκόπιμο cliffhanger: το KServe σου δίνει ένα πολύ καλό primitive για serving ενός μοντέλου, αλλά δεν λύνει το GPU sharing, το fractional scheduling ή το πώς κάνεις load balancing στο inference traffic ανάμεσα σε πολλά replicas ενός μεγάλου μοντέλου. Έδειξα προς το Volcano και το Kueue και προχώρησα.