Gpu on SREKubeCraft | Nick Nikolakakis

Karmada v1.19 Multi-Component Scheduling - Ένα training job, τρία clusters, τέσσερις σιωπηλές αποτυχίες

Fri, 16 Oct 2026 00:00:00 +0000

Έχεις τρία GPU clusters και ένα control plane μπροστά τους. Κάποιος υποβάλλει ένα distributed training job: ένας master, δύο workers. Θέλεις ολόκληρο το job σε ένα cluster, γιατί NCCL ανάμεσα σε regions δεν είναι κάτι που το κάνεις επίτηδες. Γράφεις το προφανές policy: μοίρασε τα replicas και στρίμωξέ τα σε όσο το δυνατόν λιγότερα clusters.

Το job τρέχει τρεις φορές. Μία σε κάθε cluster. Στο control plane όλα τα status είναι πράσινα.

Kubernetes 1.37 Gang Scheduling - Το Workload API, ένα field που χάνεται σιωπηλά και το σημείο όπου σταματά το preemption

Tue, 22 Sep 2026 00:00:00 +0000

Δίνεις σε ένα training job με τέσσερα ranks ένα cluster με έξι GPUs. Ο scheduler τοποθετεί τρία ranks, ξεμένει από devices και αφήνει το τέταρτο Pending. Έρχεται ένα δεύτερο job με τέσσερα ranks και παίρνει τις άλλες τρεις. Τώρα έχεις έξι GPUs δεσμευμένες, δύο pods Pending για πάντα και μηδέν jobs που κάνουν training. Τίποτα δεν έχει χαλάσει. Κάθε pod που μπορούσε να γίνει schedule, έγινε. Αυτό ακριβώς είναι το πρόβλημα.

Modelplane πέρα από το placement - Routing policy, το Dynamo stack και τέσσερα gotchas

Tue, 08 Sep 2026 00:00:00 +0000

Το πρώτο post για το Modelplane είχε μία δουλειά: να αποδείξει τον fleet scheduler σε ένα laptop. Τρία Kind clusters, ψεύτικες DRA GPU, ένα mock engine, και ένα manifest που δεν ονόμαζε ούτε cluster ούτε region και παρ’ όλα αυτά έβαζε από ένα replica στο καθένα. Αυτό φτιάχτηκε να δείξει το demo, και αυτό έδειξε.

Ό,τι βρίσκεται πάνω από τον scheduler το άφησα στην άκρη, επίτηδες. Ένα post που προσπαθεί να καλύψει μονοκοπανιά placement, traffic policy, sizing, ένα εναλλακτικό serving stack και το storage path είναι ένα post που δεν το τελειώνει κανείς. Αυτό εδώ είναι λοιπόν το δεύτερο μισό: το κομμάτι του API που πιάνεις στα χέρια σου όταν το placement δουλεύει πια και πρέπει να στήσεις από πάνω του ένα release process.

Modelplane - Fleet inference σε πολλά clusters, demo χωρίς ούτε μία GPU

Sun, 30 Aug 2026 00:00:00 +0000

Το serving ενός μοντέλου σε ένα cluster είναι λυμένο πρόβλημα. Διαλέγεις engine, του δίνεις μια GPU, στέλνεις το traffic πάνω του. Γι’ αυτή τη διαδρομή έχω γράψει ήδη δύο φορές, με το KServe και με το llm-d.

Αυτό που δεν έχει λύσει κανείς καθαρά είναι το fleet. Οι GPU είναι δυσεύρετες, οπότε παίρνεις capacity απ’ όπου βρεις: λίγο σε EKS, λίγο σε GKE, ένα reserved block σε κάποιο neocloud, ένα rack που έχεις ήδη. Τώρα έχεις πέντε clusters που το καθένα θέλει ακριβώς το ίδιο serving stack, και ένα μόνιμο πρόβλημα matchmaking: ποιο μοντέλο τρέχει σε ποιο hardware, σε ποιο region. Από κάτω κρύβονται δύο διαφορετικές δουλειές που οι περισσότερες πλατφόρμες τις κάνουν μία: το platform team πρέπει να δημοσιεύει τι hardware υπάρχει, και το ML team να ζητάει το hardware που χρειάζεται.