Batch on SREKubeCraft | Nick Nikolakakis

Karmada v1.19 Multi-Component Scheduling - Ένα training job, τρία clusters, τέσσερις σιωπηλές αποτυχίες

Fri, 16 Oct 2026 00:00:00 +0000

Έχεις τρία GPU clusters και ένα control plane μπροστά τους. Κάποιος υποβάλλει ένα distributed training job: ένας master, δύο workers. Θέλεις ολόκληρο το job σε ένα cluster, γιατί NCCL ανάμεσα σε regions δεν είναι κάτι που το κάνεις επίτηδες. Γράφεις το προφανές policy: μοίρασε τα replicas και στρίμωξέ τα σε όσο το δυνατόν λιγότερα clusters.

Το job τρέχει τρεις φορές. Μία σε κάθε cluster. Στο control plane όλα τα status είναι πράσινα.

Kubernetes 1.37 Gang Scheduling - Το Workload API, ένα field που χάνεται σιωπηλά και το σημείο όπου σταματά το preemption

Tue, 22 Sep 2026 00:00:00 +0000

Δίνεις σε ένα training job με τέσσερα ranks ένα cluster με έξι GPUs. Ο scheduler τοποθετεί τρία ranks, ξεμένει από devices και αφήνει το τέταρτο Pending. Έρχεται ένα δεύτερο job με τέσσερα ranks και παίρνει τις άλλες τρεις. Τώρα έχεις έξι GPUs δεσμευμένες, δύο pods Pending για πάντα και μηδέν jobs που κάνουν training. Τίποτα δεν έχει χαλάσει. Κάθε pod που μπορούσε να γίνει schedule, έγινε. Αυτό ακριβώς είναι το πρόβλημα.