https://srekubecraft.io/el/tags/llm-d/Recent content in Llm-D on SREKubeCraft | Nick NikolakakisHugoel-GRSat, 15 Aug 2026 00:00:00 +0000https://srekubecraft.io/el/posts/llm-d-distributed-inference/Sat, 15 Aug 2026 00:00:00 +0000https://srekubecraft.io/el/posts/llm-d-distributed-inference/<p>Πριν από τρεις μήνες <a href="https://srekubecraft.io/posts/kserve/">έγραψα για το KServe</a> και για το πώς το <code>InferenceService</code> CRD έχει γίνει ό,τι πιο κοντινό σε standard διαθέτει το cloud-native για να βάλεις ένα εκπαιδευμένο μοντέλο πίσω από ένα API. Εκείνο το post έκλεινε με ένα σκόπιμο cliffhanger: το KServe σου δίνει ένα πολύ καλό primitive για serving ενός μοντέλου, αλλά δεν λύνει το GPU sharing, το fractional scheduling ή το πώς κάνεις load balancing στο inference traffic ανάμεσα σε πολλά replicas ενός μεγάλου μοντέλου. Έδειξα προς το Volcano και το Kueue και προχώρησα.</p>