חוות Kubernetes GPU: ריבוי דיירים, GPU Operator ותזמון

Slurm נשאר הסטנדרט לאימון סינכרוני גדול. אבל המציאות ברוב הארגונים מעורבת: כמה צוותים, שירותי הסקה, מחברות, fine-tuning באצווה, משימות CI. Kubernetes מנצח שם כי הוא מדבר בשפה שצוות הפלטפורמה כבר מפעיל: namespaces, RBAC, GitOps, observability. ה-GPU Operator מנהל דרייברים, device plugin, מדדי DCGM ו-node feature discovery בצורה הצהרתית, כך שצומת GPU מצטרף לאשכול בדקות במקום אחר צהריים של כיוונון ידני.

המלכודת היא להתייחס ל-GPU כמו ל-CPU. GPU אינו חלקי כברירת מחדל, משימות דורשות לרוב gang scheduling, והקצאה בטלה שורפת כסף בקצב שהופך בזבוז CPU לזניח.

אימון מבוזר דורש שיבוץ הכול-או-כלום: הרצת 7 מתוך 8 workers תוקעת את ה-fabric ומבזבזת כל GPU שהוקצה. Kueue מביא סמנטיקת תורים ל-Kubernetes: ClusterQueues עם מכסות לכל צוות, cohorts להשאלת קיבולת בטלה, וקבלת משימה רק כשכל ה-gang נכנס. בשילוב priority classes ו-preemption, צוות מחקר יכול לשאול את הלילות השקטים של צוות ההסקה בלי שאף אחד יפתח טיקט.

לשיתוף כרטיס בודד, בחרו במודע: MIG מחלק H100 או A100 לפרוסות מבודדות חומרתית עם ביצועים צפויים, אידאלי לשכבות הסקה. Time-slicing רך יותר, מתאים למחברות ופיתוח, שגוי ל-serving רגיש להשהיה. תעדו איזה פרופיל כל תור חושף ואכפו זאת בפלטפורמה, לא בידע שבטי.

אשכולות GPU מרובי דיירים נכשלים בגלל דליפות, לא בגלל תזמון. בודדו צוותים עם namespaces, NetworkPolicies ו-storage classes נפרדים; חשפו Helm charts מוזהבים או תבנית פנימית למשימות אימון והגשה, כדי שאף אחד לא ימציא מחדש pod specs במצב privileged. חיוב פנימי חשוב גם בתוך הארגון: פרסמו לוחות מחוונים של GPU-שעה לכל צוות מנתוני DCGM, כי עלות גלויה היא התמריץ העמיד היחיד נגד השתלטות על משאבים.

הריצו הכול דרך GitOps. הגדרות תורים, מכסות, פרופילי MIG וגרסאות דרייברים שייכים למאגר עם code review: שינויי מדיניות קיבולת הופכים להחלטות ניתנות לביקורת במקום הפתעות kubectl.