אשכול GPU bare metal, NVLink, InfiniBand / RoCEv2
חוות GPU שעובדת בשבילכם, לא בשביל מונה שעתי
בעומס מתמשך, השכרת GPU לפי שעה עולה יותר מבעלות על החומרה. אנחנו מתכננים אשכולות bare metal לפי המשימות האמיתיות שלכם, מאומתים בבדיקות לפני ייצור.
מקרי שימוש
- אימון ו-fine-tuning של מודלים פנימיים על הנתונים הקנייניים שלכם
- הסקה בתפוקה גבוהה בעלות שולית מבוקרת
- רינדור תלת-ממד, סימולציה ומחשוב מואץ
- עומסים רציפים שבהם ענן שעתי הופך לבור תקציבי
ארכיטקטורת ייחוס
- Compute
- צמתי bare metal מרובי GPU עם NVLink פנימי, בלי היפרוויזור: 100% מהכוח למשימות שלכם.
- Fabric
- InfiniBand NDR 400G או RoCEv2 מכויל (PFC, ECN, MTU 9000, DCQCN) לפי תקציב וקנה מידה, מאומת עם ib_write_bw ובדיקות NCCL.
- הקצאה
- Drivers, CUDA, קושחה ותמונות באוטומציה (Ansible, Terraform), הדירים בכל הרחבת צי.
- ניטור
- DCGM, Prometheus ו-Grafana: ניצול GPU, בריאות ה-fabric והתראות מהיום הראשון.
מה תקבלו
- 01
תיק ארכיטקטורה מתומחר: טופולוגיה, BOM חומרה, עלויות ל-3 שנים
- 02
אשכול פרוס, מוקשח ונבדק (NCCL all-reduce, רוחב פס fabric)
- 03
ניטור והתראות מבצעיים
- 04
Runbook מלא והדרכת הצוותים שלכם
שאלות נפוצות
- האם InfiniBand חובה לחוות GPU?
- לא. מתחת ל-128 GPU, רשת RoCEv2 מכוילת היטב נותנת ביצועים שקולים לרוב עומסי האימון, בעלות נמוכה משמעותית. אנחנו מתמחרים את שתי האפשרויות בכל אבחון.
- On-prem, קולוקיישן או ענן ייעודי?
- שלושתם אפשריים. הבחירה תלויה באילוצי חשמל, מיקום נתונים וזמן עד הפעלה. האבחון משווה תרחישים עם מספרים, לא העדפות.