ניו-טק מגזין | יולי 2026 | המהדורה הדיגיטלית

AI scaling laws drive exponential compute demand

NISKO PROJECTS קרדיט תמונת שער: « כל יחידת פלט (טוקן) יש להעביר את כלל איטי DRAM המודל הלוך ושוב בין זיכרון לבין יחידת HBM בשם GPU יותר המכונה ב־ ויחידת החישוב HBM העיבוד עצמה. אף שה־ ועל אותו GPU ממוקמים על אותו כרטיס מצע סיליקון, הם עדיין מחוברים באמצעות מוליכים פיזיים, המייצרים צווארי בקבוק. יכולה לאחסן Cerebras המשמעות היא ש- בזיכרון המהיר של המעבד LLM את מודל ה־ באופן רציף, ובכך לאפשר יצירת טוקנים במהירות גבוהה במיוחד. המגבלות של כרטיסי עיבוד בארכיטקטורות ניכרות Generative AI בתחום ההיסק עבור היטב בגרפי הביצועים שמפרסמים חוקרי תעשייה עצמאיים. GPT - ניתן לראות כי את מודל 5 בתרשים GPU אפשר לארח על שלושה OSS -120 B , כאשר כל מעבד מספק GB 200 במערכת טוקנים בשנייה. 52,000־ תפוקה של יותר מ אולם מהירות השירות למשתמש בודד - הציר טוקנים לשנייה 40 האופקי - נותרת סביב בלבד, קצב שאינו מתאים לרוב היישומים האינטראקטיביים. אם ספק ההיסק מבקש להציע אינטראקטיביות גבוהה יותר למשתמשים, כלומר לנוע ימינה בתרשים, הוא , כאשר התפוקה GPU יידרש כבר לחמישה הכוללת נשחקת באופן לא פרופורציונלי ביחס במהירות למשתמש. "עותק" 13 לגידול של פי יעבוד בתפוקה GPU זה של המודל על חמישה טוקנים 1,000־ משולבת של מעט יותר מ בשנייה בלבד וברמת מקבילות משתמשים . לכן, אם ספק ירצה לשרת משתמשים 1 של טוקנים לשנייה, 60,000 ארגוניים בהיקף של עותקים כאלה - כלומר 60 הוא יזדקק לכ־ ועדיין כל משתמש יקבל מעט GPU 300 לכ־ טוקנים לשנייה בלבד. 540 יותר מ־

העלייה בדרישות המחשוב לטובת פעולות היסק מתקרבת לדרישות פעולות האימון. :1 איור « NISKO PROJECTS קרדיט:

והקשר ביניהם ביצירת Decode ו־ Prefill שני שלבי ההיסק האוטורגרסיבית :2 איור « )https://arxiv.org/abs/2601.05047v3 מקור: ( התשובה.

. GPU מסלול העברת הנתונים בזיכרון של :3 איור « .)https://en.wikipedia.org/wiki/High_Bandwidth_Memory מקור: (

מגבלות הביצועים של כרטיסי עיבוד שונים בהיסק :5 איור « אינטראקטיבי תפוקה גבוהה מול מהירות נמוכה למשתמש בודד. )https://inferencex.semianalysis.com/inference מקור: (

אירוח רציף של המודל בזיכרון המהיר של המעבד :4 איור

« )Cerebras מקור: כמפתח להאצת יצירת טוקנים. (

47 l New-Tech Magazine