76 / 190
כל יום אנחנו מופצצים בכמויות
אדירות של נתונים אשר מגיעות
ממקומות מגוונים. נתוני מזג אוויר,
נתוני תנועה בכבישים, מדידות חיישנים
שמצויים על הגוף האנושי, נתוני חיפוש
באינטרנט, רשתות חברתיות, אימיילים,
חיישנים בתוך המכשירים הסלולריים,
תמונות, סרטונים, ועוד - מידע שנאגר
אפסים
18
עם
5(
הקסבייט
5
ומתווסף לכדי
...). אז מה
2013-
לאחריו) מדי יום (נכון ל
עושים עם כל הנתונים הללו, ואיך אפשר
להוציא מהם מידע שימושי? התשובה:
, סטטיסטיקה ומידענות
IoT
לימוד מכונה,
.
DATA Analytics
- ברוך הבא לעולם ה-
מבוא: אז מה זה בעצם
?
DATA Analytics
) מגיע מעולם
DA
(
Data
Analytics
המונח
ניתוח המידע, ולרוב מתייחס למחקר או
לימוד של מידע היסטורי לצורך מציאת
מגמות פטנציאליות, לניתוח השפעות של
החלטות או אירועים או להעריך ביצועים
ב
בעולםשל
DATA Analytics
המדריך למתחיל:
Big Data
של כלי או תרחיש כלשהו. המטרה היא
לשפר את ביצועי המערכת ע"י צבירת ידע
שיכול לשמש לצורך ביצוע שיפורים או
4-
מורכב למעשה מ
DA
שינויים. התהליך ב-
שלבים מרכזיים: גישה למידע, עיבוד
ראשוני, הפעלת אלגוריתמים ללימוד
והפקת תובנות וייצוא התוצר ליישום
עצמאי או משולב.
בכדי שנוכל לעבוד
איסוף המידע.
עם המידע ולהפעיל עליו פעולות לצורך
ניתוחו, ראשית עלינו לשים אותו בתבניות
מתאימות. כיום ישמספר חלופותמרכזיות:
שימוש במאגרי נתונים - המערכת הנפוצה
שהיא למעשה
Hadoop
בתחום זה נקראת
מאגר נתונים מבוזר וזמין לכל, ומספקת
גם אפשרות לביצוע ניתוחים ואנליזות
על גבי המאגר עצמו, ללא הורדת/משיכת
המידע. קיימים גם מאגרי נתונים מבוססי
אשר מאפשרים גישה למידע ע"י
SQL
ביצוע שאילתות מתאימות. ברבות השנים
התפתחו בכל חברה או ארגון שיטות וכלים
שנועדו לסדר את המידע שנאסף, אך לא
רוני פאר, סיסטמטיקס
ניתן לצפות שאופן אגירת המידע המרכז
טיפול בתקלות מטוסים יהיה זהה לאופן
אגירת המידע לסוג הטיפול במאושפזים
בבית-חולים, וגם לא למערכת אגירת
מידע המסחר בבורסה. בל נשכח שגם יש
המון מידע שזמין היום בקבצים מסוגים
, תמונות,
XML
שונים (קבצי טקסט, אקסל,
) וכמובן כל המידע
web
סרטוני וידאו, תוכן
שמשודר בצורה חיה ישירות מרכיבי זמן-
,
Internet
-
of
-
Things
)
IoT
אמת כמו רכיבי (
, מצלמות ועוד. יש אפילו
GPS
חיישנים,
ThingSpeak
פלטפורמות פתוחות, כמו
שמאפשרות לחבר כל חיישן או רכיב בכל
מקום בעולם ולהעביר את המידע למקום
מרוכז, ללא עלות כמובן. מאחר וכמות
המידע היא גדולה, וברוב המקרים גדולה
מדי מכדי לטעון אותה למחשב בודד,
הגישה הנפוצה כיום היא עיבוד המידע
בצורה חלקית, אך מקבילית או מבוזרת
- כלומר טעינה של חלק מהמידע (גוש,
), ביצוע הניתוח המתאים, ואז
Chunk
או
מעבר לגוש הבא. לכל המידע ניתן לגשת
New-Tech Magazine l 76