آنالیز کلان داده (Big Data) با پایتون و اسپارک

آنالیز کلان داده (Big Data) با پایتون و اسپارک

با توسعه تکنولوژی و افزایش بی وقفه داده ها و اطلاعات، مفهومی به نام کلان داده یا Big-Data به وجود آمد که شامل داده های بزرگ و پیچیده می­شود و برای پردازش این نوع داده های مهم، باید از روش های جدیدی استفاده شود. در سال های گذشته، ابزار هایی برای کار با این نوع داده­های بزرگ معرفی شدند که یکی از بهترین های آن، موتور Apache Spark می­باشد که یک موتور چند زبانه برای اجرای پردازش های علم داده و یادگیری ماشین بر روی داده های کلان است. با استفاده از این موتور پردازش دیتای قدرتمند و زبان بسیار محبوب پایتون، به PySpark می­رسیم که یک API پایتون برای موتور Apache Spark است. این API یک چارچوب یا فریم ورک قدرتمند و دارای مجموعه ای از کتابخانه ها برای پردازش داده ها در مقیاس بزرگ و در حالت real-time یا لحظه­ای است. در این دوره مفاهیم کار با کلان داده ها و پردازش آن­ها از سطح مبتدی تا پیشرفته و با رویکردی پروژه محور مورد بررسی قرار گرفته است. دوره­ی پیش رو، متشکل از چهار فصل اصلی شامل مفاهیم مقدماتی داده ها، کار با اسپارک و پایتون مقدماتی، اسپارک پیشرفته و پردازش کلان داده با روش های یادگیری ماشین می­باشد که این مطالب در قالب پروژه های واقعی مورد بررسی قرار خواهند گرفت.

برای توضیحات بیشتر در رابطه با این دوره، لطفا ویدئوی معرفی دوره را مشاهده نمایید.

سرفصل های دوره:

فصل1 : مفاهیم مقدماتی کلان داده و اسپارک

فصل2: اسپارک و پایتون مقدماتی

فصل3: اسپارک پیشرفته

فصل4: بیگ دیتا و یادگیری ماشین