- مدرس دوره : محمد ملک زاد ( رزومه )
- تعداد ویدیوها : 29 ویدیو
- مدت زمان دوره : 4:30:00
- سطح دوره : متوسط
- وضعیت دوره : به اتمام رسیده
- تاریخ آخرین بروزرسانی : 1401/07/09

آموزش Web Scraping با Nodejs
به فرآیند خودکار استخراج دادهها از وب سایتها Web Scraping گفته میشود در این روش برنامه کامپیوتری داده ها را از وب سایتها جمع آوری و آنها را در بانکهای اطلاعات ذخیره کرده تا کاربر بعدا بتواند از آنها برای تجزيه و تحليل و تصمیمگیری استفاده نماید این اپلیکیشنها اطلاعات موجود در صفحات وب را جمع آوری و برای استفاده در مکان و زمانی دیگر در بانکهای اطلاعاتی ذخیره کرده یا آنها را در قالب فایلهای CSV قرار میدهند مثلا فرض کنید شما نیاز دارید تا قیمت لحظه ای یک محصول را زیر نظر بگیرید و دادههای آن را در بانک اطلاعاتی ذخیره نمایید تمام این کارها را میتوانید توسط Web Scraping انجام دهید.
سرفصل های دوره:
نرم افزارهای مورد نیاز |
چه مواردی را باید قبل از Web Scraping بررسی کنیم؟ |
سلکتورهای css که در Web Scraping مورد استفاده قرار میدهیم |
Web Scraping جداول html توسط requestCheerio |
Web Scraping یک سایت مبتنی بر داده توسط Puppeteer |
راه اندازی اتوماتیک Web Scraping در زمانهای معین |
معمارى صحیح برای ساخت API در Web Scraping |
راهنمایی برای ادامه مسیر |
پیش نیاز های دوره :
- MongoDB
- jQuery
- HTML/CSS
- Javascript
- Nodejs
فهرستـــ ویدیوها
مدت زمان دوره 4:30:00با مشاهده آنلاین جلسات در سایت ، هزینه اینترنت شما به صورت نیم بها محاسبه خواهد شد.
چه مواردی قبل از web scraping باید بررسی شود؟
در این جلسه اهم مواردی که پیش از اقدام برای web scraping میبایست توسط برنامهنویس بررسی شود مورد بحث قرار میگیرد برنامه نویس با بررسی این موارد میتواند متوجه شود که چه راهکارهایی برای دستیابی به اهداف خود دارد و بهترین راهکار برای مشکل خود را پیدا کند
ابزارها و انتخابگرهای CSS برای استفاده در web scraping (قسمت اول)
شروع معرفی ابزارها و انتخابگرهای CSS برای web scraping با مثالهای بسیار ساده (قسمت اول)
ابزارها و انتخابگرهای CSS برای استفاده در web scraping (قسمت دوم)
در ادامه قسمت قبل به معرفی و استفاده از ابزارها و انتخابگرهای CSS برای استفاده در web scraping میپردازیم
استفاده از cheerio و request در Nodejs
در این قسمت با استفاده از cheerio و request یک scrape آموزشی انجام میدهیم
انتخاب و دریافت همزمان چند المان با یکدیگر
در این قسمت دریافت همزمان المانها بصورت مرتب شده به کمک تابع each آموزش داده میشود
استفاده از id و class های CSS برای web scraping
در این جلسه به کمک id و class های CSS یاد میگیریم که چگونه از آنها برای دریافت دادههای مورد نظر خود استفاده کنیم
Web Scraping جدول html توسط request و Cheerio (جلسه اول)
در این قسمت Web Scraping جدول html توسط request و Cheerio آموزش داده میشود (جلسه اول)
Web Scraping جدول html توسط request و Cheerio (جلسه دوم)
در ادامه جلسه قبل Web Scraping جدول html توسط request و Cheerio انجام میپذیرد
ساختار دهی به دادههای استخراج شده از جدول HTML (قسمت اول)
در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی میکنیم
ساختار دهی به دادههای استخراج شده از جدول HTML (قسمت دوم)
در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی میکنیم
ساختار دهی به دادههای استخراج شده از جدول HTML (قسمت سوم)
در این قسمت روش دینامیک برای دستیابی به اطلاعات مربوط به هر ستون را بررسی میکنیم
دریافت اسامی سهام و لینکهای هر یک از آنها
در این جلسه پروژه خود را ایجاد کرده و وارد بحث کدنویسی میشویم
استفاده از تابع map برای دریافت همزمان دادهها
در این جلسه با تابع map آشنا شده و نحوه بکارگیری آن را در web scraping فرا میگیرید
بررسی سایت و دریافت اطلاعات هر یک از سهمها
در این قسمت از طریق کنسول دادههای سایت مورد بررسی قرار میگیرد و آمادگی لازم برای نوشتن کدها در Nodejs فراهم میشود
دریافت آخرین قیمت هر یک از سهمها
در ادامه جلسه پیش دادههای مربوط به آخرین قیمت هر یک از سهمها جمع آوری میشود
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی
در این قسمت وارد لینک هر یک از سهامها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه میکنیم
محدود کردن Request های اپلیکیشن
با توجه به امکان بلاک شدن IP توسط سایتها در این جلسه راه حل این موضوع را بررسی میکنیم
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت دوم)
در این قسمت وارد لینک هر یک از سهامها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه میکنیم
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت سوم)
در این قسمت وارد کدهای خود را وارد Nodejs کرده و اپلیکیشن را تست اولیه میگیریم
تبدیل اعداد فارسی جمع آوری شده به انگلیسی
با توجه به اینکه لازم است دادهها برای تحلیل بیشتر به بانکهای اطلاعاتی منتقل شود تبدیل اعداد فارسی به انگلیسی بسیار ضروری میباشد در این جلسه نحوه تبدیل آن مورد بررسی قرار میگیرد
ذخیره دادهها در بانک اطلاعاتی
در این جلسه نحوه ذخیره دادههای سایت در بانک اطلاعاتی آموزش داده میشود
برنامهریزی اجرای اپلیکیشن (قسمت اول)
در این قسمت طریقه اجرای اپلیکیشن بصورت زماندار را مورد بررسی قرار میدهیم
برنامهریزی اجرای اپلیکیشن (قسمت دوم)
در این قسمت اپلیکیشن خود را برای اجرای زماندار آماده مینماییم
نظرات کاربران در رابطه با این دوره
mehdijalili2000
ارسال شده در 1402/07/17در واقع من قبلا این کارها رو با جی کوئری انجام میدادم اما صفحه بندی کردن محصولات و باز شدن در صفحه جدید جلوومو گرفت و نتوستم پیش برم ممنون که راهنمایی میکنید
mehdijalili2000
ارسال شده در 1402/07/17سلام و وقت بخیر
من این روش رو میخوام در سایتی تستفاده کنم که لیستی از محصصولات رو داره و تعداد محصول بالاست و صفحه بندی شده هست کالاها و در نهایت در بانک ذخیره کنم. با کلیک روی کالا صفحه جدید باز میشه ممنون میشم راهنمایی بفرمایید
پویا رضاپور
ارسال شده در 1401/09/12سلام روزتون بخیر،این آموزش جهت استفاده برای وردپرس جهت استخراج اطلاعات یه سایت دیگه به وبسایت وردپرسی خودم مناسبه؟
محمد ملک زاد (مدرس)
ارسال شده در 1401/09/19سلام دوست عزیز
شما با این روش میتونید اطلاعات رو هر طور که میخواید ذخیره کنید و سپس وارد سایت خودتون کنید
Mostafa-Memari
ارسال شده در 1401/07/14با تشکر از استاد عزیز
ببخشید دوره تکمیلی کی برگزار میشه؟؟؟
محمد ملک زاد (مدرس)
ارسال شده در 1401/07/15سلام دوست عزیز
مفاد آموزشی دوره تکمیلی مشخص شده و بزودی ضبط آن آغاز خواهد شد
با تشکر
sd80
ارسال شده در 1401/06/27عالی
محمد ملک زاد (مدرس)
ارسال شده در 1401/06/28سلام دوست عزیز
ممنون از نظر خوبتون
رضا اخروی
ارسال شده در 1401/06/17با سلام و خسته نباشید خدمت استاد گرامی
ضمن تشکر از دوره خوبتون ، درصورت امکان در پروژه عملی نحوه گرفتم اطلاعات در صفحاتی که به صورت lazy loading هستند و فقط با scroll page اطلاعات از سمت سرو لود میشن و همچنین صفحاتی که به صورت paging هستند ، توضیحاتی ارائه بدین ممنونم میشم.
باتشکر
محمد ملک زاد (مدرس)
ارسال شده در 1401/06/19سلام دوست عزیز
به موضوع خوبی اشاره کردید ولی در این دوره بررسی نمیشود انشالله اگر فرصت بشه در دوره تکمیلی مد نظر قرار خواهد گرفت
با تشکر از نظر خوبتون
Mostafa-Memari
ارسال شده در 1401/06/17درود بر استاد عزیز
استاد برای استخراج اطلاعات از یه سایتی که نیاز به ورود کاربر داره هم در صورت امکان توضیح بدید ممنون
محمد ملک زاد (مدرس)
ارسال شده در 1401/06/19سلام دوست عزیز
به موضوع خوبی اشاره کردید ولی در این دوره بررسی نمیشود انشالله اگر فرصت بشه در دوره تکمیلی مد نظر قرار خواهد گرفت
با تشکر از نظر خوبتون
رضا اخروی
ارسال شده در 1401/06/10با عرض سلام و خسته نباشید خدمت استاد محترم
ضمن تشکر از برگزاری این دوره ، در صورت امکان در این دوره یا یک دوره مجزا کتابخانه puppeteer ارائه بدین ممنون میشم.
با تشکر
محمد ملک زاد (مدرس)
ارسال شده در 1401/06/11سلام دوست عزیز
به موضوع بسیار خوبی اشاره کردید. در همین دوره آموزش داده میشود
با تشکر
عرفان میرزایی کلخوران
ارسال شده در 1401/06/05خیلی جالب بود من اشنایی نداشتم با همچین ابزاری
ممنون از تدریس خوبتون ❤️
موفق باشید
محمد ملک زاد (مدرس)
ارسال شده در 1401/06/06سلام دوست عزیز
ممنون از نظر خوبتنون