قیمت این دوره: رایگانــ
  • مدرس دوره : محمد ملک زاد
  • تعداد ویدیوها : 29 ویدیو
  • مدت زمان دوره : 4:30:00
  • سطح دوره : متوسط
  • وضعیت دوره : به اتمام رسیده
  • تاریخ آخرین بروزرسانی : 1401/07/09
آموزش Web Scraping با Nodejs

آموزش Web Scraping با Nodejs

به فرآیند خودکار استخراج داده‌ها از وب سایت‌ها Web Scraping گفته می‌شود در این روش برنامه کامپیوتری داده ها را از وب سایت‌ها جمع آوری و آنها را در بانک‌های اطلاعات ذخیره کرده تا کاربر بعدا بتواند از آنها برای تجزيه و تحليل و تصمیم‌گیری استفاده نماید این اپلیکیشن‌ها اطلاعات موجود در صفحات وب را جمع آوری و برای استفاده در مکان و زمانی دیگر در بانک‌های اطلاعاتی ذخیره کرده یا آنها را در قالب فایل‌های CSV قرار می‌دهند مثلا فرض کنید شما نیاز دارید تا قیمت لحظه ای یک محصول را زیر نظر بگیرید و داده‌های آن را در بانک اطلاعاتی ذخیره نمایید تمام این کارها را می‌توانید توسط Web Scraping انجام دهید.

سرفصل های دوره:

نرم افزارهای مورد نیاز
چه مواردی را باید قبل از Web Scraping بررسی کنیم؟
سلکتورهای css که در Web Scraping مورد استفاده قرار می‌دهیم
Web Scraping جداول html توسط requestCheerio
Web Scraping یک سایت مبتنی بر داده توسط Puppeteer
راه اندازی اتوماتیک Web Scraping در زمان‌های معین
معمارى صحیح برای ساخت API در Web Scraping
راهنمایی برای ادامه مسیر

 



پیش نیاز های دوره :

  1. MongoDB
  2. jQuery
  3. HTML/CSS
  4. Javascript
  5. Nodejs

فهرستـــ ویدیوها

مدت زمان دوره 4:30:00
00:00
00:00

  • با مشاهده آنلاین جلسات در سایت ، هزینه اینترنت شما به صورت نیم بها محاسبه خواهد شد.

1

  • معرفی دوره

00:08:59

در این درس کلیات دوره مشخص می‌شود

2

  • چه مواردی قبل از web scraping باید بررسی شود؟

00:09:12

در این جلسه اهم مواردی که پیش از اقدام برای web scraping می‌بایست توسط برنامه‌نویس بررسی شود مورد بحث قرار می‌گیرد برنامه نویس با بررسی این موارد می‌تواند متوجه شود که چه راه‌کارهایی برای دستیابی به اهداف خود دارد و بهترین راهکار برای مشکل خود را پیدا کند

3

  • ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping (قسمت اول)

00:07:09

شروع معرفی ابزارها و انتخاب‌گرهای CSS برای web scraping با مثال‌های بسیار ساده (قسمت اول)

4

  • ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping (قسمت دوم)

00:12:55

در ادامه قسمت قبل به معرفی و استفاده از ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping می‌پردازیم

5

  • استفاده از cheerio و request در Nodejs

00:03:32

در این قسمت با استفاده از cheerio و request یک scrape آموزشی انجام می‌دهیم

6

  • انتخاب و دریافت همزمان چند المان با یکدیگر

00:06:08

در این قسمت دریافت همزمان المان‌ها بصورت مرتب شده به کمک تابع each آموزش داده می‌شود

7

  • استفاده از id و class های CSS برای web scraping

00:09:32

در این جلسه به کمک id و class های CSS یاد می‌گیریم که چگونه از آنها برای دریافت داده‌های مورد نظر خود استفاده کنیم

8

  • Web Scraping جدول html توسط request و Cheerio (جلسه اول)

00:08:01

در این قسمت Web Scraping جدول html توسط request و Cheerio آموزش داده می‌شود (جلسه اول)

9

  • Web Scraping جدول html توسط request و Cheerio (جلسه دوم)

00:10:18

در ادامه جلسه قبل Web Scraping جدول html توسط request و Cheerio انجام می‌پذیرد

10

  • ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت اول)

00:10:15

در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم

11

  • ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت دوم)

00:04:33

در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم

12

  • ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت سوم)

00:12:07

در این قسمت روش دینامیک برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم

13

  • شروع کار با Puppeteer

00:09:38

در این قسمت نحوه کار با Puppeteer آموزش داده می‌شود

14

  • شروع پروژه عملی

00:10:17

در این جلسه سایت هدف مورد بررسی قرار می‌گیرد

15

  • دریافت اسامی سهام و لینک‌های هر یک از آنها

00:10:45

در این جلسه پروژه خود را ایجاد کرده و وارد بحث کدنویسی می‌شویم

16

  • استفاده از تابع map برای دریافت همزمان داده‌ها

00:05:53

در این جلسه با تابع map آشنا شده و نحوه بکارگیری آن را در web scraping فرا می‌گیرید

17

  • بررسی سایت و دریافت اطلاعات هر یک از سهم‌ها

00:12:52

در این قسمت از طریق کنسول داده‌های سایت مورد بررسی قرار می‌گیرد و آمادگی لازم برای نوشتن کدها در Nodejs فراهم می‌شود

18

  • دریافت آخرین قیمت هر یک از سهم‌ها

00:06:03

در ادامه جلسه پیش داده‌های مربوط به آخرین قیمت هر یک از سهم‌ها جمع آوری می‌شود

19

  • گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی

00:12:51

در این قسمت وارد لینک هر یک از سهام‌ها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه می‌کنیم

20

  • محدود کردن Request های اپلیکیشن

00:12:36

با توجه به امکان بلاک شدن IP توسط سایت‌ها در این جلسه راه حل این موضوع را بررسی می‌کنیم

21

  • گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت دوم)

00:04:12

در این قسمت وارد لینک هر یک از سهام‌ها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه می‌کنیم

22

  • گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت سوم)

00:07:20

در این قسمت وارد کدهای خود را وارد Nodejs کرده و اپلیکیشن را تست اولیه می‌گیریم

23

  • تبدیل اعداد فارسی جمع آوری شده به انگلیسی

00:08:03

با توجه به اینکه لازم است داده‌ها برای تحلیل بیشتر به بانک‌های اطلاعاتی منتقل شود تبدیل اعداد فارسی به انگلیسی بسیار ضروری می‌باشد در این جلسه نحوه تبدیل آن مورد بررسی قرار می‌گیرد

24

  • ذخیره داده‌ها در بانک اطلاعاتی

00:19:06

در این جلسه نحوه ذخیره داده‌های سایت در بانک اطلاعاتی آموزش داده می‌شود

25

  • برنامه‌ریزی اجرای اپلیکیشن (قسمت اول)

00:08:58

در این قسمت طریقه اجرای اپلیکیشن بصورت زماندار را مورد بررسی قرار می‌دهیم

26

  • برنامه‌ریزی اجرای اپلیکیشن (قسمت دوم)

00:03:55

در این قسمت اپلیکیشن خود را برای اجرای زماندار آماده می‌نماییم

27

  • بهبود عملکرد کدها

00:12:11

در این قسمت کدهای نوشته شده را بررسی و آنها را بهبود می‌دهیم

28

  • دریافت داده‌ها در قالب فایل CSV

00:12:33

در این قسمت داده‌های دریافتی در قالب object را در فایل CSV ذخیره می‌نماییم تا بتوانیم در نرم افزارهای صفحات گسترده از آنها استفاده نماییم

29

  • معمارى صحیح برای ساخت API در Web Scraping

00:10:16

در این قسمت در مورد معماری صحیح برای ساخت API در Web Scraping صحبت می‌کنیم و در ادامه مسیر یادگیری می‌توانید به سراغ ساخت API برای اپلیکیشن Web Scraping خود بروید.

اینستاگرام
تلگرام

نظرات کاربران در رابطه با این دوره

لطفا سوالات خود را راجع به این آموزش در این بخش پرسش و پاسخ مطرح کنید به سوالات در قسمت نظرات پاسخ داده نخواهد شد و آن نظر حذف میشود.
جهت ثبت نظر باید در سایت عضو شوید و یا وارد سایت شده باشید .

mehdijalili2000

ارسال شده در 1402/07/17

در واقع من قبلا این کارها رو با جی کوئری انجام میدادم اما صفحه بندی کردن محصولات و باز شدن در صفحه جدید جلوومو گرفت و نتوستم پیش برم ممنون که راهنمایی میکنید 

mehdijalili2000

ارسال شده در 1402/07/17

سلام و وقت بخیر 

من این روش رو میخوام در سایتی تستفاده کنم که لیستی از محصصولات رو داره و تعداد محصول بالاست و صفحه بندی شده هست کالاها و در نهایت در بانک ذخیره کنم. با کلیک روی کالا صفحه جدید باز میشه ممنون میشم راهنمایی بفرمایید 

پویا رضاپور

پویا رضاپور

ارسال شده در 1401/09/12

سلام روزتون بخیر،این آموزش جهت استفاده برای وردپرس جهت استخراج اطلاعات یه سایت دیگه به وبسایت وردپرسی خودم مناسبه؟

پویا رضاپور

محمد ملک زاد (مدرس)

ارسال شده در 1401/09/19

سلام دوست عزیز

شما با این روش می‌تونید اطلاعات رو هر طور که می‌خواید ذخیره کنید و سپس وارد سایت خودتون کنید

Mostafa-Memari

ارسال شده در 1401/07/14

با تشکر از استاد عزیز 
ببخشید دوره تکمیلی کی برگزار میشه؟؟؟

محمد ملک زاد (مدرس)

ارسال شده در 1401/07/15

سلام دوست عزیز

مفاد آموزشی دوره تکمیلی مشخص شده و بزودی ضبط آن آغاز خواهد شد

با تشکر 

sd80

ارسال شده در 1401/06/27

عالی

محمد ملک زاد (مدرس)

ارسال شده در 1401/06/28

سلام دوست عزیز

ممنون از نظر خوبتون

رضا اخروی

رضا اخروی

ارسال شده در 1401/06/17

با سلام و خسته نباشید خدمت استاد گرامی

ضمن تشکر از دوره خوبتون ، درصورت امکان در پروژه عملی نحوه گرفتم اطلاعات در صفحاتی که به صورت lazy loading هستند و فقط با  scroll page اطلاعات از سمت سرو لود میشن و همچنین صفحاتی که به صورت paging هستند ، توضیحاتی ارائه بدین ممنونم میشم.

باتشکر

رضا اخروی

محمد ملک زاد (مدرس)

ارسال شده در 1401/06/19

سلام دوست عزیز

به موضوع خوبی اشاره کردید ولی در این دوره بررسی نمی‌شود انشالله اگر فرصت بشه در دوره تکمیلی مد نظر قرار خواهد گرفت

با تشکر از نظر خوبتون

Mostafa-Memari

ارسال شده در 1401/06/17

درود بر استاد عزیز

 

استاد برای استخراج اطلاعات از یه سایتی که نیاز به ورود کاربر داره هم در صورت امکان توضیح بدید ممنون

محمد ملک زاد (مدرس)

ارسال شده در 1401/06/19

سلام دوست عزیز

به موضوع خوبی اشاره کردید ولی در این دوره بررسی نمی‌شود انشالله اگر فرصت بشه در دوره تکمیلی مد نظر قرار خواهد گرفت

با تشکر از نظر خوبتون

رضا اخروی

رضا اخروی

ارسال شده در 1401/06/10

با عرض سلام و خسته نباشید خدمت استاد محترم

ضمن تشکر از برگزاری این دوره ، در صورت امکان در این دوره یا یک دوره مجزا کتابخانه puppeteer ارائه بدین ممنون میشم.

با تشکر

رضا اخروی

محمد ملک زاد (مدرس)

ارسال شده در 1401/06/11

سلام دوست عزیز

به موضوع بسیار خوبی اشاره کردید. در همین دوره آموزش داده می‌شود

با تشکر

عرفان میرزایی کلخوران

عرفان میرزایی کلخوران

ارسال شده در 1401/06/05

خیلی جالب بود من اشنایی نداشتم با همچین ابزاری 

 

ممنون از تدریس خوبتون ❤️

موفق باشید

عرفان میرزایی کلخوران

محمد ملک زاد (مدرس)

ارسال شده در 1401/06/06

سلام دوست عزیز 

ممنون از نظر خوبتنون