بلک فرایدی

🎉 بلک فرایدی تاپ لرن شروع شد! 🎉

🔥 70 درصد تخفیف ویژه روی تمامی دوره‌های آموزشی 🔥

اگر همیشه منتظر یک فرصت عالی برای یادگیری مهارت‌های جدید بودید، الان وقتشه! 🚀

🎯 دوره‌های متنوع و کاربردی در زمینه‌های:
✔️ برنامه‌نویسی و توسعه وب
✔️ طراحی و گرافیک
✔️ امنیت و شبکه
✔️ و ده‌ها موضوع جذاب دیگر

⏳ زمان محدوده! همین الان از بیشترین تخفیف‌ها استفاده کنید🔔

✨ آینده شغلی‌تون رو همین امروز بسازید! 🌟

بلک فرایدی
قیمت این دوره: 300,000 90,000 تومان
  • مدرس دوره : محمد ملک زاد
  • تعداد ویدیوها : 36 ویدیو
  • مدت زمان دوره : 4:59:00
  • سطح دوره : پیشرفته
  • وضعیت دوره : به اتمام رسیده
  • تاریخ آخرین بروزرسانی : 1402/02/10
ثبتـــ نام در این دوره ثبت نام در دوره
آموزش web scraping با Node js (پیشرفته)

آموزش web scraping با Node js (پیشرفته)

در دوره قبلی با برخی از تکنیک‌های web scraping آشنا شدید و یک سایت داخلی معتبر را scrape کرده و اطلاعات آن را داخل بانک اطلاعاتی ذخیره نمودیم. حال می‌خواهیم یک قدم جلوتر برویم و توانایی شناسایی API مخفی سایت‌های معتبر را به همراه روش‌های دستیابی به آن را آموزش ببینیم. با این روش بدون بکارگیری از منابع سخت افزاری بالا می‌توانیم با سرعت زیاد نسبت به سایر روش‌های دیگر به اطلاعات موجود در سایت‌ها دسترسی پیدا کنیم.  (این موضوع را با جدیدترین و بروزترین پکیج‌ npm انجام خواهد شد.)

این آموزش بصورت کاملا عملی با پیاده سازی بر روی سایت‌های معتبر داخلی انجام می‌پذیرد به عنوان نکته آخر لازم به ذکر است که با دیدن این دوره به همراه دوره مقدماتی در این حوزه کاملا حرفه‌ای خواهید شد.

 

سرفصل های دوره :

1)  نرم افزارهای مورد نیاز

2) استفاده از debugger در webscraping (پروژه عملی سایت filimo)

3) آشنایی با API مخفی و نحوه شناسایی آن

4) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت digikala)

5) گرفتن اطلاعات از وب‌سایت‌ها با اسکرول نامحدود با استفاده از Puppeteer (پروژه عملی سایت digikala)

6) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت torob)

7) قراردادن داده‌ها در بانک اطلاعاتی MongoDB



پیش نیاز های دوره :

  1. آموزش web scraping با Node js (مقدماتی)

فهرستـــ ویدیوها

مدت زمان دوره 4:59:00

  • با مشاهده آنلاین جلسات در سایت ، هزینه اینترنت شما به صورت نیم بها محاسبه خواهد شد.

1

  • آشنایی با دوره

00:06:30

در این قسمت با سرفصل‌های اصلی دوره آشنا می‌شوید

2

  • وب اسکریپینگ و قانون

00:03:20

در این قسمت وب اسکریپینگ و قانونمند بودن آن را بررسی می‌کنیم

3

  • نرم افزارهای مورد نیاز در این دوره

00:02:22

در این بخش با نرم افزارهای مورد نیاز در این دوره آشنا می‌شویم

4

  • استفاده از قابلیت دیباگینگ در وب اسکریپینگ

00:13:38

در این قسمت با نحوه دیباگینگ در visual studio code آشنا می‌شویم

5

  • شناسایی API مخفی دیجیکالا (قسمت اول)

00:12:30

در این قسمت نحوه شناسایی API مخفی سایت‌ها را فرا می‌گیریم

6

  • شناسایی API مخفی دیجیکالا (قسمت دوم)

00:11:24

در ادامه جلسه پیش به بررسی سایت دیجیکالا می‌پردازیم

7

  • معرفی پکیج برای وب اسکریپینگ (استفاده برای API مخفی)

00:07:46

در این قسمت با یک پکیج عالی برای وب اسکرپینگ آشنا می‌شوید

8

  • دسترسی به داده‌های مورد نظر (قسمت اول)

00:07:06

در این قسمت داده‌های دریافتی را بررسی و به موارد مد نظر دسترسی میابیم

9

  • دسترسی به داده‌های مورد نظر (قسمت دوم)

00:05:49

در ادامه قسمت قبل به داده‌های مورد نظر دسترسی می‌یابیم

10

  • دسترسی به داده‌های مورد نظر (قسمت سوم)

00:06:43

در ادامه جلسه پیش به مشخصات فنی محصولات دسترسی پیدا می‌کنیم

11

  • استخراج کد محصولات

00:03:14

در این بخش کد محصولات از داده‌ها استخراج می‌شود

12

  • دریافت اطلاعات محصول توسط کد استخراجی

00:08:17

در این قسمت تابعی می‌نویسیم که کد محصول را گرفته و اطلاعات محصول را دریافت کند

13

  • اصلاح اطلاعات دریافتی و ساختاربندی مجدد آن

00:12:13

در این قسمت اطلاعات دریافتی را مجدد ساختاربندی کرده تا به راحتی بتوان در بانک‌های اطلاعاتی ذخیره نمود

14

  • دریافت کلیه اطلاعات مورد نظر موجود در یک صفحه

00:10:50

در این قسمت کد خود را گسترش داده و بصورت دینامیک کلیه اطلاعات موجود در یک صفحه را استخراج می‌کنیم.

15

  • شناسایی تعداد کل صفحات در سایت

00:08:15

برای اینکه بتوانیم کلیه اطلاعات موجود در تمامی صفحات سایت را استخراج کنیم ابتدا لازم است بفهمیم که چند صفحه در سایت وجود دارد. در این قسمت این موضوع مورد بررسی قرار می‌گیرد

16

  • دریافت اطلاعات از کلیه صفحات (Pagination)

00:12:20

در این قسمت کدهای خود را به نحوی می‌نویسیم تا اطلاعات در کلیه صفحات دریافت شود.

17

  • دریافت اطلاعات سایر برندها

00:07:36

در این قسمت کد را به نحوی تغییر می‌دهیم تا بتوانیم اطلاعات سایر برندها را نیز دریافت کنیم

18

  • تنظیم هدرهای request ها

00:07:37

در برخی شرایط سایت‌ها محدودیت‌هایی را برای بررسی request ها برای جلوگیری از وب اسکریپینگ در نظر می‌گیرند این محدودیت‌ها در هدر‌های request ها صورت می‌گیرد. در این قسمت راه حل این موضوع ارایه می‌شود.

19

  • شناسایی هدرهای با اهمیت با استفاده از cURL

00:10:07

در این قسمت تکنیک شناسایی هدرهای مهم توسط cURL آموزش داده می‌شود

20

  • آشنایی با دستورات ابتدای برای اسکرول نامحدود

00:05:16

در این قسمت با دستورات ابتدایی برای اسکرول نامحدود به کمک Puppeteer آشنا می‌شویم

21

  • تنظیم viewport در Puppeteer

00:05:33

در این قسمت نحوه تنظیم viewport در Puppeteer را بررسی می‌کنیم

22

  • دریافت اولیه داده‌ها از صفحه

00:08:49

در این قسمت داده‌های مد نظر را از صفحه دریافت می‌کنیم

23

  • دریافت اطلاعات به همراه اسکرول

00:18:24

در این قسمت پس از دریافت اطلاعات صفحه را اسکرول کرده و مجددا اطلاعات جدید را دریافت می‌کنیم. این عمل را تا جایی که بخواهیم می‌توانیم ادامه دهیم.

24

  • شناسایی API مخفی سایت ترب

00:05:51

در این قسمت API مخفی سایت ترب را شناسایی می‌کنیم

25

  • شروع پروژه Web Scraping سایت ترب

00:12:07

در این قسمت پروژه Web Scraping سایت ترب را شروع می‌کنیم

26

  • ایجاد پروژه و مشخص کردن موارد مد نظر (قسمت اول)

00:08:38

در این قسمت پروژه را در نود جی اس ایجاد و مواردی که می‌خواهیم توسط Web Scraping ذخیره کنیم مشخص می‌نماییم

27

  • ایجاد پروژه و مشخص کردن موارد مد نظر (قسمت دوم)

00:03:41

در این قسمت پروژه را در نود جی اس ایجاد و مواردی که می‌خواهیم توسط Web Scraping ذخیره کنیم مشخص می‌نماییم

28

  • دریافت داده‌ها (قسمت اول)

00:07:38

در این قسمت کدهای مربوط به دریافت داده‌ها از سایت را می‌نویسیم

29

  • دریافت داده‌ها (قسمت دوم)

00:11:38

در این قسمت کدهای مربوط به دریافت داده‌ها از سایت را می‌نویسیم (قسمت دوم)

30

  • گرفتن کلیه داده‌ها از تمامی صفحات

00:06:34

در این قسمت تمامی داده‌ها از صفحات دریافت می‌شود

31

  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت اول)

00:06:36

در این قسمت اطلاعات مربوط به فروشگاه‌ها را استخراج می‌کنیم

32

  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت دوم)

00:05:38

در این قسمت اطلاعات مربوط به فروشگاه‌ها را استخراج می‌کنیم

33

  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت سوم)

00:07:31

در این قسمت اطلاعات مربوط به فروشگاه‌ها را استخراج می‌کنیم

34

  • تکمیل کدها و آماده‌سازی برای ذخیره در بانک اطلاعاتی

00:03:09

در این قسمت آخرین کدهای خود را برای ذخیره در بانک اطلاعاتی آماده می‌کنیم

35

  • نصب Mongoose

00:09:52

در این قسمت پکیج Mongoose را نصب و آماده می‌کنیم

36

  • تکمیل بانک اطلاعاتی

00:15:10

در این قسمت اطلاعات به دست آمده از طریق Web Scraping را وارد بانک اطلاعاتی می‌کنیم

اینستاگرام
تلگرام

نظرات کاربران در رابطه با این دوره

لطفا سوالات خود را راجع به این آموزش در این بخش پرسش و پاسخ مطرح کنید به سوالات در قسمت نظرات پاسخ داده نخواهد شد و آن نظر حذف میشود.
جهت ثبت نظر باید در سایت عضو شوید و یا وارد سایت شده باشید .