مخصوص اعضای ویژه 
قیمت این دوره: رایگانــ
- مدرس دوره : محمد ملک زاد ( رزومه )
- تعداد ویدیوها : 29 ویدیو
- مدت زمان دوره : 4:30:00
- سطح دوره : متوسط
- وضعیت دوره : به اتمام رسیده
- تاریخ آخرین بروزرسانی : 1401/07/09
آموزش Web Scraping با Nodejs
به فرآیند خودکار استخراج داده‌ها از وب سایت‌ها Web Scraping گفته میشود در این روش برنامه کامپیوتری داده ها را از وب سایت‌ها جمع آوری و آنها را در بانک‌های اطلاعات ذخیره کرده تا کاربر بعدا بتواند از آنها برای تجزيه و تحليل و تصمیم‌گیری استفاده نماید این اپلیکیشن‌ها اطلاعات موجود در صفحات وب را جمع آوری و برای استفاده در مکان و زمانی دیگر در بانک‌های اطلاعاتی ذخیره کرده یا آنها را در قالب فایل‌های CSV قرار می‌دهند مثلا فرض کنید شما نیاز دارید تا قیمت لحظه ای یک محصول را زیر نظر بگیرید و داده‌های آن را در بانک اطلاعاتی ذخیره نمایید تمام این کارها را می‌توانید توسط Web Scraping انجام دهید.
سرفصل های دوره:
| نرم افزارهای مورد نیاز |
| چه مواردی را باید قبل از Web Scraping بررسی کنیم؟ |
| سلکتورهای css که در Web Scraping مورد استفاده قرار می‌دهیم |
| Web Scraping جداول html توسط requestCheerio |
| Web Scraping یک سایت مبتنی بر داده توسط Puppeteer |
| راه اندازی اتوماتیک Web Scraping در زمان‌های معین |
| معمارى صحیح برای ساخت API در Web Scraping |
| راهنمایی برای ادامه مسیر |
پیش نیاز های دوره :
- MongoDB
- jQuery
- HTML/CSS
- Javascript
- Nodejs
فهرستـــ ویدیوها
مدت زمان دوره 4:30:00Video Player is loading.
با مشاهده آنلاین جلسات در سایت ، هزینه اینترنت شما به صورت نیم بها محاسبه خواهد شد.
2
چه مواردی قبل از web scraping باید بررسی شود؟
00:09:12
در این جلسه اهم مواردی که پیش از اقدام برای web scraping می‌بایست توسط برنامه‌نویس بررسی شود مورد بحث قرار می‌گیرد برنامه نویس با بررسی این موارد می‌تواند متوجه شود که چه راه‌کارهایی برای دستیابی به اهداف خود دارد و بهترین راهکار برای مشکل خود را پیدا کند
3
ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping (قسمت اول)
00:07:09
شروع معرفی ابزارها و انتخاب‌گرهای CSS برای web scraping با مثال‌های بسیار ساده (قسمت اول)
4
ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping (قسمت دوم)
00:12:55
در ادامه قسمت قبل به معرفی و استفاده از ابزارها و انتخاب‌گرهای CSS برای استفاده در web scraping می‌پردازیم
5
استفاده از cheerio و request در Nodejs
00:03:32
در این قسمت با استفاده از cheerio و request یک scrape آموزشی انجام می‌دهیم
6
انتخاب و دریافت همزمان چند المان با یکدیگر
00:06:08
در این قسمت دریافت همزمان المان‌ها بصورت مرتب شده به کمک تابع each آموزش داده میشود
7
استفاده از id و class های CSS برای web scraping
00:09:32
در این جلسه به کمک id و class های CSS یاد می‌گیریم که چگونه از آنها برای دریافت داده‌های مورد نظر خود استفاده کنیم
8
Web Scraping جدول html توسط request و Cheerio (جلسه اول)
00:08:01
در این قسمت Web Scraping جدول html توسط request و Cheerio آموزش داده میشود (جلسه اول)
9
Web Scraping جدول html توسط request و Cheerio (جلسه دوم)
00:10:18
در ادامه جلسه قبل Web Scraping جدول html توسط request و Cheerio انجام می‌پذیرد
10
ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت اول)
00:10:15
در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم
11
ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت دوم)
00:04:33
در این قسمت روش بهینه برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم
12
ساختار دهی به داده‌های استخراج شده از جدول HTML (قسمت سوم)
00:12:07
در این قسمت روش دینامیک برای دستیابی به اطلاعات مربوط به هر ستون را بررسی می‌کنیم
15
دریافت اسامی سهام و لینک‌های هر یک از آنها
00:10:45
در این جلسه پروژه خود را ایجاد کرده و وارد بحث کدنویسی می‌شویم
16
استفاده از تابع map برای دریافت همزمان داده‌ها
00:05:53
در این جلسه با تابع map آشنا شده و نحوه بکارگیری آن را در web scraping فرا می‌گیرید
17
بررسی سایت و دریافت اطلاعات هر یک از سهم‌ها
00:12:52
در این قسمت از طریق کنسول داده‌های سایت مورد بررسی قرار می‌گیرد و آمادگی لازم برای نوشتن کدها در Nodejs فراهم میشود
18
دریافت آخرین قیمت هر یک از سهم‌ها
00:06:03
در ادامه جلسه پیش داده‌های مربوط به آخرین قیمت هر یک از سهم‌ها جمع آوری میشود
19
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی
00:12:51
در این قسمت وارد لینک هر یک از سهام‌ها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه می‌کنیم
20
محدود کردن Request های اپلیکیشن
00:12:36
با توجه به امکان بلاک شدن IP توسط سایت‌ها در این جلسه راه حل این موضوع را بررسی می‌کنیم
21
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت دوم)
00:04:12
در این قسمت وارد لینک هر یک از سهام‌ها شده و اطلاعات آنها را دریافت با اطلاعات قبلی یکپارچه می‌کنیم
22
گرفتن اطلاعات از صفحات دیگر و یکپارچه نمودن آن با اطلاعات قبلی (قسمت سوم)
00:07:20
در این قسمت وارد کدهای خود را وارد Nodejs کرده و اپلیکیشن را تست اولیه می‌گیریم
23
تبدیل اعداد فارسی جمع آوری شده به انگلیسی
00:08:03
با توجه به اینکه لازم است داده‌ها برای تحلیل بیشتر به بانک‌های اطلاعاتی منتقل شود تبدیل اعداد فارسی به انگلیسی بسیار ضروری می‌باشد در این جلسه نحوه تبدیل آن مورد بررسی قرار می‌گیرد
24
ذخیره داده‌ها در بانک اطلاعاتی
00:19:06
در این جلسه نحوه ذخیره داده‌های سایت در بانک اطلاعاتی آموزش داده میشود
25
برنامه‌ریزی اجرای اپلیکیشن (قسمت اول)
00:08:58
در این قسمت طریقه اجرای اپلیکیشن بصورت زماندار را مورد بررسی قرار می‌دهیم
26
برنامه‌ریزی اجرای اپلیکیشن (قسمت دوم)
00:03:55
در این قسمت اپلیکیشن خود را برای اجرای زماندار آماده می‌نماییم
.jpg)
نظرات کاربران در رابطه با این دوره