آموزش web scraping با Node js (پیشرفته)

آموزش web scraping با Node js (پیشرفته)

در دوره قبلی با برخی از تکنیک‌های web scraping آشنا شدید و یک سایت داخلی معتبر را scrape کرده و اطلاعات آن را داخل بانک اطلاعاتی ذخیره نمودیم. حال می‌خواهیم یک قدم جلوتر برویم و توانایی شناسایی API مخفی سایت‌های معتبر را به همراه روش‌های دستیابی به آن را آموزش ببینیم. با این روش بدون بکارگیری از منابع سخت افزاری بالا می‌توانیم با سرعت زیاد نسبت به سایر روش‌های دیگر به اطلاعات موجود در سایت‌ها دسترسی پیدا کنیم.  (این موضوع را با جدیدترین و بروزترین پکیج‌ npm انجام خواهد شد.)

این آموزش بصورت کاملا عملی با پیاده سازی بر روی سایت‌های معتبر داخلی انجام می‌پذیرد به عنوان نکته آخر لازم به ذکر است که با دیدن این دوره به همراه دوره مقدماتی در این حوزه کاملا حرفه‌ای خواهید شد.

سرفصل های دوره :

1)  نرم افزارهای مورد نیاز

2) استفاده از debugger در webscraping (پروژه عملی سایت filimo)

3) آشنایی با API مخفی و نحوه شناسایی آن

4) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت digikala)

5) گرفتن اطلاعات از وب‌سایت‌ها با اسکرول نامحدود با استفاده از Puppeteer (پروژه عملی سایت digikala)

6) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت torob)

7) قراردادن داده‌ها در بانک اطلاعاتی MongoDB