استخراج دیتا از بورس

محمد ملک زاد

سلام دوست عزیز منم امیدوارم حالتون خوب باشه 

کلا سه روش برای استخراج دیتا از سایت‌ها وجود داره ۱- API مخفی 2- گرفتن اطلاعات از DOM و ۳- استفاده از Puppeteer هر کدوم از این‌ روش‌ها هم تو یک سری سایت‌ها (به جز روش سوم که روی همه سایت‌ها جواب میده) جواب میده خوب سایتی که گفتی رو با روش‌هایی که تو دوره یاد دادم بررسی کن . اگه یادت باشه داخل دوره گفتم روش سوم همیشه آخرین روش برای رسیدن به اطلاعات هست چون منابع زیادی برای اینکار لازمه پس باید اول بریم روش شماره ۱ رو چک کنیم....بعدش روش شماره ۲ و در نهایت اگر این روش‌ها قابل استفاده نبود میریم سراغ Puppeteer.

سوالی که پرسیدی اینه که می‌خوای هر ثانیه دیتا ها رو آپدیت کنی خوب چه دیتایی رو می‌خوای ذخیره کنی که هر ثانیه شو می‌خوای داشته باشی؟ شاید راهکار بهتری هم باشه !!  میدونی برای داشتن هر ثانیه اطلاعات باید یک request سمت سرور بره شاید چندتای اولش مشکلی ایجاد نکنه ولی وقتی تعدادش زیاد سرور و پشت سر هم باشه سرور فکر می‌کنه که داره بهش حمله میشه از سمتت و IP کامپیوترت توسط اون سرور بلاک میشه و خدا می‌دونه تا کی بلاک بمونی .....

این موضوعی که دنبالشی راهکارش Web Scraping نیست شاید این جواب بتونه کمکت کنه : اگه دنبال سوابق خرید و فروش‌ها هستی می‌تونی فقط اون قسمت از سایت که سوابق خرید و فروش‌ها هست رو روزی یه بار scrape کنی و داخل بانک اطلاعاتیت بزاری فکر می‌کنم این راهکاره خیلی مفیدتریه

FarbodNasiriPartovi

استاد ببخشید چند بار خوندم ولی هنوز کامل متوجه نشدم .

سوال اصلی اینکه چطور میتونم دیتا های این سایت رو http://www.tsetmc.com/Loader.aspx?ParTree=15131F#

که شامل قیمت خرید و فروش  هر سهم در لحظه میشه که در هر ثانیه هم به روز میشه داشته باشم ؟

راحل حل سوم زمانبره .

راه حل اول این ادرس ای پی ای هست و مشکلات بلاک شدن آی پی که به درستی اشاره کردید .

http://www.tsetmc.com/tsev2/data/MarketWatchInit.aspx?h=0&r=0

همانطور که مشاهده میکنین قابل فهم و استخراج نیست(شاید هم من بلد نیستم)

راه حل دوم رو یادم نمیاد مجددا باید دوره مقدماتی رو ببینم 

در کل فهمیدم که فرمودید شاید scrap برای دیتا هایی که میخواد در ثانیه آپدیت بشه و یا مناسب ترید نباشه 

پس سوال مناسب تر اینکه چطور سایت های رهآورد 365 میتونن در لحظه اطلاعات رو بگیرن ؟

سلامت باشید .

محمد ملک زاد

سلام دوست عزیز

راهکار شما استفاده از وب سرویس بورس هست که کلا موضوع مجزایی از web scraping  است

میخواستم یه نمونه سایت برات بزارم ولی اگه خودت داخل گوگل سرچ کنی «وب سرویس بورس» برات کلی سایت میاره.

FarbodNasiriPartovi

ممنونم از استاد عزیزم .

براتون آرزوی سلامتی دارم .

محمد ملک زاد

منم براتون آرزوی سلامتی و موفقیت دارم