با عرض سلام و وقت بخیر و تشکر بابت تدریس بسیار عالی شما
سوالی داشتم در خصوص مباحث مربوط به یادگیری تقویتی؛
۱- روش AC (Actor-Critic) جزء الگوریتم های یادگیری تقویتی عمیق محسوب میشود؟ چون در طول جلسات راجع به آن صحبت نکردید، اگر امکانش هست در ویدیوهای آپدیت دوره یک کد با این روش پیاده سازی کنید.
۲- استفاده از کتابخانه Pytorch نسبت به keras-rl ، مزیتی در پیاده سازی دارد؟ چون اکثر کدهای نوشته شده در این زمینه از کتابخانه Pytorch استفاده کرده اند.
۳- لطفا در خصوص MARL (Multi-agent RL) هم در جلسات آپدیت دوره توضیحاتی بفرمایید. اگر امکانش هست یک نمونه کد در این خصوص نیز آماده بفرمایید.
با تشکر از شما
با عرض سلام خدمت شما؛
روش Actor critic یکی از الگوریتم های حل مسأله در یادگیری تقویتی هست و انشاءالله در جلسات بروزرسانی به آن پرداخته خواهد شد.
اما همانطور که در همهی دوره ها روی آن تاکید کردم، حتما تلاش کنید تا بعد از یادگیری موارد بنیادی هر حوزه، از منابع رایگان و متن باز برای مطالعه موارد بیشتر بهره ببرید و لطفا محدود به دوره های بنده و یا همکاران نباشید. بنده هم میتونم در صورت نیاز جهت پیدا کردن این منابع راهنمایی کنم.
به طور کلی کتابخانه پایتورچ نسبت به فریم ورک تنسورفلو و کتابخانه کرس از سطح بالاتری از انعطاف پذیری برخوردار هست و قسمت های جزئی تری از مدل ها قابلیت دستکاری توسط شما رو دارن و به اصطلاح کنترل شما بر روی مدل های بیشتر هست.
و در عوض کار کردن با این کتابخانه هم پیچیدگی و دشواری بیشتری نسبت به تنسورفلو داره.
اصطلاحا به کتابخانه کرس high-level API و به پایتورچ low-level API گفته میشه.
از پایتورچ در دوره بینایی ماشین نمونه هایی رو اجرا کردیم که در اون دوره، به وضوح پیچیدگی کار با پایتورچ رو نسبت به تنسورفلو نشون دادیم.
به همین علت در این دوره از کتابخانه کرس به جهت سادگی کار با اون استفاده شده اما اگر که فرصتی دست داد در این رابطه هم بروزرسانی هایی منتشر خواهد شد.
مبحث کنترل multi-agent مبحث گسترده ای هست و در دسته مباحث پیشرفته کنترل قرار میگیره
هرچند که پروژه هایی ساده هم در این حوزه وجود دارند اما به جهت اینکه مطالب پیشنیاز این حوزه گستردگی بالایی دارند، بدون بررسی اونها نمیشه وارد بحث مولتی ایجنت شد. فلذا ترجیح بنده این هست که در یک دورهی جامع و مختص این مبحث، این مورد رو بررسی کنیم.
با آرزوی موفقیت برای شما.
بسیار ممنونم از توضیحات جامع و کامل شما
منتظر جلسات آپدیت دوره خواهیم بود.