گردش کار(workflow) در تیم‌های یادگیری ماشین و داده‌کاوی

در کنار فراگرفتن مهارت‌های فنی، آشنایی با روند کاری یا گردش کار تیم‌های مختلف هوش مصنوعی برای طیف مختلف علاقه‌مندان به هوش مصنوعی ضروری است. در این مقاله با استفاده از مثال‌هایی سعی می‌کنیم گردش کار در تیم‌های یادگیری ماشین و داده‌کاوی را توضیح دهیم. در تهیه این مطلب از دوره هوش مصنوعی برای همه اندرو ان جی استفاده شده است.

اگر اندکی با هوش مصنوعی آشنا باشید حتماً نام اندرو ان جی را شنیده‌اید. ان جی در شرکت‌های بزرگی مثل گوگل، بایدو و چند شرکت دیگر تیم‌های هوش مصنوعی و یادگیری ماشین را رهبری کرده است. بنابراین توضیحاتی که او درباره گردش کار در تیم‌های مختلف هوش مصنوعی می‌دهد می‌تواند برای بسیاری از شرکت‌ها و علاقه‌مندان این حوزه مفید باشد.

گردش کار در تیم‌های یادگیری ماشین

الگوریتم‌های یادگیری ماشین می‌توانند نحوه رسیدن از ورودی به خروجی یا از A تا B را بیاموزند. اما این فرایند چگونه در یک پروژه یادگیری ماشین طی می‌شود؟

برای درک بهتر مسئله بگذارید از همان ابتدا بحث را با یک مثال پیش ببریم. فرض کنید می‌خواهیم محصولی را با استفاده از یادگیری ماشین تولید کنیم. مثلاً محصول تولیدی ما مربوط به فناوری تشخیص گفتار است.

محصولاتی مثل الکسای آمازون، گوگل هوم، سیری اپل مثال‌هایی از این فناوری هستند.

مراحل اساسی در یک پروژه ماشین لرنینگ

به نظر شما در تولید الکسا چه فرایندی طی شده است؟

-جمع‌آوری داده

اولین مرحله در پروژه‌های هوش مصنوعی و یادگیری ماشین جمع‌آوری داده است.

مثلاً درمورد الکسا شما باید صداها و لهجه‌های مختلفی را جمع‌آوری کنید که در آن بگویند «الکسا». همچنین نیاز دارید افراد دیگری باشند که واژه های دیگری را بگویند مانند «سلام» یا خیلی از واژه‌های دیگر.

-آموزش مدل

حال که مقدار زیادی داده صوتی جمع کردید که در آن افراد الکسا را صدا می‌زنند یا از کلمات دیگر استفاده می‌کنند نوبت به آموزش دادن مدل می‌رسد. این مرحله بدین معناست که ما از الگوریتم‌های یادگیری ماشین استفاده می‌کنیم تا ماشین فرایند رسیدن از ورودی به خروجی را بیاموزد.

در اینجا ورودی ما فایل صوتی است که کسی می‌گوید الکسا و خروجی ما این است که سیستم می‌آموزد بگوید الکسا.

وقتی که تیم هوش مصنوعی فرایند یادگیری را شروع می‌کنند، طبیعی است که تلاش‌های اولیه کیفیت لازم را نداشته باشد. بنابراین تیم باید چند بار این مسیر را طی کند تا به نتیجه مطلوب برسد.

جاسازی و به‌کارگیری مدل

در این بخش مدلی که طراحی کرده‌ایم را درون یک اسپیکر هوشمند واقعی قرار می‌دهیم. و به‌صورت آزمایشی به تعدادی از کاربران می‌دهیم. معمولاً اتفاقی که در این مرحله می‌افتد این است که با استفاده ای که این کاربران از مدل می‌کنند داده‌های جدیدی وارد مدل می‌شود و عملکرد سیستم بهبود می‌یابد.

برای مثال فرض کنید شما یک سیستم بازشناسی گفتار دارید که با داده‌های صوتی انگلیسی با لهجه آمریکایی آموزش داده‌اید. حال این محصول را در اختیار تعداد محدودی از کاربران با لهجه انگلیسی بریتانیایی هم قرار می‌دهید. چه اتفاقی می‌افتد؟ احتمالا سیستمتان با لهجه بریتانیایی خیلی خوب کار نمی‌کند. اما شما این داده‌ها را جمع می‌کنید و مدل را به‌روزرسانی می‌کنید.

نکته‌ای که باید در نظر داشت این است که این مراحل خطی نیستند و بارها و بارها در طول تولید محصول به مراحل مختلف بازمی‌گردیم و با دانسته‌های جدید بهبود می‌بخشیمشان.

این مراحل اصلی تقریباً در بقیه پروژه‌های یادگیری ماشین نیز تکرار می‌شود. برای مثال بگذارید نگاهی بیندازیم به مراحل اصلی استفاده از یادگیری ماشین در تولید ماشین‌های خودران.

برای استفاده از یادگیری ماشین در خودروهای خودران مانند مثال قبل باید ابتدا به این سوال پاسخ دهیم که ورودی و خروجی ما چه خواهد بود؟ در اینجا ورودی ما تصاویر خودروهاست و خروجی ما سیستمی است که می‌تواند خودروها را در موقعیت‌های مختلف تشخیص دهد. در اینجا نیز دوباره اولین قدم جمع‌آوری داده‌هاست.

ما به تصاویر متعددی نیاز داریم که در آن انواع خودروها را در موقعیت‌های مختلف نشان دهد.

پس از آن نوبت به آموزش مدل می‌رسد. در این مرحله سیستمی که ساخته‌ایم باید بتواند با استفاده از الگوریتم‌های یادگیری ماشین خودروها را تشخیص دهد. و در آخر نوبت به جایگذاری و استفاده از این فناوری می‌رسد. این محصول را به‌صورت آزمایشی در اختیار کاربران قرار می‌دهیم و از طریق داده‌های جدیدی که این خودروها حین استفاده جمع می‌کنند دوباره وارد چرخه گردش‌ کاری یادگیری ماشین می‌شویم.

گردش کار در پروژه‌های داده‌کاوی

برخلاف پروژه یادگیری ماشین، برون‌داد پروژه در علوم داده مجموعه‌ای از بینش‌های عملیاتی است. بینش‌هایی که ممکن است باعث شود ما عملکردهایمان را تغییر دهیم. با توجه به این هدف متفاوت، گردش کار در پروژه‌های داده‌کاوی هم از پروژه‌های یادگیری ماشین متفاوت است.

همانند یادگیری ماشین بگذارید در اینجا هم بحث را با مثالی پیش ببریم. فرض کنیم که شما فروشگاه اینترنتی دارید که کارش فروختن ماگ است. خریداران برای خریدن ماگ از شما مراحلی را طی می‌کنند. ابتدا وارد سایت شما می‌شوند و نگاهی به محصولاتتان می‌اندازند، بعد احتمالاً محصولی را انتخاب می‌کنند، به صفحه محصول موردنظر می‌روند و آن را در سبد خرید خود قرار می‌دهند و سپس پرداخت را انجام می‌دهند و فرایند تمام می‌شود. علم داده در این فرایند چه کمکی می‌تواند به شما بکند؟

گام‌های اساسی در یک پروژه علم داده

- جمع‌آوری داده

همان‌طور که پیش از این گفتیم جمع‌آوری داده نقطه شروع اغلب پروژه‌های هوش مصنوعی است. در همین مثال فروشگاه، ما می‌توانیم مجموعه‌داده‌ای بسازیم از نام کاربری، IPهای وارد شده، زمان ورود، میزان خرید و مواردی از این دست

- تحلیل داده‌ها

در این مرحله تیم داده‌کاوی ایده‌ها و تحلیل‌های زیادی را از داده‌ها بیرون می‌کشند.

برای مثال با در نظر گرفتن IP‌های که وارد سایت شده می‌توان فهمید برخی از کاربران که از کشورهای دیگر وارد سایت شده‌اند تا صفحه خرید محصول رفته‌اند اما به‌خاطر هزینه‌های زیاد خرید محصول از خارج از کشور از خرید منصرف شده‌اند. یا مثلاً ازطریق تحلیل داده ها الگویی به دست می‌آید که نشان می‌دهد در روزهای تعطیل خریدها افزایش یا کاهش داشته است. کشف نقاط اوج و نزول خرید می‌تواند در سیاست‌های تبلیغاتی شرکت هم اثرگذار باشد و تبلیغات اثرگذارتر پیش برود و از صرف هزینه‌های بیهوده پیشگیری می‌شود.

یک گروه تحلیل داده‌ خوب ایده‌های زیادی دارد و همه ایده‌ها را به‌صورت مستمر بررسی می‌کند. بنابراین در این مرحله ما با فرایندهای تکراری و بررسی‌های چندباره یک ایده مواجهیم.

- پیشنهاد فرضیه‌ها/ اقدامات

در مرحله آخر تیم تحلیل داده از دل بررسی و آزمون ایده‌های زیادی که دارد به چند فرضیه و اقدامات موثر در راستای آن فرضیه‌ها می‌رسد.

با به‌کارگیری استراتژی‌ها و بینش‌های جدیدی که از دل تحلیل داده‌ها درآمده دوباره داده‌های جدیدی تولید می‌شود. تیم داده‌کاوی دوباره این داده‌ها را تحلیل می‌کند و همان مراحل قبلی را طی می‌کند. اینجاست که چرخه گردش کاری یک تیم تحلیل داده شکل می‌گیرد.

برای اینکه درک بهتری از این چرخه داشته باشید، یک مثال دیگر می‌زنیم.

فرض کنیم می‌خواهیم با استفاده از علم داده پیشنهادهایی برای بهبود کار خط تولید یک کارخانه ارائه دهیم. بگذارید با همان مثال قبلی‌مان، یعنی ماگ، پیش برویم. قدم اول در تولید ماگ ترکیب خاک و دیگر مواد اولیه با هم است. مرحله دوم به شکل ماگ درآوردن این مواد اولیه است. در مرحله دوم حاصل کار مراحل قبلی رنگ‌آمیزی می‌شود و لعاب داده می‌شود. حال ماگ‌های ساخته شده به حرارت نیاز دارند، بنابراین آن‌ها را در کوره می‌گذاریم تا حرارت لازم را ببینند. مرحله آخر فرایند تولید ماگ هم تشخیص ماگ‌های سالم و غیر سالم و بدون کیفیت است.

بالا بردن بهره‌وری در خط تولید همواره از دغدغه‌های اصلی کارخانه‌های تولیدی بوده است. در اینجا هم تلاش برای به حداقل رساندن ماگ‌های معیوب و ناقص می‌تواند مسئله مهمی برای کارفرما باشد.

حال اگر به مراحل انجام پروژه داده‌کاوی بازگردیم، مرحله اول جمع‌آوری داده‌ است. در این مثال می‌توان اطلاعات بسیار زیادی جمع‌آوری کرد. از درصد استفاده از مواد اولیه صرف‌شده برای هر دسته ماگ تا مدت زمان ماندن در کوره، دمای کوره تا میزان محصولات نامرغوب در هر دسته از ماگ‌های تولید شده.

در اینجا هم تیم داده‌کاوی داده‌ها را بارها و بارها تحلیل می‌کند و به هم ربط می‌دهد و ایده‌های زیادی از داده‌ها بیرون می‌کشد. تیم پس از غربال کردن ایده‌ها و تحلیل‌هایش به تعداد اندکی ایده و راهنمای عمل مشخص می‌رسد.

این راهنمای عمل و استراتژی جدید در خط تولید به کار گرفته می‌شود، داده‌های جدید تولید می‌شود و این داده‌ها دوباره نیاز به تحلیل دارد و این چرخه ادامه پیدا می‌کند.

جمع‌بندی

بسته به اینکه پروژه‌ها در چه حوزه‌ای از هوش مصنوعی تعریف شوند، گردش کاری آن‌ها نیز متفاوت خواهد بود. در این مطلب با استفاده از مثال‌های مختلف گردش کار در پروژه‌های یادگیری ماشین و داده‌کاوی را بررسی کردیم. لازمه هر نوع فعالیت در بازار هوش مصنوعی، چه در بخش سرمایه‌گذاری و چه به‌عنوان نیروی متخصص، آشنایی با روندی است که در هر پروژه هوش مصنوعی طی می‌شود.

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید.

منبع: هوشیو

۹ کتاب هوش مصنوعی که علاقه‌مندان و سرمایه‌گذاران نباید خواندنش را از دست بدهند

با وجود رشد تولید محتوای دیجیتال و محتوای تصویری و ویدئویی، هنوز هستند کسانی که ترجیح می‌دهند با خواندن کتاب اطلاعاتشان را درباره حوزه‌های مورد علاقه خود افزایش دهند. هر سال کتاب‌های زیادی درباره هوش مصنوعی برای طیف‌های مختلفی از مخاطبان نوشته می‌شود. ۹ کتاب هوش مصنوعی که در این فهرست آوردیم برای مخاطبان عام و مدیران کسب‌وکارها مناسب است. البته برای خواندن تعدادی از کتاب‌های این فهرست داشتن آشنایی اولیه با ریاضیات و پایتون ضروری است.

1.هوش مصنوعی؛رهیافتی مدرن(ویراست سوم)

کتاب هوش‌‌‎‌‌‌‌‌ مصنوعی؛رهیافتی مدرن نوشته استوارت راسل و پیتر نوریگ از مشهورترین کتاب‌ها برای شروع یادگیری هوش مصنوعی است. ویراست سوم این کتاب آخرین تغییرات و پیشرفت‌های حوزه هوش مصنوعی را نیز در برمی‌گیرد و در مقایسه با ویراست سال ۲۰۰۳ آن تغییرات زیادی در کتاب اعمال شده است. مطالب افزوده شده به این کتاب هوش مصنوعی شامل موضوعاتی چون بازشناسی گفتار، ماشین ترجمه، خودروهای خودران و ربات‌های خانگی می‌شود.

Artificial Intelligence – A Modern Approach

2.موتورهای هوش مصنوعی: درآمدی آموزشی بر ریاضیات یادگیری عمیق

کتاب موتورهای هوش مصنوعی: درآمدی آموزشی بر ریاضیات یادگیری عمیق را جیمز استون نوشته است. در این کتاب هوش مصنوعی مهم‌ترین الگوریتم‌های یادگیری عمیق توضیح داده می‌شود و منطق ریاضیاتی پشت این الگوریتم‌ها به‌صورت مفصل به بحث گذاشته می‌شود. این کتاب را می‌توان یکی از بهترین مقدمه‌ها به الگوریتم‌های هوش مصنوعی دانست که برای مبتدیان بسیار مناسب است.

Artificial Intelligence Engines: A Tutorial Introduction to the Mathematics of Deep Learning

3.هوش مصنوعی با مثال

هوش مصنوعی با مثال نوشته دنیس روتمن تلاش می‌کند تا نحوه کار سیستم‌های هوش مصنوعی را با مثال‌های عینی و ملموس برای خواننده توضیح دهد. یکی از مهم‌ترین مشکلات کسانی که می‌خواهند هوش مصنوعی را شروع کنند این است که درکی از مشکلات عینی و واقعی که هوش مصنوعی به‌دنبال حل آن‌هاست ندارند. با خواندن این کتاب خواننده درمی‌یابد که چگونه هوش مصنوعی می‌کوشد که برای حل مشکلی روزمره سیستمی مبتنی‌بر الگوریتم‌های هوش مصنوعی تولید کند. همچنین در این کتاب هوش مصنوعی خواننده با نحوه کار مدل‌های یادگیری ماشین آشنا می‌شود و کاربردهای AI در حوزه‌هایی مانند بلاکچین را نیز می‌آموزد.

پس از خواندن کتاب، خواننده درکی از بنیادهای هوش مصنوعی خواهد داشت و روش کار سیستم‌های هوش مصنوعی را با مثال‌های عینی خواهد فهمید. برای درک مطالب این کتاب هوش مصنوعی آشنایی اولیه با پایتون و مباحث آماری ضروری است.

Artificial Intelligence By Example

4.هوش مصنوعی و یادگیری ماشین

هوش مصنوعی و یادگیری ماشین را چاندرا اس.اس.وی نوشته است. مخاطب هدف این کتاب دانشجویان کارشناسی رشته کامپیوترند و بنابراین این کتاب هوش مصنوعی بیشتر یک کتاب درسی است. نقطه قوت این کتاب نیز توضیح مباحث انتزاعی با استفاده از مثال‌های کاربردی و واقعی است. علاوه بر بحث‌هایی که درباره رابطه میان هوش مصنوعی و یادگیری ماشین می‌توانید در این کتاب بیابید، مطالبی نیز درباره انواع یادگیری مثل یادگیری نظارتی، غیرنظارتی و تقویتی هم در کتاب آورده شده است. از دیگر نقاط قوت کتاب استفاده از شبه‌کدها در توضیح هر کدام از این مباحث است که درک مطالب را برای خواننده راحت‌تر می‌سازد.

Artificial Intelligence and Machine Learning

5.بنیادهای هوش مصنوعی: درآمدی غیرفنی

کتاب بنیادهای هوش مصنوعی: درآمدی غیرفنی تلاش می‌کند فهمی کلی از هوش مصنوعی و تاثیرات آن به مخاطب عرضه کند. این کتاب هوش مصنوعی را تام تاولی نوشته است. نقطه قوت این کتاب که آن را برای علاقه‌مندان تازه‌کار هوش مصنوعی جذاب می‌سازد تلاشی است که نویسنده برای توضیح غیرفنی مفاهیمی مثل یادگیری ماشین، یادگیری عمیق، پردازش زبان طبیعی، رباتیک و نظایر آن دارد. در بخش‌های پایانی کتاب نویسنده تصویری از تاثیرات آینده هوش مصنوعی ترسیم می‌کند.

Artificial Intelligence Basics: A Non-Technical Introduction

6.هوش مصنوعی: راهنمای ضروری برای مبتدیان در هوش مصنوعی، یادگیری ماشین، رباتیک، اینترنت اشیا، شبکه‌های عصبی، یادگیری عمیق، یادگیری تقویتی و آینده ما

احتمالاً عنوان کتاب در نگاه اول کمی طولانی و عجیب به نظر می‌رسد. اما نباید فراموش کنید که این کتاب کتابی مقدماتی است. در این کتاب هوش مصنوعی نیل ویلکینز، نویسنده کتاب، نگاهی اجمالی به حوزه‌های مختلف هوش مصنوعی دارد. کتاب با کلیشه‌های نادرستی که درباره هوش مصنوعی وجود دارد آغاز می‌شود. سپس تعریف ساده‌ای از برخی از مفاهیم اساسی هوش مصنوعی داده می‌شود و بعد بخش اصلی کتاب آغاز می‌شود.

Artificial Intelligence: An Essential Beginner’s Guide to AI, Machine Learning, Robotics, The Internet of Things, Neural Networks, Deep Learning, Reinforcement Learning and Our Future

7.دوره اول در هوش مصنوعی

دیپاک خمانی، نویسنده کتاب، رهیافتی پایین به بالا را در این کتاب هوش مصنوعی در پیش گرفته است. کتاب بیشتر درباره استراتژی‌های اساسی و اولیه در حل هوشمند مسائل واقعی است.

A First Course in Artificial Intelligence

8.هوش مصنوعی کاربردی: کتاب راهنمای مدیران کسب‌وکارها

امروز دیگر علاقه‌مندان هوش مصنوعی دانش‌آموزان و دانشجویان نیستند. گروه مهم دیگری هم هستند که با علاقه تغییرات حوزه هوش مصنوعی را دنبال می‌‎کنند: سرمایه‌گذاران و مدیران کسب‌وکارها. کتابی که ماریا یائو با همکاری همکارانش نوشته راهنمایی عملی است برای بالا بردن بهره‌وری در سازمان‌ها و بهبود بخشیدن به کیفیت زندگی مشتریان با استفاده از هوش مصنوعی.

مسئله پیوند بازار هوش مصنوعی و سرمایه‌گذاران همواره از بحث‌های چالش‌برانگیز استارتاپ‌ها و کسب‌وکار هوش مصنوعی بوده است. از این نظر سرمایه‌گذاران با خواندن این کتاب هوش مصنوعی می‌توانند تصویری کلی از هوش مصنوعی داشته باشند. تمرکز اصلی این کتاب بر استفاده از یادگیری ماشین و هوش مصنوعی در حل مشکلات عینی سازمان‌ها و کسب‌وکارهاست. این کتاب را می‌توان یکی از بهترین مقدمه‌ها برای رهبران کسب‌وکارهایی دانست که ارزش واقعی به‌کارگیری فناوری یادگیری ماشین را در شرکت‌هایشان درک کرده‌اند.

Applied Artificial Intelligence: A Handbook for Business Leaders

9.هوش مصنوعی در بهداشت و درمان

ماجان ام‌دی و پاراگ سورش در این کتاب ظرفیت‌های هوش مصنوعی را برای به کار بستن آن در حوزه بهداشت و درمان بررسی می‌کنند. کتاب‌ هوش مصنوعی با مثال‌هایی از پزشکی امروز آغاز می‌‎شود و در ادامه به امکان‌های تحول‌آفرین استفاده از هوش مصنوعی در بهداشت و درمان می‌رسد. از نقاط قوت این کتاب بحث‌هایی است که درباره مسائل اخلاقی استفاده از هوش مصنوعی در حوزه پزشکی دارد.

Artificial Intelligence in Healthcare

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید

منبع: هوشیو

مهارت‌های کاربردی برای مهندس یادگیری ماشین و هوش مصنوعی

دنیا همگام‌ با پیشرفت فناوری‌های یادگیری ماشین (ML) و هوش مصنوعی (AI)، در حال تغییر و تحول است و به همین دلیل نیاز به مهندس یادگیری ماشین و هوش مصنوعی محسوس‌تر شده است.  ML و AI در بسیاری از دستگاه‌ها، از سیستم‌های آندروید گوشی‌های همراه و سایر دستگاه‌های الکترونیک گرفته تا خودروهای خودران، نقش مهمی ایفا کرده‌اند. اهمیت این نقش به صورت روزافزون در حال افزایش است، به طوری که برآورد می‌شود طی دو سال آینده، هوش مصنوعی بیش از ۲ میلیون فرصت شغلی ایجاد کند.

بر اساس گزارشات شرکت Market & Markets، انتظار می‌رود ارزش بازار یادگیری ماشینی که در سال ۲۰۱۶ معادل ۱ میلیاد دلار بود، در سال ۲۰۲۲ به ۹ میلیارد دلار برسد؛ این ارقام حاکی از یک CAGR (نرخ رشد مرکب سالانه) ۴۴ درصدی هستند. طبق پیش‌بینی‌ها، بازار هوش مصنوعی نیز تا قبل از سال ۲۰۲۵ به یک صنعت ۱۹۰ میلیارد دلاری تبدیل خواهد شد. این روند رو به رشد باعث شده تقاضای مشاغل مهندس یادگیری ماشین و هوش مصنوعی به میزان چشم‌گیری افزایش یابد.

در این نوشتار، علاوه بر فرصت‌های شغلی ML و AI، مهارت‌های لازم و برنامه‌های اعطاکننده گواهینامه‌های مربوطه را نیز معرفی می‌کنیم.

فرصت‌های شغلی هوش مصنوعی

با افزایش کاربرد ML و AI، مشاغل موجود در این حوزه‌ها دقیق‌تر و تخصصی‌تر می‌شوند. در این قسمت، برخی از این مشاغل و میانگین درآمد سالانه‌ی آن‌ها را معرفی می‌کنیم:

• مهندس هوش مصنوعی: مهندسان هوش مصنوعی موظف به حل مسئله، ساخت مدل‌های هوش مصنوعی و آزمایش و پیاده‌سازی آن‌ها هستند. علاوه بر این، باید قادر به مدیریت زیرساخت‌های هوش مصنوعی نیز باشند. مهندسان AI به کمک الگوریتم‌های یادگیری ماشینی و شناختی که از شبکه های عصبی دارند، مدل‌های هوش مصنوعی بهتری می‌سازند.

میانگین درآمد سالانه: ۱۱۶۵۴۰ دلار

• مهندس یادگیری ماشین: این متخصصان مسئول ساخت و نگهداری نرم‌افزارهای خودرانی هستند که به کاربردهای یادگیری ماشینی کمک می‌کنند. از آن‌جایی که مهندس یادگیری ماشین با حجم زیادی داده سر و کار دارند، باید تسلط کافی بر مباحث مدیریت داده ها داشته باشند.

میانگین درآمد سالانه: ۱۲۱۱۰۶ دلار

• توسعه‌دهنده هوش تجاری (BI): توسعه‌دهنده‌های BI باید داده‌هایی پیچیده را طراحی، مدلسازی، تحلیل و نگهداری کنند. این افراد با ترکیب هوش تجاری و هوش مصنوعی، به رشد درآمد شرکت‌ها کمک می‌کنند.

میانگین درآمد سالانه: ۹۰۴۳۰ دلار

• متخصص رباتیک: وظیفه‌ی این متخصصان، ارتقای کارآمد مسائلی است که توسط ربات‌ها انجام می‌شود. صنایع عمده تمایل دارند دستگاه‌های خود را برنامه‌نویسی کرده یا دستگاه‌های مکانیکی/ ربات‌هایی بسازند که دستورات مختلف انسان‌ها را اجرا می‌کنند؛ این صنایع، فرصت‌های شغلی فراوانی برای این دسته از متخصصان فراهم می‌آورند.

میانگین درآمد سالانه: ۸۳۲۴۱ دلار

با پیشرفت فناوری، فرصت‌های شغلی حوزه‌های یادگیری ماشینی و هوش مصنوعی نیز توسعه خواهند یافت. برای به دست آوردن این مشاغل، باید بر مهارت‌های خاصی تسلط داشت.

مهارت‌های ضروری برای مشاغل یادگیری ماشینی و هوش مصنوعی

عرصه‌ی هوش مصنوعی و یادگیری ماشینی فرصت‌های شغلی بسیار زیادی در بردارند. متقاضیان این مشاغل باید از جنبه‌های گوناگون این حوزه‌ها، از برنامه‌نویسی و مباحث اجرایی ساده گرفته تا پژوهش‌های پیشرفته، درکی جامع داشته باشند. تسلط بر مهارت‌های لازم، چه فنی و چه غیرفنی، به آینده‌ی شغلی متقاضیان کمک می‌کند.

مهارت‌های فنی

• زبان‌های برنامه‌نویسی

برای هم‌گام ماندن با آخرین فناوری‌ها، آشنایی با زبان‌های برنامه‌نویسی ضروری است. زبان‌های برنامه‌نویسی فراوان هستند و رتبه‌بندی آن‌ها از نظر کیفیت کار آسانی نیست. از برجسته‌ترین زبان‌های برنامه‌نویسی که در هوش مصنوعی به کار می‌روند می‌توان به این موارد اشاره کرد:

• Lisp
• Java
• C ++
• Python
• R

پایتون محبوب‌ترین زبان برنامه‌نویسی در یادگیری ماشینی به شمار می‌رود. این زبان به پلتفرم وابسته نیست و به آسانی در کنار سایر زبان‌های برنامه‌نویسی به کار می‌رود.

• جبر خطی/ حسابان/ آمار/ احتمال

آمار به فرآیند تجزیه و تحلیل دیتاست اشاره دارد که به منظور تعیین خواص ریاضی منحصر به فرد آن داده‌ها انجام می‌شود. یادگیری ماشینی از عملیات‌های آماری شروع شده و سپس فراتر می‌رود. میانگین، میانه، نما، واریانس، و انحراف معیار شاخص‌هایی هستند که برای توصیف دیتاست به کار می‌روند. تسلط بر مبحث احتمالات به درک بهتر مدل‌های مختلف هوش مصنوعی و یادگیری ماشینی کمک می‌کند.

• ریاضیات کاربردی، چارچوب‌ها و الگوریتم‌ها

آشنایی با مبانی نظری الگوریتم‌ها و نحوه‌ی کارکرد آن‌ها از اهمیت بالایی برخوردار است. افراد باید با مباحثی از قبیل گرادیان کاهشی، (ضرایب) لاگرانژی، بهینه‌سازی محدب، معادلات دیفرانسیل جزئی، برنامه‌نویسی درجه‌ی دوم، و جمع‌زنی آشنایی داشته باشند. علاوه بر این، برای ساخت مدل‌های هوش مصنوعی با استفاده از داده‌های بدون ساختار، باید بر الگوریتم‌های یادگیری عمیق و نحوه‌ی پیاده‌سازی آن‌ها با استفاده از یک چارچوب مشخص تسلط داشت. چند نمونه از چارچوب‌هایی که در هوش مصنوعی به کار می‌روند عبارت‌اند از: TensorFlow، PyTorch، Theano، و Caffe.

• کتابخانه‌ها و ابزارهای پردازش زبان طبیعی (NLP)

هدف اصلی پردازش زبان طبیعی یا NLP، ترکیب علوم کامپیوتر، مهندسی اطلاعات، زبان‌شناسی، هوش مصنوعی و برنامه‌نویسی سیستم‌ها به منظور پردازش و تحلیل دیتاست‌های بزرگ است. مهندس یادگیری ماشین و هوش مصنوعی باید بتواند مسائل گسترده‌ و جامع NLP، از قبیل پردازش زبان، صوت و ویدئو، را اجرا کند؛ در این راستا، استفاده از کتابخانه‌ها و ابزارهای متعدد NLP از این دست ضروری است:

• NTLK
• Gensim
• Word2vec
• TextBlob
• CoreNLP
• تجزیه و تحلیل عواطف
• PyNLPI
• شبکه‌های عصبی

شبکه‌ی عصبی، سیستمی (سخت‌افزاری یا نرم‌افزاری) است که مانند مغز انسان عمل می‌کند. شبکه‌های عصبی مصنوعی بر اساس نحوه‌ی کارکرد مغز انسان‌ها طراحی شده‌اند. البته این شبکه‌ها تنها شیوه‌ی درک انسان‌ها را تقلید نمی‌کنند، بلکه در مسائلی به کار می‌روند که بسیار فراتر از قابلیت‌های انسانی است. شبکه‌های عصبی را می‌توان در زمینه‌های کاری و تجاری گوناگونی به کار برد. مهندسان هوش مصنوعی باید بتوانند مسائل پیچیده‌ای از نوع تشخیص الگو، شناسایی چهره، تشخیص دست‌خط و … را حل کنند.

اگر کسی بخواهد دانش خوبی از این مباحث به دست آورده و مهارت‌های خود را ارتقاء دهد، گذراندن دوره‌های هوش مصنوعی و دریافت گواهینامه‌های مربوطه به او کمک خواهند کرد شغلی مناسب با درآمدی قابل‌قبول، به عنوان یک مهندس یادگیری ماشین و هوش مصنوعی، به دست آورد.

مهارت‌های غیرفنی

• تکرار ایده‌ها (الگوسازی سریع)

برای رسیدن به بهترین ایده‌ی ممکن، تکرار ایده‌ها فرآیندی ضروری است. تکرار ایده‌ها در همه‌ی جنبه‌های یادگیری ماشینی (از انتخاب مدل مناسب گرفته تا کار روی پروژه‌هایی همچون آزمایشات A/B، کتابخانه‌های NLP و غیره) قابل اجراست. متقاضیان، به خصوص زمانی که با مدل‌های سه بُعدی سروکار دارند، باید بتوانند با استفاده از تکنیک‌های گوناگون و به کمک طراحی‌های کامپیوتری سه بُعدی، مدل‌های واقع‌گرایانه‌ای متشکل از اجزاء یا مجموعه‌های مستحکم بسازند.

• دانش از حوزه‌ی تخصصی

موفق‌ترین پروژه‌های هوش مصنوعی آن‌هایی هستند که به شکل مناسب و کارآمد، نقاط ضعف اصلی را درگیر می‌کنند. به همین دلیل، داشتن درکی جامع از حوزه‌ی تخصصی مربوطه و راه‌های کسب منفعت از آن اهمیت بالایی دارد.

• تفکر خلاق و بحرانی

گذراندن دوره‌های آموزشی هوش مصنوعی و کسب گواهینامه‌های مربوطه به افرادی که می‌خواهند با این مباحث آشنا شده و مهارت‌های خود را ارتقاء دهند، کمک می‌کند. این دوره‌ها، آغاز مسیر دستیابی به مشاغل هوش مصنوعی با درآمدی قابل‌قبول هستند.

برترین برنامه‌های اعطاکننده گواهینامه در حوزه‌ی هوش مصنوعی

متقاضیان مشاغل حوزه‌های هوش مصنوعی یا یادگیری ماشینی می‌توانند با شرکت در دوره‌های آموزشی اعطاکننده گواهی که در مؤسسات آموزشی مختلف برگزار می‌شوند، مهارت‌های خود را اثبات کنند. تقاضای شغلی برای افرادی که این گواهینامه‌ها را در دست دارند نسبت به گذشته افزایش یافته است؛ زیرا خیلی از سازمان‌ها این گواهی‌ها را سنگ محکی برای ارزیابی متقاضیان شغلی می‌دانند. در این قسمت، چند مورد از برترین دوره‌های آموزشی را معرفی می‌کنیم که گواهینامه‌هایی مهم و محبوب صادر می‌کنند:

1. «هوش مصنوعی برای همه» از Coursera

Coursera یک پلتفرم آموزشی جهانی است که تعداد زیادی دوره‌ی آموزشی با گواهی‌های معتبر ارائه می‌دهد. این سامانه با بیش از ۲۰۰ دانشگاه و سازمان برتر همکاری دارد تا بتواند آموزش‌های آنلاینی انعطاف‌پذیر، مقرون‌ به صرفه، مرتبط با شغل در دسترس همگان قرار دهد. یکی از این دوره‌های آموزشی «هوش مصنوعی برای همه» نام دارد. این دوره‌ به اصطلاحات و واژه‌شناسی هوش مصنوعی (همچون شبکه‌های عصبی، یادگیری ماشینی، یادگیری عمیقی و علوم داده) می‌پردازد. با شرکت در این دوره‌ی آموزشی، درک بهتری از راهبردهای گوناگون هوش مصنوعی به دست خواهید آورد، درکی که به توسعه‌ی پروژه‌های یادگیری ماشینی و علوم داده کمک می‌کند.

1. «مهندس هوش مصنوعی (AIE™)» از ARTiBA

هیأت هوش مصنوعی آمریکا (ARTiBA) با ارائه‌ی گواهینامه‌ی مهندسی هوش مصنوعی (AIE™)، به متقاضیان کمک می‌کند مسیر شغلی خود در هوش مصنوعی را ارتقاء دهند. گواهینامه‌ی AIE™ که بر اساس چارچوب شناخته‌شده و بین‌المللی AMDEX™ طراحی شده است، دانش لازم برای فعالیت به عنوان یک متخصص موضوعی (SME) را در اختیار متقاضیان قرار می‌دهد.

در این دوره‌ی آموزشی، متقاضیان مفاهیم گوناگون از قبیل یادگیری ماشینی، یادگیری با نظارت و غیرنظارت شده، پردازش زبان طبیعی، محاسبات شناختی، یادگیری تقویتی و یادگیری عمیق را می‌آموزند. شرکت‌کنندگان در این دوره می‌توانند سرعت آموزش را مطابق با نیاز خود تغییر دهند؛ امکان حضور در آزمون، ۴۵ روز پس از ثبت‌نام وجود دارد.

1. «دوره‌ی آموزش حرفه‌ای هوش مصنوعی» از مایکروسافت

مایکروسافت یک دوره‌ی آموزشی هوش مصنوعی برگزار می‌کند که در انتهای آن گواهینامه‌ای معتبر نیز به شرکت‌کنندگان تعلق می‌گیرد. این دوره یک برنامه‌ی آموزشی جامع از مباحث مربوطه را در برمی‌گیرد. شرکت‌کنندگان با مباحث گوناگون همچون مقدمات یادگیری ماشینی، زبان و ارتباطات، بینایی کامپیوتری، و همچنین پایتون که زبان ضروری برای برنامه‌نویسی است، آشنا خواهند شد. شرکت‌کنندگان آزادی عمل دارند و می‌توانند بین مباحث بینایی کامپیوتری و تجزیه و تحلیل تصویر و یا سیستم‌های تشخیص گفتار و پردازش زبان طبیعی یکی را انتخاب کنند؛ در این حوزه‌ها افراد می‌آموزند بر اساس داده‌ها، راهکارهایی هوشمند ارائه دهند.

1. «مهندسی هوش مصنوعی» از simplilearn

Simplilearn با همکاری IBM، یک دوره‌ی آموزشی مهندسی هوش مصنوعی برگزار می‌کند. هدف از این دوره‌ی آموزشی، غنی‌سازی مهارت‌های شرکت‌کنندگان و تربیت متخصص هوش مصنوعی است. شرکت‌کنندگان با استفاده از قابلیت‌های متنوع IBM همچون هکاتون‌ها، کلاس‌های ارشد، جلسات زنده، آزمایشگاه‌های کاربردی، جلسات پرسش آزاد و پروژه‌های گوناگون، می‌توانند بر مفاهیم علوم داده به زبان پایتون، یادگیری ماشینی، یادگیری عمیق و NLP تسلط یابند. علاوه بر این، امکان دسترسی به حساب کاربردی IBM Cloud Lite و دریافت گواهینامه‌ی ارشد هوش مصنوعی Simplilearn (که در بین صنایع شناخته‌شده و پذیرفته‌شده است) برای همه‌ی شرکت‌کنندگان وجود دارد.

جمع‌بندی

اگر به دنبال فعالیت در حوزه‌ی هوش مصنوعی هستید، باید مهارت‌ها و گواهینامه‌های لازم را در دست داشته باشید. با دریافت گواهینامه‌های لازم، شانس خود را برای به دست آوردن شغلی بهتر در سازمانی خوش‌نام، افزایش می‌دهید.

منبع: هوشیو

10 واقعیت درباره یادگیری ماشین

ایده یادگیری ماشین مدت‌ها پیش معرفی شده است. سیل عظیم داده‌ها و منابع محاسباتی گسترده به ظهور یادگیری ماشین کمک اساسی کرده‌اند. امروزه، یادگیری ماشین به موضوع داغ روز تبدیل شده است. حتی مهندسان نرم‌افزار به یک دلیل عمده در صدد مطالعه یادگیری ماشین هستند: یادگیری ماشین تماماً با برنامه‌نویسی داده‌محور سر و کار دارد و می‌تواند در اکثر موارد جایگزین برنامه‌نویسی سنتی شود. با توجه به افزایش روزافزون محبوبیت یادگیری ماشین، افراد بسیاری برای یادگیری آن ابراز علاقه کرده‌اند. اما هیچ کس به دنبال حقایق یادگیری ماشین نیست. بنابراین، مقاله حاضر در نظر دارد با ارائه واقعیت‌ها درباره یادگیری ماشین راه درست را به علاقمندان نشان دهد. امیدواریم مطالب این مقاله به شما در انتخاب این مسیر یادگیری درست کمک کند و بتوانید به شغل رویایی‌تان در یادگیری ماشین دست یابید.

واقعیت ۱: دانشمندان داده و مهندسان یادگیری ماشین ۶۰ الی ۷۰ درصد زمان‌شان را صرف رفع مسائل کیفیت داده می‌کنند.

نکته جالب درباره یادگیری ماشین این است که داده‌های دنیای واقعی در وضعیت نابسامانی به سر می‌برند و مثل دیتاست‌های پیش‌پردازش شده نیستند که از Kaggle یا هر پلتفرم دیگری قابل دانلود باشند. دیتاست‌های دنیای واقعی با یکدیگر فرق دارند و با مسائل کیفی خاصی همراه‌اند. رفع این مسائل به دانش خاص آن حوزه نیاز دارد. از جمله کارهایی که در رفع مسائل کیفی داده انجام می‌گیرد، می‌توان به مدیریت مقادیر گمشده، شناسایی داده‌پرت، رمزگذاری متغیرهای رسته‌ای و غیره اشاره کرد. تلاش برای حل مسئله مقادیر گمشده، بیشترین زمان را از دانشمندان داده می‌گیرد. پس از شناسایی داده‌پرت باید چه اقدامی انجام داد؟ آیا باید در صدد حذف آن برآمد؟ آیا باید مقدار مرتبطی جایگزین آن کرد؟ این کار به دانشی بستگی دارد که باید برای مسائل تحلیلی به کار برد. ممکن است داده‌پرت‌ها داستان جالبی داشته باشند. باید در خصوص مسئله‌ای که قصد حل‌اش را دارید، دانش خوبی داشته باشید. بنابراین، در پایان می‌توان گفت که رفع مسائل کیفی داده به زمان زیادی نیاز دارد.

نکته کلیدی: حین انجام یادگیری ماشین باید تمرکزتان را فقط روی مدیریت مقادیر گمشده، شناسایی داده‌پرت، کدگذاری متغیر و کسب دانش تخصصی درباره مسئله معطوف کنید. این کار به شما کمک می‌کند تا به شغل رویایی‌تان در یادگیری ماشین دست یابید.

واقعیت ۲: مهندسان یادگیری ماشین زمانی برای تنظیم هایپرپارامترها اختصاص نمی‌دهند.

نکته دیگری که درباره یادگیری ماشین باید بدانید این است که تنظیم هایپرپارامترها می‌تواند عملکرد مدل را تا حدی ارتقاء دهد. گزینه‌های خودکارسازی از قبیل جستجوی شبکه یا جستجوی تصادفی نیز در تنظیم هایپرپارامترها موجود هستند. این گزینه‌ها از نوشتار زیاد برای حلقه‌ها پیش‌گیری کرده و باعث صرفه‌جویی در زمان می‌شوند. مهندسان یادگیری ماشین به جای تمرکز بر تنظیم هایپرپارامترها، رفع مسائل کیفی داده‌ها را در اولویت کارهایشان قرار می‌دهند زیرا مسائل کیفی داده می‌تواند به پروژه آنها خاتمه دهد.

نکته کلیدی: رفع مسائل کیفی داده در هنگام انجام کارهای یادگیری ماشین در دستور کارتان باشد. وقتی می‌خواهید کار تنظیم هایپرپارامترها را انجام دهید، همیشه از گزینه‌های خودکارسازی نظیر جستجوی شبکه یا جستجوی تصادفی استفاده کنید.

واقعیت ۳: ساخت مدل کاری نیست که در یک دوره عملیات انجام گیرد و فرایندی تکراری به شمار می‌رود.

یکی از نکات جالب درباره یادگیری ماشین این است که نمی‌توانید به سادگی در زمان کم مدل خوبی بسازید. مدل‌سازی کاری نیست که در یک دوره عملیات انجام گیرد و فرایندی تکراری به شمار می‌رود. اگر بخواهید مدل خوبی بسازید، حتماً همه مراحل را پس و پیش می‌کنید تا نهایتاً به مدلی دست یابید که تنوع بالای داده ها را مدیریت کند. در ابتدا، ممکن است مدل پایه‌ای بسازید که برای مقایسه با سایر مدل‌ها مورد استفاده قرار گیرد. سپس، ممکن است روش‌های تنظیم هایپرپارامتر دیگری را نیز امتحان کنید و عملکرد مدل را اندازه بگیرید. همچنین، شاید بخواهید از روش‌های کاهش بُعد استفاده کنید و مدل‌تان را دوباره آموزش دهید. بنابراین، ساخت مدل مراحل تکراری زیادی دارد.

واقعیت ۴: تنظیم هایپرپارامتر چالش بزرگی در یادگیری بدون نظارت است.

درباره یادگیری ماشین باید این را هم بدانید که در نوع نظارت‌نشده آن که برچسبی وجود ندارد، اندازه‌گیریِ عملکرد مدل کار دشواری است. بنابراین، تنظیم هایپرپارامتر چالش بزرگی در یادگیری بدون نظارت محسوب می‌شود. ممکن است مقادیر مختلفی را برای هایپرپارامترها در نظر بگیرید و نمودارهایی برای تایید انتخاب‌تان ایجاد کنید. گاهی دانش زمینه‌ای در خصوص مسئله به افراد کمک می‌کند تا مقادیر درستی را برای هایپرپارامترها به دست آورید.

واقعیت ۵: یادگیری ماشین خودکار نمی‌تواند جایگزین دانشمندان داده شود.

یادگیری ماشین خودکار ابزاری در دست دانشمندان داده است تا کارها را به راحتی انجام دهند؛ این ابزار به آنها کمک می‌کند تا کارهای تکراری و خسته‌کننده را با آسودگی خاطر انجام دهند، در زمان ارزشمندشان صرفه‌جویی کنند و عملکرد خوبی در سازگاری و حفظ کد داشته باشند. یادگیری ماشین خودکار دانشمندان داده را از کار بی‌کار نمی‌کند. نیاز به دانش زمینه‌ای و وجود داده‌های بدون برچسب در یادگیری نظارت نشده می‌تواند از فرایند خودکارسازی در یادگیری ماشین پیشگیری کند.

نکته کلیدی: چندی پیش، مقاله‌ای درباره یادگیری ماشین خودکار منتشر کردم. این مقاله می‌تواند اطلاعات بیشتری در اختیار علاقمندان قرار دهد. به لینک زیر مراجعه کنید.

واقعیت ۶: مدل‌های یادگیری ماشین Scikit-learn مثل تنسورفلو در صنعت کاربرد گسترده‌ای ندارند.

نکته دیگر درباره یادگیری ماشین این است که اگرچه ابزارهای ارزیابی Scikit-learn از سازگاری بسیار بالایی برخوردارند، اما کاربرد گسترده‌ای در صنعت ندارند. شبکه های عصبی به خوبی در Scikit-learn اجرا نمی‌شوند. Scikit-learn از GPU پشتیبانی نمی‌کند. سایر الگوریتم‌های موجود در عملکرد ضعیف‌تری نسبت به کتابخانه‌هایی مثل XGBoost دارند. همچنین، Scikit-learn عملکرد کُندی در دیتاست‌های بزرگ از خود نشان داده است. در مقابل، تنسورفلو گزینه‌های مناسبی برای شبکه‌های عصبی ارائه می‌کند.

نکته کلیدی: اگر تازه با یادگیری ماشین آشنا شده‌اید، توصیه می‌کنم در ابتدا Scikit-learn را یاد بگیرید تا دانش پایه‌ای خوبی برای ادامه مسیر یادگیری‌تان کسب کرده باشید. سپس، یادگیری کتابخانه تنسورفلو را در اولویت کاری‌تان قرار دهید.

واقعیت ۷: نیازی نیست دانشمندان داده از مسائل ریاضی الگوریتم‌های یادگیری ماشین آگاهی داشته باشند.

اگرچه بهتر است دانشمندان داده اطلاعاتی درباره هر کدام از الگوریتم‌ها داشته باشند، اما نیازی نیست از همه مسائل ریاضی الگوریتم‌های یادگیری ماشین آگاهی داشته باشند. دانشمندان داده فقط باید بدانند که کدام الگوریتم‌ها می‌تواند به بهترین شکل ممکن در انجام کارهای خاص به آنها کمک کند. همچنین، باید از نحوه بکارگیری الگوریتم‌ها آگاهی داشته باشند. علاوه بر این، آنها باید بدانند الگوریتم مورد نظرشان چه نوع داده‌هایی را به عنوان ورودی می‌پذیرد و از آنها خروجی می‌گیرد. دانشمندان داده باید از نحوه تاثیرگذاریِ تغییرات پارامتر بر عملکرد مدل نیز آگاه باشند. اگر آنها با مسائل ریاضی پیچیده‌ در الگوریتم‌ها آشنا باشند، مزیت مضاعفی برای‌شان به حساب می‌آید، اما کسب این دانش الزامی نیست.

واقعیت ۸: در یادگیری ماشین، هیچ برنده‌ی مشخصی بین R و پایتون وجود ندارد.

حتماً می‌دانید که R و پایتون دو زبان برنامه‌نویسی پرکاربرد در علوم داده و یادگیری ماشین هستند. این دو زبان مزایا و معایب خاص خود را دارند. هر دوی آ‌نها کتابخانه‌های متعددی برای تحلیل داده، دستکاری داده و کارهای یادگیری ماشین عرضه می‌کنند. نمی‌توان هیچ برنده‌ای را از میان این دو انتخاب کرد. بسته به نیازهای پروژه، ممکن است از کمکِ هر دو استفاده کنید. با این حال، من به شخصه پایتون را ترجیح می‌دهم چون نحو آن به راحتی قابل فهم است.

واقعیت ۹: SQL مهارت اصلی مهندس یادگیری ماشین است.

چون %۷۰ یادگیری ماشین به کار با داده مربوط می‌شود، زبان پرسمان ساخت‌یافته (SQL) مهارت اصلی مهندس یادگیری ماشین است. شما می‌توانید اسکریپت‌های پایتون و R را در سرورهای SQL اجرا کنید. اگر به دنبال شغلی مرتبط با مهندسی یادگیری ماشین باشید، خواهید دید که SQL یکی از الزامات اصلی است.

واقعیت ۱۰: مدل‌های یادگیری ماشین دنیای واقعی در لپ‌تاپ ساخته نمی‌شوند.

آخرین نکته این مقاله درباره یادگیری ماشین این است که احتمالاً با ساخت مدل‌های یادگیری ماشین در لپ‌تاپ آشنایی دارید. با این حال، این کار در کاربردهای عملی دنیای واقعی امکان‌پذیر نیست. ایرادی ندارد که از لپ‌تاپ‌تان برای ساخت نمونه اولیه از یک مدل استفاده کنید یا مدل‌سازی را تمرین کنید. بهتر است با فرایند تلفیق و مقیاس‌بندیِ مدل‌ها نیز آشنا باشید.

منبع: هوشیو

دفترچه راهنمای کتابخانه Matplotlib در پایتون؛ آموزش کامل مصور‌سازی داده‌ها

کتابخانه Matplotlib  پرکاربردترین ابزار پایتون در حوزه مصور‌سازی داده ها است. این کتابخانه در محیط‌های مختلف از جمله سرورهای کاربردی، ‌ابزارهای رابط کاربری گرافیکی، Jupyter notebook، iPython و iPython shell پشتیبانی می‌شود.

معماری کتابخانه Matplotlib

کتابخانه Matplotlib دارای ۳ لایه است که عبارتند از: لایه backend ، لایه artist  و لایه scripting. لایه سمت سرور سه کلاس رابط دارد: ۱. figure canvas که فضایی که نمودار در آن رسم خواهد شد را تعریف می‌کند، ۲. renderer که مسئول رسم نمودار در figure canvas است و ۳. event که با ورودی‌های کاربر مثل کلیک‌ها سروکار دارد. لایهartist  برای رسم نمودار روی صفحه از renderer استفاده می‌کند. بنابراین، هر چیزی که در نمودار رسم‌شده توسط کتابخانه Matplotlib  مشاهده می‌کنید، در حقیقت، مصداقی از یک لایهartist  است. یعنی هر عنوان، برچسب، علامت و حتی خود نمودار یک لایهartist  مجزا هستند. لایه scripting یک رابط سبک‌تر است که برای استفاده روزانه مناسب می‌باشد. در این مقاله، همه مثال‌ها با استفاده از لایه scripting به شما نشان داده می‌شوند و همچنین از محیط Jupyter notebook استفاده خواهم کرد.

اگر هدفتان از خواندن این مقاله یادگیری کار با کتابخانهMatplotlib  است، پیشنهاد می‌کنم که حتماً خودتان کدها را اجرا کنید تا طرزکار آن را ببینید.

آماده‌سازی داده‌ها

معمولاً در همه پروژه‌ها‌ پیش از به تصویر کشیدن داده‌ها یا شروع تحلیل، فرآیند آماده‌سازی داده‌ها صورت می‌گیرد. زیرا داده‌ها هیچ‌وقت در قالب و شکلی که ما می‌خواهیم، نیستند. دیتاستی که در این مقاله آموزشی از آن استفاده خواهیم کرد حاوی اطلاعاتی در خصوص مهاجرت به کانادا است. ابتدا باید پکیج‌های ضروری و دیتاست را وارد محیط کاری خود کنیم.

import numpy as np

import pandas as pd

df = pd.read_excel('https://s3-api.us-geo.objectstorage.softlayer.net/cf-courses-data/CognitiveClass/DV0101EN/labs/Data_Files/Canada.xlsx',

sheet_name='Canada by Citizenship',

skiprows=range(۲۰),

skipfooter=۲)

df.head()

من ۲۰ سطر اول و ۲ سطر آخر دیتاست را رد می‌کنم، چون این سطرها حاوی متن هستند، نه داده‌هایی که ما نیاز داریم. این دیتاست، بسیار بزرگ است و به همین دلیل، نمی‌توانم از صفحه حاوی داده‌ها عکس بگیرم و برای شما نمایش دهم. در زیر می‌توانید نام ستون‌های دیتاست را ملاحظه فرمایید:

در این مقاله مربوط به کتابخانه Matplotlib قرار نیست همه این ستون‌ها را استفاده کنیم. بنابراین، باید ستون‌های بلااستفاده را حذف کنیم تا دیتاست کوچک‌تر و کار با آن راحت‌تر شود.

df.columns

#Output:

Index([ 'Type', 'Coverage', 'OdName', 'AREA', 'AreaName', 'REG',

'RegName', 'DEV', 'DevName', ۱۹۸۰, ۱۹۸۱, ۱۹۸۲,

۱۹۸۳, ۱۹۸۴, ۱۹۸۵, ۱۹۸۶, ۱۹۸۷, ۱۹۸۸,

۱۹۸۹, ۱۹۹۰, ۱۹۹۱, ۱۹۹۲, ۱۹۹۳, ۱۹۹۴,

۱۹۹۵, ۱۹۹۶, ۱۹۹۷, ۱۹۹۸, ۱۹۹۹, ۲۰۰۰,

۲۰۰۱, ۲۰۰۲, ۲۰۰۳, ۲۰۰۴, ۲۰۰۵, ۲۰۰۶,

۲۰۰۷, ۲۰۰۸, ۲۰۰۹, ۲۰۱۰, ۲۰۱۱, ۲۰۱۲,

۲۰۱۳],

dtype='object')

df.drop(['AREA','REG','DEV','Type','Coverage'], axis=۱, inplace=True)

df.head()

به نام ستون‌ها دقت کنید، ستون OdName حاوی نام کشورها، AreaName نام قاره‌ای که کشور مذکور در آن قرار دارد و RegName نیز نام منطقه‌ای که کشور مربوطه در آن واقع شده، می‌باشند. اما من می‌خواهم نام ستون‌ها را تغییر دهم تا گویاتر و قابل‌فهم باشند.

df.rename(columns={'OdName':'Country', 'AreaName':'Continent', 'RegName':'Region'}, inplace=True)

df.columns

#Output:

Index([ 'Country', 'Continent', 'Region', 'DevName', ۱۹۸۰,

۱۹۸۱, ۱۹۸۲, ۱۹۸۳, ۱۹۸۴, ۱۹۸۵,

۱۹۸۶, ۱۹۸۷, ۱۹۸۸, ۱۹۸۹, ۱۹۹۰,

۱۹۹۱, ۱۹۹۲, ۱۹۹۳, ۱۹۹۴, ۱۹۹۵,

۱۹۹۶, ۱۹۹۷, ۱۹۹۸, ۱۹۹۹, ۲۰۰۰,

۲۰۰۱, ۲۰۰۲, ۲۰۰۳, ۲۰۰۴, ۲۰۰۵,

۲۰۰۶, ۲۰۰۷, ۲۰۰۸, ۲۰۰۹, ۲۰۱۰,

۲۰۱۱, ۲۰۱۲, ۲۰۱۳],

dtype='object')

به این ترتیب، نام ستون‌های دیتاست به Country به معنی کشور، Continent به معنی قاره، Region به معنی منطقه و DevName که بیان‌گر توسعه‌یافته یا درحال‌توسعه بودن کشور است، تغییر پیدا کردند. ستون‌هایی که نام آن‌ها نشان‌دهنده یک سال خاص است، حاوی شمار مهاجرانی که هستند که در آن سال وارد کانادا شده‌اند. حالا می‌خواهم یک ستون جدید به نام total اضافه کنم که به ما بگوید چه تعداد مهاجر بین سال ۱۹۸۰ تا ۲۰۱۳ به کانادا آمده‌اند.

df['Total'] = df.sum(axis=۱)

همان‌طور که مشاهده می‌کنید، یک ستون جدید به نام Total به انتهای دیتاست افزوده شده است.

حالا باید بررسی کنیم و ببینیم آیا سلول خالی یا سلولی حاوی مقدار null در ستون‌ها وجود دارد؟

df.isnull().sum()

خروجی این خط از کد تعداد مقادیر  در همه ستون‌ها را صفر نشان می‌دهد. من دوست دارم همیشه ستون شاخص به جای یک سری عدد بی‌معنی، ستونی باشد که مقادیر آن معنادارند. بنابراین، ستون  را به عنوان شاخص تعیین می‌کنم.

این دیتاست از همان ابتدا تمیز و مرتب بود، بنابراین، عملیات پاک‌سازی داده‌ها را در همین‌جا به پایان می‌رسانیم. البته اگر عملیات دیگری نیاز باشد، در طی مسیر آن را انجام خواهیم داد.

df = df.set_index('Country')

خروجی این خط از کد تعداد مقادیر  در همه ستون‌ها را صفر نشان می‌دهد. من دوست دارم همیشه ستون شاخص به جای یک سری عدد بی‌معنی، ستونی باشد که مقادیر آن معنادارند. بنابراین، ستون  را به عنوان شاخص تعیین می‌کنم.

این دیتاست از همان ابتدا تمیز و مرتب بود، بنابراین، عملیات پاک‌سازی داده‌ها را در همین‌جا به پایان می‌رسانیم. البته اگر عملیات دیگری نیاز باشد، در طی مسیر آن را انجام خواهیم داد.

df = df.set_index('Country')

تمرین‌های رسم نمودار در کتابخانه Matplotlib

در این مقاله، رسم انواع نمودارها از جمله نمودار خطی، نمودار ناحیه‌ای، نمودار دایره‌ای، نمودار پراکنش، نمودار میله‌ای و هیستوگرام را تمرین خواهیم کرد.

%matplotlib inline

import matplotlib.pyplot as plt

import matplotlib as mpl

اگر از همان ابتدا سبک نمودار خود را انتخاب کنید، دیگر لازم نخواهد بود روی جنبه‌های هنری آن زمان زیادی بگذارید. در زیر لیست گزینه‌های موجود را مشاهده می‌فرمایید:

plt.style.available

#Output:

mpl.style.use(['ggplot'])

'classic',

'dark_background',

'fast',

'fivethirtyeight',

'ggplot',

'grayscale',

'seaborn-bright',

'seaborn-colorblind',

'seaborn-dark-palette',

'seaborn-dark',

'seaborn-darkgrid',

'seaborn-deep',

'seaborn-muted',

'seaborn-notebook',

'seaborn-paper',

'seaborn-pastel',

'seaborn-poster',

'seaborn-talk',

'seaborn-ticks',

'seaborn-white',

'seaborn-whitegrid',

'seaborn',

'Solarize_Light2',

'tableau-colorblind10',

'_classic_test']

من در این‌جا گزینه ggplot را برای نمودارم انتخاب می‌کنم. شما می‌توانید گزینه‌های دیگر را نیز امتحان کرده و سبک موردعلاقه خود را برگزینید.

نمودار خطی

به نظر من به تصویر کشیدن تمایل کشورهای مختلف به مهاجرت به کانادا جالب خواهد بود. به این منظور، ابتدا یک لیست از سال‌هایی که در دیتاست داریم (یعنی۱۹۸۰ تا ۲۰۱۴) ایجاد می‌کنم.

years = list(map(int, range(۱۹۸۰, ۲۰۱۴)))

برای این نمودار کشور سوئیس را انتخاب کردم و می‌خواهم داده‌های مربوط به آن را روی نمودار نمایش دهم. پس باید داده‌های مهاجرت مردم سوئیس به کانادا را در هر سال تهیه کنم.

df.loc['Switzerland', years]

در تصویر بالا بخشی از داده‌های مربوطه را مشاهده می‌کنید. حال زمان رسم نمودار است. کار بسیار آسانی است. تنها کافی است تابع plot را فراخوانی کنید، داده‌هایی که اماده کرده‌اید را به آن بدهید و در آخر نیز عنوان و برچسب‌های محور x و y را تعیین کنید.

df.loc['Switzerland', years].plot()

plt.title('Immigration from Switzerland')

plt.ylabel('Number of immigrants')

plt.xlabel('Years')

plt.show()

حال اگر بخواهیم روند مهاجرت چند کشور به کانادا را طی این سال‌ها مشاهده و با هم مقایسه کنیم، باز هم کار سختی نخواهد بود. تنها کافیست در لیست داده‌ها به جای یک کشور، نام کشورهای مدنظر را همراه با سال بیاوریم. در این‌جا من می‌خواهم سه کشور هند، پاکستان و بنگلادش را با هم مقایسه کنم.

ind_pak_ban = df.loc[['India', 'Pakistan', 'Bangladesh'], years]

ind_pak_ban.head()

فرمت داده‌ها در این‌جا با مثال قبلی متفاوت است. اگر تابع plot را روی همین دیتافریم اعمال کنیم، روی محور xها تعداد مهاجران هر کشور و روی محور yها، سال را خواهیم داشت. پس باید فرمت دیتاست را تغییر دهیم:

ind_pak_ban.T

در این تصویر تنها بخشی از دیتاست را مشاهده می‌کنید، اما می‌توانید ببینید که فرمت آن چگونه تغییر کرده است. حال با فراخوانی تابع plot، سال روی محور xها و شمار مهاجران هر کشور روی محور yها رسم خواهد شد.

در این مثال لازم نبود نام نمودار را ذکر کنیم، زیرا پیش‌فرض این تابع، نمودار خطی است.

ind_pak_ban.T.plot()

نمودار دایره‌ای

در این مثال می‌خواهم شمار مهاجران هر قاره را روی نمودار دایره‌ای به تصویر بکشم. ما داده‌ها را برای هر کشور داریم، پس اگر کشورها را براساس قاره‌ای که در آن واقع شده‌اند گروه‌بندی کنیم و تعداد مهاجران هر گروه را به دست آوریم، در واقع شمار مهاجران هر قاره را خواهیم داشت.

cont = df.groupby('Continent', axis=۰).sum()

بسیار خب، به این ترتیب دیتاستی داریم که شمار مهاجران هر قاره را به ما نشان می‌دهد. این دیتاست بسیار بزرگ است و در این صفحه جای نمی‌گیرد، اما شما می‌توانید این دیتاست را فراخوانی و چاپ کنید تا ببینید داده‌ها در آن به چه صورت هستند. حالا بیایید نمودار آن را رسم کنیم.

cont['Total'].plot(kind='pie', figsize=(۷,۷),

autopct='%۱.۱f%%',

shadow=True)

#plt.title('Immigration By Continenets')

plt.axis('equal')

plt.show()

اگر به این کد دقت کنید، می‌بینید که تابع ما دارای پارامتری به نام «kind» است. غیر از نمودار خطی، باید نوع سایر نمودارها را با این پارامتر تعیین کنید. همچنین پارامتر جدیدی به نام «figsize» در تابع تعریف کرده‌ام که ابعاد نمودار را تعیین می‌کند.

این نمودار دایره‌ای واضح و قابل‌فهم است، اما با اندکی تلاش می‌توان آن را بهتر و زیباتر کرد. به این منظور می‌خواهم رنگ‌ها و زاویه شروع نمودار را خودم تعیین کنم.

colors = ['lightgreen', 'lightblue', 'pink', 'purple', 'grey', 'gold']

explode=[۰.۱, ۰, ۰, ۰, ۰.۱, ۰.۱]

cont['Total'].plot(kind='pie', figsize=(۱۷, ۱۰),

autopct = '%۱.۱f%%', startangle=۹۰,

shadow=True, labels=None, pctdistance=۱.۱۲, colors=colors, explode = explode)

plt.axis('equal')

plt.legend(labels=cont.index, loc='upper right', fontsize=۱۴)

plt.show()

نمودار جعبه‌ای

در این مثال ابتدا نمودار جعبه‌ای برای شمار مهاجران چینی رسم می‌کنیم.

china = df.loc[['China'], years].T

این از داده‌های موردنیاز‌مان؛ حالا برویم سراغ رسم نمودار جعبه‌ای:

china.plot(kind='box', figsize=(۸, ۶))

plt.title('Box plot of Chinese Immigratns')

plt.ylabel('Number of Immigrnts')

plt.show()

اگر به دنبال نکات و تکنیک‌های بیشتری در خصوص نمودارهای جعبه‌ای می‌گردید، می‌توانید به این لینک مراجعه فرمایید.

امکان رسم چندین نمودار جعبه‌ای در یک نمودار هم وجود دارد. در این‌جا با استفاده از دیتافریم قبلی یعنی «ind_pak_ban»، نمودار جعبه‌ای هر سه کشور هند، پاکستان و بنگلادش را روی یک نمودار رسم می‌کنم.

ind_pak_ban.T.plot(kind='box', figsize=(۸, ۷))

plt.title('Box plots of India, Pakistan and Bangladesh Immigrants')

plt.ylabel('Number of Immigrants')

نمودار پراکنش

رسم یک نمودار پراکنش بهترین راه برای شناسایی رابطه میان متغیرهاست. نمودار پراکنش را رسم کنید تا روند مهاجرت به کانادا طی سال‌های ۱۹۸۰ تا ۲۰۱۳ را مشاهده کنید.

برای رسم این نمودار یک دیتافریم جدید ایجاد می‌کنم که حاوی تعداد کل مهاجرانی است که در هر سال به کانادا مهاجرت کرده‌اند و متغیر years در آن به عنوان شاخص درنظر گرفته شده است.

totalPerYear = pd.DataFrame(df[years].sum(axis=۰))

totalPerYear.head()

ما باید نوع متغیر years را به عدد صحیح یا int تبدیل کنیم. در ادامه قصد دارم اندکی دیتاست را دستکاری کنم تا درک آن آسان‌تر شود.

totalPerYear.index = map(int, totalPerYear.index)

totalPerYear.reset_index(inplace=True)

totalPerYear.head()

در نمودار پراکنش باید محور xها و yها را مشخص کنیم.

totalPerYear.plot(kind='scatter', x = 'year', y='total', figsize=(۱۰, ۶), color='darkred')

plt.title('Total Immigration from 1980 - 2013')

plt.xlabel('Year')

plt.ylabel('Number of Immigrants')

plt.show()

به نظر می‌رسد بین دو متغیر سال و تعداد مهاجران یک رابطه خطی وجود دارد و روند مهاجرت از سال ۱۹۸۰ تا ۲۰۱۳ روندی صعودی داشته است.

نمودار ناحیه‌ای

نمودار ناحیه‌ای در حقیقت سطح زیر منحنی خطی را نمایش می‌دهد. برای رسم این نمودار می‌خوام از دیتافریمی استفاده کنم که حاوی داده‌های مربوط به ۴ کشور هند، چین، پاکستان و فرانسه است.

top = df.loc[['India', 'China', 'Pakistan', 'France'], years]

top = top.T

دیتاست ما آماده است، حالا نوبت رسم نمودار است.

colors = ['black', 'green', 'blue', 'red']

top.plot(kind='area', stacked=False,

figsize=(۲۰, ۱۰), colors=colors)

plt.title('Immigration trend from Europe')

plt.ylabel('Number of Immigrants')

plt.xlabel('Years')

plt.show()

در کتابخانه Matplotlib اگر می‌خواهید نمودار هر کشور به صورت جداگانه رسم شود، یادتان باشد که مقدار پارامتر «stacked» را حتماً برابر False قرار دهید، در غیر این صورت نمودار شما به شکل زیر خواهد شد:

وقتی مقداری برای stacked تعیین نشود، ناحیه متغیرها به صورت مجزا نمایش داده نمی‌شود، بلکه روی متغیر قبلی رسم می‌شود.

هیستوگرام

نمودار هیستوگرام توزیع یک متغیر را نشان می‌دهد. به مثال زیر توجه کنید:

df[۲۰۰۵].plot(kind='hist', figsize=(۸,۵))

plt.title('Histogram of Immigration from 195 Countries in 2010')

# add a title to the histogram

plt.ylabel('Number of Countries')

# add y-label

plt.xlabel('Number of Immigrants')

# add x-label

plt.show()

روی این نمودار هیستوگرام ۲۰۰۵ داده را به تصویر کشیده‌ام. از این نمودار پیداست که کانادا از اکثر کشورها بین ۰ تا ۵۰۰۰ مهاجر داشته است. و تنها تعداد محدودی کشور بوده‌اند که ۲۰۰۰۰ یا ۴۰۰۰۰ هزار مهاجر به کانادا داشته‌اند.

حالا بیایید با استفاده از دیتافریم top که برای نمودار پراکنش تعریف کرده بودیم، توزیع مهاجران هر کشور را نیز رسم کنیم.

top.plot.hist()

plt.title('Histogram of Immigration from Some Populous Countries')

plt.ylabel('Number of Years')

plt.xlabel('Number of Immigrants')

plt.show()

در نمودار هیستوگرام قبلی دیدیم که کشورهای کمی بودند که ۲۰۰۰۰ یا ۴۰۰۰۰ هزار مهاجر به کانادا داشتند. به‌نظر می‌رسد که چین و هند در میان این کشورها قرار دارند. در این نمودار، حاشیه میان «ستون‌ها» واضح نیست. پس بیایید نمودار بهتری رسم کنیم.

تعیین تعداد ستون‌ها و مشخص کردن حاشیه ستون‌ها در کتابخانه Matplotlib

در این نمودار ۱۵ ستون رسم خواهم کرد. همچنین، یک پارامتر جدید به نام alpha به مدل اضافه می‌کنم که شفافیت رنگ‌ها را تعیین می‌کند. در نمودارهایی مثل این نمودار که ستون‌ها روی هم قرار می‌گیرند، با تغییر میزان شفافیت می‌توان شکل همه توزیع‌ها را مشاهده کرد.

count, bin_edges = np.histogram(top, ۱۵)

top.plot(kind = 'hist', figsize=(۱۴, ۶), bins=۱۵, alpha=۰.۶,

xticks=bin_edges, color=colors)

من رنگ ستون‌ها را دقیق مشخص نکردم، به همین دلیل، رنگ‌ها در این نمودار با نمودار قبلی متفاوت است. اما در این نمودار به لطف کاهش شفافیت رنگ‌ها، می‌توانید هر توزیع را به وضوح ببینید.

همان‌طور که در نمودار ناحیه‌ای دیدید، با تعریف مقدار True پارامتر stacked  می‌توان از روی هم قرار گرفتن نمودارها جلوگیری کرد.

top.plot(kind='hist',

figsize=(۱۲, ۶),

bins=۱۵,

xticks=bin_edges,

color=colors,

stacked=True,

)

plt.title('Histogram of Immigration from Some Populous Countries')

plt.ylabel('Number of Years')

plt.xlabel('Number of Immigrants')

plt.show()

نمودار میله‌ای

برای رسم نمودار میله‌ای، از داده‌ها کشور فرانسه استفاده می‌کنم و تعداد مهاجران فرانسوی هر سال را روی نمودار می‌آورم.

france = df.loc['France', years]

france.plot(kind='bar', figsize = (۱۰, ۶))

plt.xlabel('Year')

plt.ylabel('Number of immigrants')

plt.title('Immigrants From France')

plt.show()

می‌توانید اطلاعات بیشتری نیز به نمودار اضافه کنید. در این نمودار از سال ۱۹۹۷ به بعد و برای یک دهه کامل، شاهد روند صعودی هستیم که ذکر کردن آن خالی از لطف نخواهد بود. این کار را می‌توان به کمک تابع annotate انجام داد.

france.plot(kind='bar', figsize = (۱۰, ۶))

plt.xlabel('Year')

plt.ylabel('Number of immigrants')

plt.title('Immigrants From France')

plt.annotate('Increasing Trend',

xy = (۱۹, ۴۵۰۰),

rotation= ۲۳,

va = 'bottom',

ha = 'left')

plt.annotate('',

xy=(۲۹, ۵۵۰۰),

xytext=(۱۷, ۳۸۰۰),

xycoords='data',

arrowprops=dict(arrowstyle='->', connectionstyle='arc3', color='black', lw=۱.۵))

plt.show()

گاهی اوقات، اگر میله‌ها به‌صورت افقی قرار بگیرند، نمودار قابل‌فهم‌تر خواهد شد. همچنین، نوشتن اعداد روی میله‌ها نیز به بهبود نمودار کمک خواهد کرد. پس بیایید این دو مورد را نیز روی نمودار اعمال کنیم.

france.plot(kind='barh', figsize=(۱۲, ۱۶), color='steelblue')

plt.xlabel('Year') # add to x-label to the plot

plt.ylabel('Number of immigrants') # add y-label to the plot

plt.title('Immigrants From France') # add title to the plot

for index, value in enumerate(france):

label = format(int(value), ',')

plt.annotate(label, xy=(value-۳۰۰, index-۰.۱), color='white')

plt.show()

در این مقاله به مفاهیم مقدماتی کتابخانه Matplotlib پرداختیم و به این ترتیب، شما دانش کافی برای استفاده از این کتابخانه را به دست آوردید.

جدیدترین اخبار هوش مصنوعی ایران و جهان را با هوشیو دنبال کنید

منبع: هوشیو