کارایی الگوریتمی و نقش آن در پیشرفت هوش مصنوعی

 

تحلیل‌ها نشان می‌دهد که محاسبات لازم برای آموزش شبکه‌های عصبی با کارایی یکسان جهت طبقه بندی پایگاه داده imageNet، از سال ۲۰۱۲ هر ۱۶ ماه یکبار دو برابر کاهش یافته است. در مقایسه با سال ۲۰۱۲، کاهش ۴۴ برابریِ محاسبات در آموزش شبکه‌های عصبی نسبت به«AlexNet2» به ثبت رسیده است. بر اساس نتایجِ بدست آمده، کارایی الگوریتمی منجر به پیشرفت در هوش مصنوعی شده است. ارتقای الگوریتم‌ها یکی از عوامل اصلی در پیشرفت هوش مصنوعی به حساب می‌آید. در همین راستا، باید به دنبال معیارهایی باشیم که زمینه را برای ارتقای الگوریتم‌ها فراهم می‌کنند، حتی اگر این کار از اندازه‌گیری چنین روندهایی در فرایند محاسبه دشوارتر باشد.

میزان کل محاسبه به صورت ترافلاپس در روز برای آموزش عملکرد سطح AlexNet. پایین‌ترین نقاط محاسبه در هر زمان با رنگ آبی نشان داده شده است؛ همه نقاط محاسبه شده به رنگ خاکستری دیده می‌شوند.

اندازه‌گیریِ کارآیی

کارآیی الگوریتمی عبارتست از کاهش مراحل محاسبات برای آموزش یک قابلیت خاص. کارآیی یکی از روش‌های پایه برای اندازه‌گیری بهبود عملکرد الگوریتم در مسائل کلاسیک علوم رایانه‌ای مثل مرتب‌سازی است. اندازه‌گیریِ کارآیی در مسائل سنتی از قبیل مرتب‌سازی، آسان‌تر از یادگیری ماشین است زیرا آن مسائل معیار واضح‌تری از سطح دشواری کار به دست می‌دهند. برای مثال در مسئله «مرتب‌سازی» سطح دشواری با طول لیست مرتبط است. هزینه الگوریتمِ پرکابرد «Quicksort» به این صورت نشان داده می‌شود: O(n\log{}n)O(nlogn). با این حال، می‌توان ابزارِ کارآیی را با ثابت نگه داشتنِ عملکرد در یادگیری ماشین به کار بست. امکان مقایسۀ روندهای کارآیی در حوزه‌هایی نظیر توالی DNA، انرژی خورشیدی و تراکم ترانزیستور وجود دارد. در تحلیل حاضر، از فرایند اجرای مجدد منبع باز برای اندازه‌گیری میزان بهبود عملکرد استفاده شده است. سرعت بهبود عملکرد در بازه‌های زمانی کوتاه در Translation، Go و Dota 2 بالاتر بود:

• در بخش ترجمه، Transformer عملکرد بهتری از seq2seq در ترجمه انگلیسی به فرانسوی داشت.
• AlphaZero برای رسیدن به سطح عملکرد AlphaGoZero در یک سال بعد، به ۸ برابر محاسبه کمتر احتیاج داشت.
• OpenAI Five Run برای پیشی گرفتن از OpenAI Five در سه ماه بعد، ۵ برابر محاسبات کمتری انجام داد.

همگان به این نکته واقف‌اند که شیوه محاسبه در سال ۲۰۱۹ تفاوت محسوسی با سال ۲۰۱۲ پیدا کرده است. محاسباتی که در سال ۲۰۱۹ به انجام رسیدند، قطعاً کارآیی بیشتری نسبت به سال ۲۰۱۲ داشته‌اند. به این نکته توجه داشته باشید که تحقیقات هوش مصنوعی در دو مرحله انجام می‌شود؛ مشابهِ مدل توسعه «tick tock» که در نیمه‌رساناها دیده شد. قابلیت‌های جدید هزینه‌های محاسباتی قابل توجهی را می‌طلبند. نسخه‌های ارتقایافته از این قابلیت‌ها (tock) نیز به سطح بالایی از کارآیی می‌رسند. افزایش کارآیی الگوریتم‌ها این فرصت را در اختیار محققان قرار می‌دهد تا در زمانی مشخص با هزینه‌ای مشخص به انجام آزمایش‌های مختلف بپردازند. کارآیی الگوریتم که معیاری برای اندازه‌گیری پیشرفت کلی به حساب می‌آید، نقش مهمی در تسریعِ تحقیقات هوش مصنوعی در آینده دارد.

سایر معیارهای بهبود عملکرد هوش مصنوعی

علاوه بر کارآیی، چند معیار دیگر نیز وجود دارد که می‌توانند اطلاعات خوبی از بهبود عملکرد الگوریتم‌ها در هوش مصنوعی در اختیارمان بگذارند. هزینه آموزش به دلار از معیارهای مرتبط است، اما تمرکز اندکی بر بهبود عملکرد الگوریتم‌ها دارد زیرا تحت تاثیر ارتقایِ نرم‌افزارها، سخت‌افزارها و زیرساخت رایانش قرار دارد. کارآیی نمونه زمانی نقش کلیدی ایفا می‌کند که با داده‌های کمتری سروکار داشته باشیم. در صورتی که مدل‌ها سریع‌تر آموزش داده شوند، روند تحقیقات نیز به سرعت انجام می‌شود و می‌توان آن به عنوان معیار موازی‌سازیِ قابلیت‌های یادگیری قلمداد کرد. کارآیی استنتاج نیز به لحاظ زمان GPU، پارامترها و فلاپ‌ها افزایش معناداری پیدا کرده است. Shufflenet توانست در عرض ۵ سال به ۱۸ برابر کارآیی استنتاج بیشتر از سطح عملکرد AlexNet دست یابد. این نشان می‌دهد که کارآیی آموزش و کارآیی استنتاج شاید با سرعت مشابهی ارتقاء پیدا کنند. ساخت دیتاست ها، محیط‌ها و معیارهای سنجش می‌تواند روش قدرتمندی برای قابل‌اندازه‌گیری کردنِ قابلیت‌های ویژۀ هوش مصنوعی باشد.

محدودیت‌های اصلی

• مشخص نیست که آیا روندهای کارآییِ مشاهده شده در سایر امور و مسائل هوش مصنوعی تعمیم‌پذیر هستند یا خیر. اندازه‌گیری نظام‌مند می‌تواند این مسئله را به روشنی توضیح دهد که آیا معادل الگوریتمی برای قانون مور وجود دارد یا خیر. در مقاله حاضر، قانون مور به روندِ موجود در دلار/فلاپ اطلاق می‌شود.
• اگرچه جای تردید نیست که AlexNet پیشرفت چشمگیری به ارمغان آورده، اما در تحلیل حاضر نمی‌خواهیم این پیشرفت را اندازه بگیریم. نباید به سادگی از کنار این مسئله گذشت که بهبود عملکرد الگوریتم‌ها می‌تواند سطح پیچیدگی در برخی امور را کاهش دهد. مشاهده مستقیم این نوع افزایش کارآیی در برخی از قابلیت‌ها دشوار است و در این راستا می‌توان از تحلیل مجانبی استفاده کرد.
• تحلیلِ حاضر به بررسی هزینه آموزش نهایی در مدل‌های بهینه‌سازی شده می‌پردازد. بهبود عملکرد الگوریتم‌ها می‌تواند در برخی از موارد آموزشِ مدل‌ها را آسان کند. این کار با بزرگ‌تر کردنِ فضای پارامترهایی که عملکرد نهایی را ارتقاء می‌بخشند، انجام می‌شود.

اندازه‌گیری و سیاست هوش مصنوعی

اگر اندازه‌گیری و ارزیابی سیستم‌های هوش مصنوعی به لحاظ خصوصیات فنی و تاثیر اجتماعی مورد توجه قرار گیرد، سیاست‌گذاری در زمینه هوش مصنوعی می‌تواند بهبود پیدا کند. هر نوع ابتکار عملی در اندازه‌گیری می‌تواند موجب شفاف‌سازی پرسش‌های مهمی در زمینه سیاست‌گذاری شود. تحلیل‌های هوش مصنوعی و Compute نشان می‌دهد که سیاستگذاران باید منابع مالی بیشتری برای انجام محاسبات در اختیار دانشگاه‌ها قرار دهند. در صورت انجام این کار، محققان می‌توانند تحقیقات صنعت را تکرار، تکثیر و گسترش دهند. تحلیل حاضر حاکی از آن است که سیاستگذاران می‌توانند بینش بهتری درباره هزینۀ استفاده از قابلیت‌های هوش مصنوعی بدست آورند. باید سرعت ارتقای کارآیی در سیستم‌های هوش مصنوعی به دقت مورد ارزیابی قرار گیرد.

گام‌های روبه جلو برای ارتقای کارآیی

آن دسته از مدل‌هایی که در قابلیت‌های معنادار، به کارآیی آموزشی مطلوبی دست می‌یابند، گزینه‌های نویدبخشی برای ارتقای عملکرد محسوب می‌شوند. افزون بر این، تحقیق حاضر به آموزشِ نمونه مدل‌های PyTorch پرداخت. تغییراتی نیز برای ارتقای یادگیری اولیه اِعمال شد. اندازه‌گیری روندهای بلندمدت در میزان کارآیی می‌تواند تصویر بهتری از فرایند الگوریتمی ارائه کند. نتایج نشان می‌دهد که در آن دسته از امور هوش مصنوعی که سطح بالای سرمایه‌گذاری وجود دارد (زمان تحقیق یا رایانش)، احتمال می‌رود کارآیی الگوریتمی از کارآیی سخت‌افزاری پیشی گیرد (قانون مور). زمانی که قانون مور ابداع شد (سال ۱۹۶۵)، مدارهای یکپارچه ۶۴ ترانزیستور داشتند، اما اکنون فناوری تا جایی پیشرفت کرده که گوشی آیفون ۱۱ دارای ۸.۵ میلیارد ترانزیستور است. اگر رشد تصاعدیِ کارآیی الگوریتمیِ هوش مصنوعی برای چندین دهه تداوم داشته باشد، سرانجام چه نتیجه‌ای حاصل می‌شود؟ پاسخِ این پرسش مشخص نیست. در هر حال، امیدواریم طرح چنین پرسش‌هایی زمینه را برای توسعه فناوری‌ها و خدمات هوش مصنوعی قوی‌تر فراهم کند.

بنا به دلایلی که تاکنون اشاره کردیم، تصمیم بر این شده که میزان کارآیی را به طور علنی بررسی و ردیابی کنیم. می‌خواهیم کار را با ابزارهای سنجش کارآیی ترجمه و بینایی آغاز کنیم. ImageNet تنها منبع داده آموزشی برای سنجش بینایی است. استفاده از تصاویر یا داده‌های دیگر مجاز است. رهبران صنعت، سیاستگذاران، اقتصاددان‌ها و محققان در تلاش‌اند تا به درک بهتری از بهبود عملکرد هوش مصنوعی رسیده و در خصوص میزان توجه و سرمایه‌گذاری در این حوزه تصمیم‌گیری کنند. فعالیت‌هایی که در راستای اندازه‌گیری صورت می‌گیرد، می‌تواند در اتخاذ تصمیم‌های بهتر نقش داشته باشد.

منبع: hooshio.com

فواید هوش مصنوعی در زندگی انسان ها چیست ؟

فناوری‌های مبتنی بر هوش مصنوعی برای حل برخی از پیچیده‌ترین مسائل و مشکلات مرتبط با توسعه انسانی مورد استفاده قرار خواهند گرفت؛ فواید هوش مصنوعی و پتانسیل بسیار بالای این فناوری نوین تاکنون کمک شایانی به انسان ها کرده است.

امروزه از هوش مصنوعی بیشتر در مواردی چون خودکارسازی فرایندها در صنعت و کاهش استفاده از نیروی کار انسانی، افزایش درآمد خرده‌فروشان، بهبود تجربه‌ی مشتریان و … استفاده می‌کنند؛ اما اتفاقات پیرامون هوش مصنوعی نشان می‌دهد که فناوری‌های مبتنی بر هوش مصنوعی نه تنها می‌توانند موجب تغییر و تحولات بسیار در زمینه مشاغل، صنایع، اقتصاد و … شوند بلکه می‌توانند برای حل بسیاری از چالش‌های پیچیده‎‌ی بشریت مانند کنترل بیماری‌ها، تغییرات جوی زمین و … نیز به کمک انسان‌ها بیایند. این ایده که هوش مصنوعی می‌تواند با ارائه‌ی راهکارهایی برای بهبود سلامت بشر آن را متحول سازد، بسیار هیجان‌انگیز است!
بر اساس تحقیقات جدید موسسه جهانی مک‌کینزی در ۱۵۰ زمینه مختلف که هوش مصنوعی در آن‌ها مورد استفاده قرار می‌گیرد و یا اینکه می‌توان از آن‌ها استفاده کرد، این نتیجه حاصل شد که هوش مصنوعی می‌تواند در زمینه‌ی رفع چالش‌های اجتماعی بسیار مؤثر واقع شود.

در حال حاضر هوش مصنوعی چگونه می‌تواند راه‌های مقابله با چالش‌های توسعه انسانی را تغییر و توسعه دهد؟

•محققین در انستیتوی فناوری ماساچوست با استفاده از فناوری یادگیری عمیق که در آزمایش‌ها مورد استفاده قرار می‌دهند، می‌توانند پیش‌بینی کنند که فرد مورد نظر مبتلا یه یک اختلال روانی است یا نه؟ چت بات‌ها از فرد مورد نظر سوال‌های مختلفی می‌پرسند و بر اساس پاسخ‌ها  پیش‌بینی‌هایی با دقت ۸۵ درصد ارائه می‌دهند.

•در طی سال‌های اخیر ما شاهد استفاده از هوش مصنوعی و فناوری‌های آن در زمینه‌ی پیش‌بینی وضعیت آب ‌و‌ هوا هستیم. انفورماتیک آب و هوا همواره در حال پیشرفت و حرکت رو به جلو بوده و همین امر نویدبخش همکاری مؤثر و کارآ میان دانشمندان فعال در حوزه داده و دانشمندان فعال در زمینه آب و هوا و تغییرات جوی است.

•محققین آزمایشگاه MIT Media واقع در بوستون با یادگیری عمیق و شبیه‌سازی شرایط بالینی بیماران مبتلا به گلیوبلاستوما (تهاجمی‌ترین شکل سرطان مغز)، راهکارهایی برای کاهش دوز شیمی‌درمانی این بیماران ارائه کرده‌اند.

•در حال حاضر قاچاق انسان تبدیل به یکی از چالش‌های اساسی در هند شده است. به‌طوری‌که در طی ۵ سال گذشته در این کشور بیش از ۲۵۰ کودک گم ‌شده‌اند. از همین رو در طی یک پروژه هوش مصنوعی برای پیدا کردن کودکان گمشده با استفاده از جدیدترین تکنولوژی‌های تشخیص چهره اقدام به مقایسه عکس کودکان گمشده با کودکان یتیم‌خانه‌ها می‌کنند.

همه‌ی مثال‌هایی که در بالا ذکر کردیم یادآور این مسئله است که چگونه هوش مصنوعی در بخش‌های مختلف مورد استفاده قرار می‌گیرد و این تنها بخشی از کارهایی است که به کمک هوش مصنوعی محقق می‌شود.

استفاده از پتانسیل‌های هوش مصنوعی در زندگی

دسترسی به داده‌ها
ازجمله مهم‌ترین چالش‌ها در این زمینه دسترسی به داده است. در بسیاری از موارد، داده‌های حساس و یا دارای ارزش تجاری در اختیار بخش خصوصی بوده و در دسترس سایر سازمان‌ها نمی‌گیرد که همین مسئله دسترسی به داده‌ها را مشکل می‌سازد. از همین رو بخش‌های خصوصی و دولتی جهت افزایش دسترسی به داده‌ها بایستی با یکدیگر همکاری داشته باشند.

کمبود دانشمندان حوزه داده
یکی دیگر از مشکلات رایج در این زمینه چالش‌های اجرایی است. حتی در زمانی که داده‌ها در دسترس هستند و فناوری‌ها رشد یافته‌اند، کمبود دانشمندان فعال در حوزه داده، کاربردی‌شدن استفاده از راه‌حل‌های هوش مصنوعی را دشوار می‌کند.

وضع قوانین
البته ریسک‌هایی هم در استفاده از هوش مصنوعی وجود دارد و برای جلوگیری از آسیب‌های احتمالی، وضع مقررات از طرف دولت ضروری است. حتی درصورتی‌که در همه‌ی زمینه‌ها هوش مصنوعی به کار رود ولی قوانین و مقررات نامناسبی برای آن وضع شود، مزایای عظیم و بالقوه‌ی آن خنثی خواهد شد. البته ریسک و خطر همیشه و برای هر کاری وجود دارد و دولت می‌تواند با اعمال برخی قوانین و مقررات از بروز آسیب‌های احتمالی جلوگیری به عمل آورد. حتی اگر در زمینه‌های مختلف و با سرعت بالا، هوش مصنوعی به‌کار گرفته شود، با این وجود قوانین و مقررات نامناسب این پتانسیل را دارند که مزایا و ارزش‌هایی را که هوش مصنوعی فراهم می‌کند خنثی کنند و ایمنی وسایل نقلیه، بهبود بهره‌وری و … را از بین ببرند. از همین رو باید بگوییم امکان سوءاستفاده عمدی و یا سهوی از هوش مصنوعی وجود دارد. همه‌ی این مسائل در کنار هم موجب می‌شود تا ما به این نتیجه برسیم که اعمال هوش مصنوعی در فرایندهای زندگی و کسب‌وکار و … تنها یک مسئله تکنولوژیکی نبوده، بلکه یک مسئله جامعه‌شناختی نیز است و از همین رو جامعه‌شناسان و … نیز بایستی برای تحقق مناسب آن در جامعه تلاش نمایند.

سخن آخر

در حال حاضر هوش مصنوعی با سرعت بالایی در حال تبدیل شدن به بخش مهمی از جامعه برای توسعه‌ی فعالیت‌های انسانی است و برای اینکه پتاسیل‌های هوش مصنوعی به صورت کامل محقق شوند، بایستی به موانعی که مانع از پیاده‌سازی آن‌ها می‌شوند توجه کرد و برای رفع آن‌ها تلاش کنیم تا هر چه بیشتر پذیرای هوش مصنوعی در فرایندهای مختلف زندگی، کسب‌وکار و … در سطح جامعه باشیم.

منبع: hooshio.com

مسیر پردازشی یادگیری عمیق و نحوه تسریع فرایند مراحل آن

همان طور که می‌دانیم در یادگیری عمیق همبستگی غیرقابل‌انکاری بین آموزش و استنتاج  Inference  وجود دارد. استنتاج (که با عنوان پیش‌بینی و امتیازدهی نیز شناخته می‌شود) نقطه کلیدیِ آموزش است. آن دسته از پلتفرم‌های یادگیری عمیق پیوسته که قابلیت مدیریتِ آموزش و استنتاج را دارند، از چند مزیت عمده برخوردارند. در این بخش، مسیر پردازشی  pipeline   یادگیری عمیق و نحوه تسریع هر یک از مراحل بررسی می‌شود.

مسیر پردازشی یادگیری عمیق این نمودار، مراحل مختلف خط لوله را نشان می‌دهد.

پیش‌پردازش

به محض اتمام فراخوانی، داده‌ها در ابتدا باید مرحله پیش‌پردازش یا داده‌افزایی را پشت سر بگذارند. داده‌ها در این مرحله برای آموزش آماده می‌شوند. علاوه بر این، دیتاست هم به همراه نمونه‌های بیشتر برای هوشمندتر کردنِ شبکه اضافه می‌شود. برای نمونه، امکان چرخاندن، مقیاس‌دهی و دستکاری تصاویر فراهم می‌آید. چون تصاویر برچسب‌دار هستند، می‌توانید شبکه را با این نمونه‌های تغییریافته آموزش داده و آن را توانمندتر کنید. کتابخانه منبع باز «DALI GPU» سرعت فرایند داده‌افزایی را افزایش می‌دهد.

آموزش

با نزدیک شدن به بخش اصلی مرحله آموزش، نمونه‌داده‌ها (تصاویر، نمونه‌های صوتی، بخش‌های زبانی و غیره) تا جایی که سطح قابل‌قبولی از دقت یا همگرایی به دست آید، در شبکه بررسی می‌شوند. در اینجا شبکه شروع به حدس زدن بر روی ورودی می‌کند (استنتاج). این استنتاج با پاسخ درست مورد مقایسه قرار می‌گیرد. اگر شبکه به درستی حدس بزند، کارِ آموزش ادامه می‌یابد. اگر حدس اشتباه باشد، مقدار خطایی محاسبه می‌شود و در مسیر برگشت شبکه انتشار می‌یابد تا سرانجام پاسخ یا وزن درست حاصل آید. این فرایند تا جایی تکرار می‌شود که شبکه به سطح قابل‌قبولی از دقت برسد (مثلاً ۹۰ درصد). این فرایند آموزش تکراری تاثیرگذار است، اما حساسیت محاسبات در آن بالاست. اگرچه کیفیت خروجی در این فرایند خیلی خوب است، اما دقت و همگرایی نیز به همان اندازه حائز اهمیت هستند و باید برای بهبود این دو مورد تلاش کرد. NVIDIA افزون بر افزایش سرعتِ چارچوب‌های یادگیری عمیق، به توسعه قابلیت «دقت ترکیبی خودکار یا AMP» نیز در تنسورفلو، MXNet و PyTorch پرداخته است. این کتابخانه عملیات ریاضی را با دقت FP16 انجام داده و نتایج را در FP32 انباشت می‌کند. AMP می‌تواند چهار برابر سریع‌تر به راه‌حل رسیده و دقت نتایج را نیز حفظ کند. AMP به صورت رایگان در NGC قابل دسترس است. امکان دسترسی به مدل‌های از پیش‌آموزش‌دیده و کد مدل‌ها در NGC فراهم شده است. هدف از این کار این است که پروژه‌های خود را با سرعت بیشتری انجام دهید. علاقمندان می‌تواند به اطلاعات جامعی در خصوص نحوه استفاده از این ابزارها در وب‌سایت NVIDIA Developer دسترسی پیدا کنند.

بهینه‌سازی استنتاج

به محض اینکه شبکه با سطح قابل‌قبولی از دقت آموزش داده شد، باید از آن برای استنتاج در خصوص داده‌های جدید استفاده شود. ساده‎ترین روش استنتاج این است که نمونه‌ها را در چارچوب شبکه به اجرا در آورده و از شبکه پس‌‍‌انتشار خودداری کنید. با این حال، این اقدام برای انجام استنتاج بهینه نیست. سرویس‌های هوش مصنوعی به دنبال ارائه بالاترین سطح خدمات با کمترین تعداد سرور هستند. بخش اعظمی از فرایند بهینه‌سازی با استفاده از FP16 و INT8 انجام‌پذیر است. این اقدام باعث می‌شود توسعه‌دهندگان با سرعت بیشتری شبکه‌ها را بهینه‌سازی کرده و زمینه برای بکارگیری شبکه‌ها با بالاترین سطح توانش عملیاتی و دقت قابل‌توجهی فراهم شود. TensorRT به خوبی در چارچوب تنسورفلو ادغام می‌شود، به طور کامل از ONNX پشتیبانی می‌کند و به صورت رایگان در NGC قابل دسترس است.

استقرار

اکنون که کارِ آموزش شبکه به منظور انجام استنتاج به پایان رسیده، باید دید شبکه در عمل چگونه کار می‌کند. همان‌طور که در بخش‌های فوق اشاره شد، عملِ آموزش اساساً بر توانش عملیاتی، خروجی و همگرایی تاکید می‌کند. با این حال، عوامل عملکردی دیگری در استنتاج دخیل هستند که از جملۀ آنها می‌توان به توانش عملیاتی، خروجی، دقت، تاخیر و کارآیی اشاره کرد. قابلیت برنامه‌نویسی و انطباق‌پذیری نیز از جمله عوامل کلیدی به شمار می‌آیند که سرعت طیف وسیعی از شبکه‌ها را افزایش می‌دهند. استنتاج در دو دسته جای می‌گیرد: حجم کاری با توان بالا و خدمات حساس به تاخیر بلادرنگ که باید بلافاصله پاسخ درست را ارائه کنند. شبکه‌ها و مجموعه‌داده‌ها با سرعت قابل توجهی در حال رشد هستند. شرکت مایکروسافت به تازگیGPU-accelerated service را معرفی کرد. این سرویس از سه نوع متفاوت شبکه استفاده می‌کند ( شناسایی اشیا، پرسش و پاسخ و متن به گفتار ). اکنون TensorRT Inference Server را برای کاربرد آسانِ این سرورها توسط مدیران زیرساخت IT و DevOps پیشنهاد می‌کنیم. Inference Server می‌تواند استفاده از GPU را افزایش دهد. این سرور از یکپارچه‌سازی kubernates برای مقیاس‌دهی، توزیع پردازش و فعالیتهای ارتباطی به طور مساوی بر روی سروهای اصلی شبکه‌های کامپیوتری استفاده می‌کند. این سرور متن‌باز این فرصت را به چندین شبکه می‌دهد تا در یک GPU اجرا شوند. استنتاج و آموزش مسیر پردازشی یادگیری عمیق به دلیل ماهیت محاسباتی حساسی که دارند، باید مورد توجه ویژه قرار گرفته و تدابیری برای افزایش سرعت این فرایندها اندیشیده شود. پلتفرم مرکز داده NVIDIA امکان افزایش سرعت این فرایندها را نه تنها در یادگیری عمیق، بلکه در یادگیری ماشین و غیره فراهم می‌کند.

منبع: hooshio.com

چگونه مدرک دوره هوش مصنوعی دریافت کنیم؟

آیا می‌خواهید در دوره آموزش هوش مصنوعی یکی از برجسته‌ترین دانشمندان این حوزه یعنی اندرو ان‌جی شرکت کنید؟ مطمئنا برای هر دانشجو و علاقه‌مند به هوش مصنوعی بهره‌گیری از دانش اندرو ان‌جی یک مزیت بسیار بزرگ است. سایت کورسرا این امکان را فراهم کرده است. کورسرا یکی از بزرگ‌ترین مراکز یادگیری است که دوره‌های خود را به صورت آموزش مجازی و رایگان برگزار می‌کند.

در حال حاضر دروس و مباحث مختلفی از طیف وسیعی از رشته‌ها در این بستر آنلاین ارائه می‌شود و جالب است بدانید اولین دوره‌ای که از طریق کورسرا برگزار شد، درس یادگیری ماشین بود که توسط اندرو ان‌جی که  از بنیانگذاران کورسرا نیز است تدریس می‌شد. دوره‌های آنلاین کورسرا معمولا بین چهار تا ده هفته طول می‌کشد و شامل یک تا دو ساعت ویدئو است که  توسط اساتید آن دوره ارائه می‌شود. هم اکنون صدها دانشگاه معتبر دوره‌های خود را در این سایت در اختیار علاقه‌مندان گذاشته‌اند. دوره‌ای که در این مطلب قصد معرفی آن را داریم با عنوان “هوش مصنوعی برای همه” در سایت کورسرا در دسترس است. در مقدمه‌ی این دوره آموزشی آمده است که هوش مصنوعی تنها برای مهندسان نیست، اگر می‌خواهید کسب و کار و سازمان‌تان را با استفاده از هوش مصنوعی بهبود ببخشید این دوره آموزشی را بگذرانید و به همکاران غیر فنی‌تان نیز معرفی کنید. در این دوره آموزشی شما مباحث زیر را فراخواهید گرفت:

•معنای پشت اصطلاحات هوش مصنوعی همچون شبکه‌های عصبی، یادگیری ماشین ، یادگیری عمیق و علم داده

•چگونه می‌توان از هوش مصنوعی برای رفع مشکلات کسب و کارتان استفاده کنید

•چگونگی کار با یک تیم هوش مصنوعی و ایجاد استراتژی هوش مصنوعی در کسب و کارتان

•ساخت پروژه‌های یادگیری ماشینی و علوم داده چه احساسی را به شما می‌دهد؟

•چگونگی مطرح کردن مباحث اخلاقی و اجتماعی پیرامون هوش مصنوعی

باوجود اینکه این دوره تا حد زیادی غیرفنی است اما مهندسین نیز می توانند این دوره را برای یادگیری جنبه‌های تجاری هوش مصنوعی طی کنند. این دوره هوش مصنوعی ۴ هفته طول می‌کشد .

هفته اول

عنوان درس: هوش مصنوعی چیست؟

شامل ۹ ویدیو که ۶۹ دقیقه کلاس آموزشی است.

هفته دوم

عنوان درس: ساخت پروژه‌های هوش مصنوعی

شامل ۸ ویدیو که ۵۲ دقیقه کلاس آموزشی است.

هفته سوم

عنوان درس: به کارگیری هوش مصنوعی در شرکت‌تان

شامل ۱۰ ویدیو که ۹۰ دقیقه کلاس آموزش است.

هفته چهارم

عنوان درس: هوش مصنوعی و جامعه

شامل ۸ ویدیو که ۵۰ دقیقه کلاس آموزش است.

اگرچه شرکت در دوره‌های کورسرا رایگان است اما برای دریافت مدرک بسته به نوع دوره باید هزینه‌ی آن را بپردازید که با توجه به مشکلات پرداخت ارزی در کمترین حالت ۲۹ دلار است و پرداخت آن سخت و از توان افراد خارج است. کورسرا امکانی را فراهم کرده است تا درخواست دهید این دوره برای شما رایگان شود و مدرک آن را نیز دریافت کنید. حدود ۲ هفته طول می‌کشد تا جواب درخواست شما داده شود. سعی کنید درخواست را طوری بنویسید که آنها متقاعد شوند شما علاقه‌مند به این دوره هستید و گذراندن آن به شما و آینده‌ی شغلی شما کمک خواهد کرد. قابل توجه است که ۴۴ درصد افرادی که این دوره را گذرانده‌اند بعد از آن یک کار جدید را شروع کرده‌اند.

از طریق این لینک در این دوره هوش مصنوعی ثبت‌نام کنید:

https://www.coursera.org/learn/ai-for-everyone

منبع: hooshio.com

PEGASUS جدیدترین مدل خلاصه سازی انتزاعی گوگل

« PEGASUS: پیش‌آموزش با جملات استخراج شده برای خلاصه ‌سازی انتزاعی »هوش مصنوعی گوگل این مقاله را پیشنهاد داده است. خلاصه‌ سازی انتزاعی، مفهوم مهمی به شمار می‌آید. در مطلب حاضر می‌خواهیم مقاله‌ای را بررسی کنیم که به تازگی منتشر شده است:

شاید بهترین راه برای سنجش هوش افراد، توانایی آنها در خلاصه‌سازی باشد.لیتون استریچی

PEGASUS: پیش‌آموزش با جملات استخراج شده برای خلاصه سازی انتزاعی

مدل PEGASUS مانند هر مدل تبدیل جمله دیگری از معماری seq2seq استفاده میکند. نوآوری این مدل در معیار پیش‌آموزش خودنظارتیش نهفته است. یادگیری خودنظارتی ابزار جدید و کارآمدی در یادگیری عمیق است. این نوع یادگیری ما را از وابستگی داده‌ها به نمونه‌های برچسب‌دار بی‌نیاز می‌کند و باعث می‌شود حجم قابل ملاحظه‌ای از داده‌های بدون برچسب در فرایند آموزش در دسترس قرار گیرد. ترکیب مدل‌های مبتنی بر Transformer با روش پیش‌آموزش خودنظارتی (مثل BERT، GPT-2، XLNet، ALBERT، T5 و ELECTRA) در مدل‌سازی زبان تاثیر بسزایی بر جای گذاشته است.

روش GAP SENTENCES GENERATION: هدف خودنظارتی برای خلاصه سازی

روش پیش‌آموزش خودنظارتی در PEGASUS

ایده اصلی روش فوق این است که هر قدر روش پیش‌آموزش خودنظارتی به هدف و وظیفه اصلی نزدیکتر باشد، تنظیم دقیق به شکل بهتری انجام خواهد شد. همان طور که در شکل ملاحظه می‌کنید، در مدل PEGASUS، جملات کامل از سند حذف می‌شوند و مدل برای پیش‌بینی این جملات آموزش داده می‌شود. البته محققان بر این باورند که این کار حتی توسط انسان تقریباً امکان‌ناپذیر است. اما باید به این موضوع توجه داشت که این نوع آموزش باعث می‌شود درک بالاتری از تولید جملات به دست آوریم. این فرایند با عنوان Gap Sentences Generation یا به اختصار GSG نامیده می‌شود. افزون بر این، محققان اعلام کرده‌اند که گزینشِ مهم‌ترین جملات از سند می‌تواند بسیار کارآمد باشد. در همین راستا، بر اساس معیار سنجش ROUGE باید به دنبال جملاتی بود که شباهت بالایی به متن کامل دارند. ROUGE معمولاً برای ارزیابی کیفیت خلاصه مورد استفاده قرار می‌گیرد.

مدل زبان ماسک شده (MLM)

اگر چه ایده اصلی PEGASUS یک GSG است، اما معماری اصلی آن از یک رمزگشا و یک رمزگذار تشکیل یافته است؛ از این رو، منطقی است که بخواهیم رمزگذار را در قالب مدل زبان ماسک‌شده پیش‌آموزش دهیم.

مدل‌سازی زبان و مدل‌سازی زبان ماسک‌دار (Masked)

بر این اساس، واژه‌ها را بطور تصادفی از توالی جدا کرده و از دیگر واژه‌های توالی برای پیش‌بینی واژه‌های ماسک‌ شده استفاده می‌کنیم. طبق ایده‌ای که از مقالات گرفته‌ایم، ۱۵ درصد از واژه‌های توالی به صورت تصادفی ماسک‌ شده‌اند و مدل هم برای پیش‌بینی این واژه‌ها آموزش داده‌ می‌شود.

آموزش ترکیبی

هر دو روشی که در بخش‌های قبل در موردشان بحث شد، به کار گرفته می‌شوند. همچنین، Transformer به صورت ترکیبی آموزش داده می‌شود.

آموزش ترکیبی MLM و GSG در مدل PEGASUS

در مثال فوق هر دو روش‌ MLM و GSG به صورت همزمان به عنوان اهداف پیش آموزش داده شده کار برده می‌شوند. در ابتدا، سه جمله وجود دارد. یکی از جملات با [MASK1] ماسک شده و به عنوان متن تولیدی هدف GSG استفاده می‌شود. دو جمله دیگر در ورودی باقی می‌مانند، اما برخی کلمات به صورت تصادفی توسط [MASK2] ماسک می‌شوند.
نتایج
مدل بر روی ۱۲ دیتاست خلاصه سازی انتزاعی عمومی به صورت دقیق تنظیم می‌شود. همانطور که ملاحظه می‌کنید پیشرفت قابل توجهی در این زمینه حاصل شده و آموزش با نمونه‌های بسیار کمتری انجام شده است.

تنطیم دقیق

انواع گوناگون معیار سنجش ROUGE در چهار دیتاست منتخب. در این شکل به روشنی می‌بینیم که مدل PEGASUS با حداقل ۱۰۰۰ نمونه آموزش، عملکرد بسیار خوبی از خود بر جای گذاشته است.

خلاصه‌سازی توسط انسان

مدل PEGASUS در ۳ دیتاست موفق شده به نتایجی همسنگ با انسان دست پیدا کند. فرایند ارزیابی با امتیازدهی به خلاصه‌سازی انسان و خلاصه‌سازی مدل انجام گردیده است. در این فرایند، اصلاً معلوم نیست که کارها توسط مدل خلاصه شده‌اند یا توسط انسان. این آزمایش با سه دیتاست مختلف انجام شد. بر اساس نتایج، افرادی که به کارها امتیاز دادند، خلاصه‌سازی مدل را به انسان ترجیح دادند.

شمردن کشتی‌ها

استفاده از مدل PEGASUS باعث شد نتیجه جالب دیگری هم حاصل آید. مقاله مربوط به دیتاست Xsum، نام چهار کشتی را پیشنهاد داد. این کشتی‌ها عبارتند از HMS Cumberland، HMS Campbeltown، HMS Chatham و HMS Cornwall. مدل PEGASUS به درستی این مسئله را با عنوان «چهار فروند کشتی ناوگان سلطنتی» بررسی می‌کند، اگرچه اصلاً به عدد «چهار» در نمونه اشاره نمی‌شود. اگر ۲ تا ۵ نام وجود داشته باشد، مدل به درستی تعداد را خلاصه می‌کند. البته این مدل ۶ کشتی را با ۷ کشتی اشتباه گرفته بود. این نتیجه نشان می‌دهد که مدل فقط قادر است اسامی محدودی را در لیست خلاصه کند. حقیقت جالب اینکه مدل به نتایج بهتری نسبت به مدل اولیه مانند T5 دست یافت، این در حالی است که تنها از ۵% از تعداد پارامترهای T5 را شامل می‌شود.

نتیجه‌گیری

در مقاله حاضر، جدیدترین مدل خلاصه سازی انتزاعی گوگل بررسی شد. همچنین ما نشان دادیم که پیش آموزشی که شبیه به وظیفه نهایی است چگونه کارایی مدل را در تنظیم دقیق افزایش می‌دهد. اکنون زمینه برای مدل‌سازیِ فعالیت‌های پیش‌آموزش خودنظارتی فراهم شده است.

منبع: hooshio.com