روند بازار تشخیص چهره در سال ۲۰۲۰ و سال‌های پس از آن

فن‌آوری تشخیص چهره بخش قابل توجهی از بازار احراز هویت بیومتریک و تحول دیجیتالی را تشکیل می‌دهد. بخش‌های مختلف بازار تشخیص چهره که کاملاً با یکدیگر تفاوت دارند- سریع‌تر از چیزی که انتظار می‌رفت، مسیر رشد و توسعه را در پیش گرفته‌اند.

نواقص و کاستی‌های نرم‌افزار تشخیص چهره دو بعدی در نرم‌افزار تشخیص چهره سه بعدی دیده نمی‌شود و این نرم‌افزار می‌تواند در محیط‌های کم‌نور و کاملاً تاریک هم کار کند.

همزمان با افزایش میزان سرمایه‌گذاری‌ها‌ در حوزه فن‌آوری‌های تشخیص چهره و هم‌چنین بلوغ و تکامل فن‌آوری‌ها، میزان استفاده از این فن‌آوری در برخی موارد، از جمله موارد کاربرد جدید، افزایش پیدا می‌کند. یکی از دلایل اصلی افزایش میزان استفاده از فن‌آوری تشخیص چهره، شیوع ویروس همه‌گیر کرونا است.

علاوه بر این، شیوع ویروس کووید ۱۹ منجر به توسعه سیستم‌های تشخیص چهره‌ای شده است که به سایر تکنیک‌های احراز هویت بیومتریک مجهز هستند. در نتیجه شیوع ویروس همه‌گیر کرونا انتظار می‌رود رقمی‌سازی و دیجیتالی کردن در برخی حوزه‌ها شتاب پیدا کند و علاوه بر این برخی معتقدند ناگزیر میزان استفاده از فن‌آوری‌های تشخیص چهره نیز افزایش پیدا می‌کند.

رشد و گسترش بازار تشخیص چهره به لحاظ مالی برای حوزه فن‌آوری موهبتی عالی به شمار می‌رود. فن‌آوری هوش مصنوعی، یادگیری ماشین(به ویژه یادگیری عمیق) و بینایی ماشین به صورت گسترده در این بازار مورد استفاده قرار می‌گیرند چراکه این فن‌آوری‌ها امکان تطبیق تصاویر ثبت‌شده توسط دوربین‌ها را با تصاویر موجود در دیتابیس و سیستم‌های پیچیده تشخیص چهره فراهم می‌کنند و کیفیت تصاویر نیز با بهره‌گیری از فن‌آوری‌های دیگر ارتقا پیدا می‌کند.

سخت‌افزارها و زیرساخت‌ها داده‌ها را جمع‌آوری و تفسیر می‌کنند و در همان حال تحلیل تشخیص چهره نیز با رایانش مرزی، اتصال، نرم‌افزار، سرویس‌ها و غیره ارتباط تنگاتنگی دارد.

تشخیص چهره و تلاقی فن‌آوری‌ها و حوزه‌های کاربردی مختلف

فن‌آوری تشخیص چهره یکی از زیرشاخه‌های احراز هویت بیومتریک است و در آن چندین فن‌آوری متفاوت در کنار یکدیگر قرار می‌گیرند. ۵G، نسل بعدی شبکه‌های تلفن همراه و فن‌آوری‌های پیشتاز تنها نمونه‌های کوچکی از فن‌آوری‌های بی‌شماری هستند که به رشد و گسترش بیشتر فن‌آوری تشخیص چهره کمک می‌کنند.

از شبکه‌های دوربین‌های مدار بسته- که تراکم بالایی دارند و به فن‌آوری هوش مصنوعی مجهز هستند– به منظور کنترل و نظارت بر تمامی ارکان زندگی بشر استفاده می‌شود و به احتمال زیاد اینترنت اشیای شبکه‌های سلولی ۵G (که در آن شبکه ۵G و اینترنت اشیا در کنار یکدیگر قرار می‌گیرند) می‌تواند تأثیرات چشمگیری بر این حوزه بر جای بگذارد.

به بیانی دیگر با استفاده از این فن‌آوری می‌توان امنیت داخلی را تأمین کرد یا به طور خاص‌تر این فن‌آوری می‌تواند استفاده از شبکه‌های دوربین‌های مدار بسته که تراکم بالایی دارند و به فن‌آوری هوش مصنوعی مجهز هستند را تحت تأثیر قرار دهد. تأثیرات این فن‌آوری به تأمین امنیت داخلی محدود نمی‌شود و از آن می‌توان برای تأمین امنیت تأسیسات حساس و حتی شهرهای هوشمند و جوامع دیگر استفاده کرد.

در مصاحبه‌ای که با موضوع ادغام سیستم‌های ساختمان انجام دادیم به دفعات به استفاده از فن‌آوری تشخیص چهره در تأسیسات مختلف از جمله اداره‌های هوشمند، فرودگاه‌ها و مراکز داده و غیره اشاره شد. در این مصاحبه به بحث و گفت‌و‌گو راجع به تغییراتی پرداختیم که فن‌آوری تشخیص چهره، اینترنت اشیا، ۵G و فن‌آوری‌های پیشتاز در حوزه ساخت‌و‌ساز ایجاد می‌کنند.

مارتین فدر ، متخصص سیستم‌های مدیریت ساختمان، اظهار داشت سیستم‌های ساختمان در حال حرکت به سوی دنیای ارتباطات صوتی و تصویری هستند که در آن دوربین‌ها به فن‌آوری تشخیص چهره مجهز می‌شوند. علاوه بر این وی انتظار دارد دوربین‌های مداربسته و فن‌آوری تشخیص چهره در تأمین امنیت مراکز داده مرزی و میکرو که در پایین برج‌های ۵G ظاهر می‌شوند موثر باشند. به عبارت دیگر، موارد کاربرد بیشتری می‌توان برای این فن‌آوری متصور شد و علاوه بر این، این فن‌آوری در مسیر رشد و توسعه قرار دارد.

در آینده اکثر قابلیت‌های تشخیص چهره در تلفن‌های هوشمند، تحت نرم‌‍افزارsoftware-based می‌شود و تا سال ۲۰۲۴، ۱.۳ میلیارد دستگاه به این فن‌آوری مجهز می‌شوند.

اگر هنوز به فن‌آوری تشخیص چهره به دید یک نرم‌افزار کاربردی نگاه می‌کنید و یا موارد کاربرد آن را از نظر می‌گذرانید، لازم است بدانید این فن‌‌آوری رشد زیادی را تجربه کرده چرا که در حوزه‌هایی به غیر از حوزه‌های مربوط به دولت، صنایع دفاعی و دوربین‌های مداربسته نیز مورد استفاده قرار می‌گیرد. به بیانی دیگر به سادگی می‌توان میان استفاده از فن‌آوری تشخیص چهره در نرم‌افزارهای کاربردی مصرفی(نرم‌افزارهای کاربردی تلفن‌های هوشمند) و استفاده از آن در محیط‌های کسب‌و‌کار و حوزه‌های امنیتی تمایز قائل شد.

رشد و گسترش بازار تشخیص چهره در نتیجه شیوع ویروس همه‌گیر کووید-۱۹

در نتیجه شیوع ویروس همه‌گیر کووید-۱۹، به طور فزاینده‌ای از فن‌آوری‌های تشخیص چهره در حوزه بهداشت و درمان دیجیتالی استفاده می‌شود؛ فن‌آوری تشخیص چهره با سایر تکنیک‌های احراز هویت بیومتریک ترکیب می‌شود و برخی نرم‌افزارهای کاربردی به آن مجهز می‌شوند و از این نرم‌افزارهای کاربردی برای تشخیص افرادی که شیلد محافظت صورت پوشیده‌اند و یا در تب‌سنجی استفاده می‌شود و بدین وسیله مانع شیوع بیماری می‌شوند.

بر هیچ کس پوشیده نیست که نیازهای ناشی از شیوع ویروس کرونا باعث ایجاد تغییراتی در پویایی‌های بازار تشخیص چهره می‌شوند. بر اساس گزارش ABI Research، در حال حاضر گزاره ارزشی توسعه‌دهندگان الگوریتم شامل فن‌آوری‌های تشخیص چهره و عنبیه چشم می‌شود که امکان احراز هویت و تشخیص(و ناگزیر نظارت بر) افرادی که به طور کامل و یا نیمی از صورت خود را پوشانده‌اند، از جمله شهروندانی که ماسک زده‌اند و یا شیلد محافظ صورت پوشیده‌اند را فراهم می‌کند.

علاوه بر این، به گفته دیمیتریوس پالاکلیس، تحلیل‌گر ABI Research، فن‌آوری‌هایی که امکان سنجش تب و یا دما را فراهم می‌کنند و در بسیاری از کشورها هم مورد استفاده قرار می‌گیرند، در دسترسی و کنترل مرز به روز رسانی شده‌اند. در آخر، از نرم‌افزارهای کاربردی پزشکی از راه دور بیومتریک برای بهداشت و درمان از راه دور و سلامت از راه دور استفاده می‌شوند و بدون شک هر دو حوزه یادشده در رویکردهای آتی سلامت دیجیتالی شتاب پیدا می‌کنند.

همزمان با اینکه بازار احراز هویت بیومتریک (به ویژه آن دسته از تکنیک‌هایی که نیازمند برقراری ارتباط فیزیکی هستند) دچار ضرر و زیان می‌شوند، سایر فن‌آوری‌ها به اجبار در حال تغییر و تحول هستند. شرکت‌های احراز هویت بیومتریک هوش مصنوعی میزان سرمایه‌گذاری‌های خود را در حوزه نرم‌افزارهای کاربردی تشخیص چهره افزایش می‌دهند و در این میان شرکت‌های چینی بیشترین مبلغ را در این حوزه سرمایه‌گذاری می‌کنند.

نکته: ضروری است بتوانیم میان استفاده از فن‌آوری تشخیص چهره در نظارت(با مذاکراتی پیرامون خطرات نظارت گسترده، سوگیری، حفاظت از اطلاعات شخصی و ریسک‌های نقض امنیت سایبری)و استفاده از فن‌آوری تشخیص چهره در فرایند احراز هویت(معمولاً برای نرم‌افزارهایی که مردم می‌خواهند از آن‌ها استفاده کنند و کمتر نیاز است راجع به آنها بحث و گفت‌و‌گو کرد) تمایز قائل شویم.

بازار تشخیص چهره در نرم‌‌افزارهای کاربردی مصرفی

بسیاری از مردم با شنیدن کلمه تشخیص چهره بلافاصله به یاد فرودگاه‌ و بازرسی در مرز و نظارت و مواردی از این قبیل می‌افتند، اما فن‌آوری تشخیص چهره در تأسیسات خرده‌فروشی هم مورد آزمایش قرار گرفته است(البته کاربرد این فن‌آوری در خرده‌فروشی‌ها به تأمین امنیت محدود نمی‌شود و از آن در صندوق‌های پرداخت اتوماتیک نیز استفاده می‌شود.)

شبکه‌های اجتماعی نیز از فن‌آوری‌های تشخیص چهره در بازایابی دیجیتالی استفاده می‌کنند.

برخی دیگر از موارد کاربرد فن‌آوری تشخیص چهره:

• بهداشت و درمان(غربال‌گری بیمار)
• فرایند انتخابات و رای‌گیری (دولت)
• دسترسی به تأسیسات مشخص
• تحقیقات جنایی

علاوه بر این برخی معتقدند فن‌آوری تشخیص چهره اهمیت ویژه‌‌ای در آینده همراه‌بانک و تجارت سیار (پرداخت‌‌ها و احراز هویت‌های ایمن با استفاده از موبایل) دارد.

برای نمونه، بر اساس Juniper Research، از میان انواع مختلف سخت‌افزارهای احراز هویت بیومتریک تلفن‌های هوشمند، تعداد سخت‌افزارهای تشخیص چهره همچون Face ID در آیفون‌های کنونی، رشد سریع‌تری خواهد داشت(طبق برآوردهای انجام شده تعداد آن‌ها در سال ۲۰۱۹، ۹۶ میلیون تلفن هوشمند بوده و تا سال ۲۰۲۴ تعداد آن‌ها به بیش از ۸۰۰ میلیون تلفن همراه افزایش پیدا می‌کند.)

ظهور و پیدایش فن‌آوری‌های نوین از جمله دوربین‌های مداربسته با وضوح بالا و فن‌آوری‌های تشخیص چهره با وضوح بالا و هم‌چنین تشخیص عنبیه چشم و تشخیص احساسات موجب رشد و ترقی بازار تشخیص چهره شده‌اند.

بر اساس Juniper Research در نتیجه پیشرفت و توسعه فن‌آوری هوش مصنوعی، در طول دوره پیش‌بینی، تعداد سخت‌افزارهای تشخیص چهره در هر سال ۵۰ درصد افزایش می‌یابد و نرم‌افزارهای تشخیص چهره در ۱.۳ میلیارد تلفن همراه تعبیه می‌شوند و در همان حال شرکت‌هایی همچون iProov و Mastercard خدمات احراز هویت از طریق تشخیص چهره ارائه می‌دهند و می‌توان از آن در انجام پرداخت‌ها و فرایند احراز هویت استفاده کرد.

سرویس‌ها و نرم‌افزارهای تشخیص چهره

یکی دیگر از بازارهایی که مسیر رشد و توسعه را در پیش گرفته بازار راهکارها و ابزارهای نرم‌افزاری تشخیص چهره است. البته باید توجه داشته باشید که میزان رشد و توسعه این بازار از کشوری به کشور دیگر متفاوت است و در همان حال شرکت‌های ارائه‌دهنده‌ این فن‌آوری نیز متفاوت هستند. با وجود اینکه ویروس کووید-۱۹ عامل اصلی رشد و توسعه این بازار است، اما کشورهای سراسر جهان دیدگاه‌های متفاوتی نسبت به فن‌آوری تشخیص چهره دارند.

مباحثات جدال برانگیز بسیاری پیرامون تشخیص چهره، تأمین امنیت داخلی و استفاده از سیستم‌های تشخیص چهره به منظور شناسایی و تأیید هویت «مجرمان»، بازبینی فیلم‌های مربوط به وقوع یک جنایت، کنترل مرزها و اجرای قانون شکل می‌گیرد.

Clearview AI که توجه رسانه‌ها را به خود جلب کرده است، یک دیتابیس بزرگ هوش مصنوعی از تصاویر دارد که به روشی مبهم ساخته شده است(از طریق استخراج داده‌های شبکه‌های اجتماعی، وب‌سایت‌های عمومی و غیره) و نهادهای اجرای قانون واقع در ایالات متحده به صورت گسترده از آن استفاده می‌کنند، تنها یک نمونه از این موارد است.

علاوه بر این، به نظر می‌رسد شرکت Clearview AI با چندین شرکت و آژانس خصوصی خارج از ایالات متحده و کانادا نیز همکاری داشته است(در این میان و در نتیجه فشار دعاوی حقوقی، این شرکت اعلام کرد که به همکاری خود با شرکت‌های خصوصی خاتمه می‌دهد).

همچنین پیرامون استفاده از فن‌آوری تشخیص چهره در زمینه نظارت گسترده نیز مباحثات بسیاری شکل گرفته است و در این مباحثات بیشتر به موضوع سواستفاده و سوگیری الگوریتم‌های تشخیص چهره پرداخته می‌شوند.

افزایش نرخ دقت تشخیص چهره

علیرغم درخواست اتحادیه اروپا مبنی بر منع استفاده از نرم‌افزارهای کاربردی تشخیص چهره برای مدتی کوتاه(برخی از سیستم‌های تشخیص چهره از قانون عمومی عدم افشای اطلاعات پیروی می‌کنند) و منع استفاده از این فن‌آوری در برخی مناطق دیگر، فن‌آوری تشخیص چهره از رده خارج نخواهد شد. توسعه فن‌آوری تشخیص چهره کماکان ادامه داد و همزمان نرخ دقت آن نیز افزایش پیدا می‌کند.

ریزکنترل‌کننده‌ها و ریز‌پردازنده‌های قوی، ثبت‌ تصاویر با کیفیت بالا با استفاده از دوربین‌های باکیفیت‌تر، پردازش روی تراشه و رایانش مرزی برای افزایش هوشمندی دوربین‌ها، تشخیص چهره سه بعدی و بهره‌گیری از الگوریتم‌های شبکه عصبی برای توسعه الگوریتم‌های تشخیص چهره که نرخ دقت بالاتری دارند، تنها نمونه‌های کوچکی از پیشرفت‌هایی هستند که طی چندین سال گذشته حاصل شده‌اند.

بر اساس گزارش NIST، نرخ دقت فن‌آوری‌های تشخیص چهره بین سال‌های ۲۰۱۳ تا ۲۰۱۸ به طور چشمگیری افزایش داشته است. بر اساس این گزارش، که در تدوین آن از چندین دیتاست متشکل از تصاویر دو بعدی استفاده شده است،« افزایش نرخ دقت در نتیجه ادغام و یا جایگزینی کامل رویکردهای قدیمی با رویکردهای مبتنی بر شبکه‌ های عصبی پیچشی عمیق اتفاق افتاده است.» به گفته NIST، با وجود این که تفاوت‌های فاحشی میان الگوریتم‌های مختلف وجود دارد، در حوزه تشخیص چهره نوعی انقلاب صنعتی اتفاق افتاده است و قابلیت الگوریتم‌ها در پردازش تصاویری که کیفیت پایینی دارد، افزایش داشته است.

دلایلی که مانع از رده خارج شدن فن‌آوری تشخیص چهره می‌شوند، عبارتند از:

• تقاضای زیاد: تقاضا برای این فن‌آوری فقط به دولت‌ها و نهادهای اجرا و اعمال قانون محدود نمی‌شود، همان‌گونه که پیش از این نیز گفتیم از این فن‌آوری در بازاریابی، خرده‌فروشی و حفاظت از تأسیسات حساس و غیره نیز استفاده می‌شود و شیوع ویروس همه‌گیر کووید-۱۹ منجر به افزایش تقاضا برای این فن‌آروی شده است.

• افزایش روزافزون استفاده در جهان: تمامی کشورها و سازمان‌های چندملیتی از این فن‌آوری استفاده می‌کنند و به طور فزاینده‌ای از این فن‌آوری استفاده خواهند کرد، هرچند شیوه‌ها و دلایل استفاده از این فن‌آوری متفاوت است.

• سهولت استفاده : هرچند تکنیک‌های احراز هویت دیگری وجود دارد که نرخ دقت آن‌ها بالاتر است اما استفاده از فن‌آوری تشخیص چهره آسان‌تر است و فرصت‌های بیشتری در اختیار کسانی قرار می‌دهد که از آن استفاده می‌کنند و در همان حال مانع در هنگام استفاده از این فن‌آوری نگرانی راجع به مسائل بهداشتی و تکنیک‌های احراز هویتی که لازمه استفاده از آن‌ها برقراری ارتباط فیزیکی است، معنایی ندارد.

افزایش نیاز به راهکارهای احراز هویت بیومتریک مجهز به فن‌آوری تشخیص چهره برای مدیریت هویت، مدیریت مرزها، تأمین امنیت داخلی و امنیت نظامی دولت‌ها را بر آن داشته تا به طور گسترده فن‌آوری‌های تشخیص چهره را پیاده‌سازی و اجرا کنند.

در رابطه با مورد آخر با ید بگوییم که برای مثال، احراز هویت از طریق اثر انگشت، که طی سال‌های اخیر در کشورهای مختلفی راجع به آن بحث و گفت‌و‌گو شده است، نیازمند آن است که کاربر اقدامی انجام دهد، اما در روش احراز هویت از طریق تشخیص چهره، حداقل در مکان‌های عمومی که به افراد راجع به استفاده از این فن‌آوری اطلاع‌رسانی نمی‌شود، نیازی به انجام این کار نیست.

بحث و گفت‌و‌گو پیرامون کاربردهای فن‌آوری تشخیص چهره سابقه‌ای طولانی دارد اما درخواست منع استفاده از این فن‌آوری به ویژه در مکان‌های عمومی، در نتیجه اقدامات شرکت Clearview AI، بیش از هر زمان دیگری جنجال برانگیز بوده است.

اما نکته‌ای که در اینجا اهمیت دارد امکان استفاده و بهره‌مندی از مزایای فن‌آوری تشخیص چهره نیست. مسئله‌ای که باید به آن توجه داشت فن‌آوری‌هایی است که از آن‌ها می‌توان در اعمال نظارت گسترده استفاده کرد و این‌که ما در حال ساخت محیط نظارتی دیجیتالی هستیم که شرکت‌های بزرگ فن‌آوری و دولت‌ها ناگزیر از آن‌ها سواستفاده می‌کنند و خواهند کرد. نکته قابل توجه در اینجا انسان و مسائل اجتماعی است.

بازار تشخیص چهره – سرویس‌ها و نرم‌افزارها

زمان آن رسیده که نگاهی داشته باشیم به بازار سیستم‌های تشخیص چهره و محرک‌های آن. بر اساس یک گزارش، افزایش نیاز به نظارت یکی از اصلی‌ترین عامل‌های رشد و گسترش بازار تشخیص چهره است. این که افزایش نیاز به نظارت از کجا نشأت می‌گیرد و چه عواملی بیشتر به افزایش آن دامن می‌زنند و در چه جاهایی نیاز به آن بیشتر احساس می‌شود به داوری و قضاوت شما بستگی دارد.

بر اساس گزارش MarketsandMarkets تا سال ۲۰۲۴ ارزش بازار فن‌آوری تشخیص چهره به ۷ میلیارد دلار می‌رسد. به بیانی دیگر در طول دوره پیش‌بینی ۲۰۱۹(۳.۲ میلیارد دلار) تا سال ۲۰۲۴ نرخ رشد مرکب سالانه آن ۱۶.۶ درصد خواهد بود. برای آن‌که «اهمیت» بازار تشخیص چهره را نشان دهیم، باید بگوییم که بر اساس داده‌های MarketsandMarkets تا سال ۲۰۲۲ میزان مبالغی که در حوزه اینترنت اشیا هزینه می‌شود از مرز ۱ تریلیون دلار عبور خواهد کرد.

به نظر می‌رسد اندازه این بازار کوچک است. اما با در نظر گرفتن تمامی مباحثات و عدم قطعیت‌هایی که در پیش روی ماست به نظر می‌رسد پیش‌بینی اندازه و وسعت و تحولات آن کار دشواری است. همان‌گونه که پیش از این گفتیم، این گزارش فقط به بررسی و مطالعه سرویس‌ها و نرم‌افزارهای تشخیص چهره پرداخته است. به بیانی دیگر در این گزارش ارزش کلی این بازار، به جای توجه صرف به راهکارها و سرویس‌ها، مشخص نشده است و همان‌گونه که پیش از این نیز به آن اشاره شد زیرساخت تشخیص چهره بازار گسترده‌ای دارد.

نرم‌افزارهای تشخیص چهره شامل نرم‌افزارهای تشخیص چهره دوبعدی، تشخیص چهره سه بعدی و تحلیل چهره می‌شوند. همان‌گونه که می‌دانید فن‌آوری تشخیص چهره سه بعدی در چندین «مورد کاربرد» که تشخیص چهره دو بعدی نمی‌تواند عملکرد مناسبی داشته باشد، «بهتر» عمل می‌کند.

علاوه بر این، فن‌آوری تشخیص چهره سه بعدی سهم بیشتری از بازار را به خود اختصاص می‌دهد و از این فن‌آوری عمدتاً در کنترل مرز‌ها، تأیید اصالت اسناد و مدیریت هویت استفاده می‌شود.

اصلی‌ترین شرکت‌های فعال در حوزه تشخیص چهره که نام آن‌ها در گزارش MarketsandMarket ذکر شده عبارتند از:

• NEC(ژاپن)
• Aware(ایالات متحده)
• Gemalto(هلند، و اکنونی بخشی از شرکت Thales است)
• Ayonix Face Technologies (ژاپن)
• Cognitec Systems GmbH(آلمان)
• NVISO SA(سوییس)
• Daon(ایالات متحده)
• StereoVision Imaging(ایالات متحده)
• Techno Brain(کنیا)
• Neurotechnology(لیتوانی)
• Innovatrics(اسلوواکی)
• id3 Technologies(فرانسه)
• IDEMIA(فرانسه)
• Animetrics(ایالات متحده)
•  MEGVII(چین)

در این گزاش به تأثیرات شیوع ویروس کووید-۱۹ اشاره‌ای نشده است، پس باید «منتظر بمانیم و ببینیم» این بیماری چگونه باعث تسریع این بازار می‌شود.

کشورها و بخش‌هایی که بیشترین میزان استفاده از نرم‌افزار تشخیص چهره دارند

با در نظر گرفتن نوآوری‌ها و ابتکارات موجود، تعجبی ندارد که در طول دوره پیش‌بینی منطقه آسیا-اقیانوسیه بیشترین میزان رشد در این حوزه را تجربه خواهد کرد و یکی از دلایل اصلی این رشد سرمایه‌گذاری دولت در زیرساخت‌های امنیتی و نظارتی خواهد بود.

آن دسته از کشورهای ناحیه آسیا- اقیانوسیه که بیشتر در حوزه تشخیص چهره فعالیت دارند، عبارتند از:

• چین
• ژاپن
• سنگاپور
• و به طور فزاینده‌ای هند.

یکی دیگر از عوامل دخیل در رشد و توسعه این حوزه، افزایش آگاهی مردم است. در نتیجه شیوع ویروس کووید-۱۹، در برخی کشورها به ویژه چین میزان استفاده از فن‌آوری تشخیص چهره، که پیش از این نیز به طور گسترده مورد استفاده قرار می‌گرفت و مباحثات گوناگونی پیرامون آن شکل می‌گرفت، را افزایش داد.

همان‌گونه که پیش از این گفتیم، به گزارش ABI Research شرکت‌های چینی از جمله SenseTime، Megvii، Alibaba و Baidu بیشترین میزان سرمایه‌گذاری در حوزه تشخیص چهره را به خود اختصاص می‌دهند.
استفاده از فن‌آوری‌های تشخیص چهره در سیستم‌های قدیمی و منسوخ میزان رشد راهکارهای تشخیص چهره در بازار را محدود می‌کند.

ایالات متحده، کانادا و بریتانیا نیز مبالغی در حوزه تشخیص چهره سرمایه‌گذاری می‌کنند و به سرمایه‌گذاری در این حوزه ادامه می‌دهند. دولت و بخش دفاعی نقش مهمی در این بازار ایفا می‌کنند و نسبت به بخش‌های دیگر رشد سریع‌تری دارند.
علاوه بر این، به گزارش MarketsandMarkets میزان پیاده‌سازی و اجرای راهکارهای تشخیص چهره برنامه‌های مقیاس بزرگ دولتی از جمله شهرهای هوشمند و حمل‌و‌نقل هوشمند در حال افزایش است. از این روی « افزایش نیاز به راهکارهای احراز هویت بیومتریک مجهز به فن‌آوری تشخیص چهره برای مدیریت هویت، مدیریت مرزها، تأمین امنیت داخلی و امنیت نظامی دولت‌ها را بر آن داشته تا به طور گسترده فن‌آوری‌های تشخیص چهره را پیاده‌سازی و اجرا کنند.»

سایر صنایع عمودی که از فن‌آوری تشخیص چهره استفاده می‌کنند، عبارتند از:

• بانک‌داری، خدمات مالی و بیمه
• بهداشت و درمان
• خرده‌فروشی
• آموزش.

به نمونه‌هایی از موارد کاربرد فن‌آوری تشخیص چهره در این بخش‌ها اشاره کردیم.
به محض این‌که درک و شناخت عمیق‌تر و کامل‌تری نسبت به میزان تأثیرات ویروس کووید-۱۹ بر استفاده از فن‌آوری تشخیص چهره در کشورها و بخش‌ها مختلف کسب کنیم، این مقاله را به روزرسانی خواهیم کرد.

منبع: hooshio.com

سرمایه گذاری در صنعت هوش مصنوعی کشور ۵ برابر افزایش می‌یابد

معاونت علمی و فناوری ریاست جمهوری با اشاره به این موضوع که فناوری هوش مصنوعی یک فناوری پیچیده و کاربردی است، همه فعالان این حوزه را به تلاش برای گسترش این زیست بوم فناوری و نوآوری در کشور دعوت کرد. به دنبال همین هدف ستاد توسعه فناوری‌های دیجیتال و هوشمندسازی معاونت علمی و فناوری ریاست جمهوری در صدد افزایش ۵ برابری سرمایه ‌گذاری در صنعت هوش مصنوعی و شکل گیری استارتاپ­‌های هوش مصنوعی است.

با توجه به این که هوش مصنوعی یک فناوری پیچیده با کاربردهای ساده است، توسعه آن در همه کشورها ضروری شناخته شده است تا جایی که بیش از ۶۰ کشور تا کنون سند راهبردی خود را به منظور توسعه این فناوری کاربردی در کشور خود تدوین کرده‌اند و به سرمایه گذاری در صنعت هوش مصنوعی اقدام نموده‌اند.

در ایران نیز این ضرورت به خوبی درک شده و مسئولان و پیشتازان علمی کشور با ورود به این عرصه تلاش می‌کنند تا اکوسیستم هوش مصنوعی را در ایران ارتقاء دهند.

از این رو ستاد توسعه فناوری‌های اقتصاد دیجیتال و هوشمندسازی معاونت علمی و فناوری ریاست جمهوری تلاش می‌کند تا در آینده‌ای نزدیک تعداد استارتاپ‌های هوش مصنوعی در کشور را به ۲۰۰ مورد برساند و با همراهی جوانان خلاق این زیست‌بوم سرمایه‌گذاران را ترغیب به سرمایه گذاری در صنعت هوش مصنوعی نماید.

در حال حاضر یکی از اولویت‌های ستاد توسعه فناوری‌های اقتصاد دیجیتال و هوشمندسازی معاونت علمی و فناوری ریاست جمهوری، ۵ برابر کردن میزان سرمایه گذاری در صنعت هوش مصنوعی است .

به‌منظور رسیدن به این هدف اقدامات متعددی صورت گرفته است. مذاکره با ۳ دانشگاه فعال در حوزه هوش مصنوعی و تجهیز آزمایشگاه‌های تخصصی هوش مصنوعی در این دانشگاه‌ها از جمله اقدامات صورت گرفته در چند سال اخیر توسط این ستاد است.

تاکنون بیشترین میزان استفاده از فناوری هوش مصنوعی در دنیا توسط ده کشور برزیل ، انگلستان، ایتالیا، لهستان، امریکا، تایلند،ویتنام، اندونزی و چین بوده است. همچنین با تحلیل بازارهای هوش مصنوعی پیش‌بینی می شود تا سال ۲۰۳۰ ارزش جهانی این فناوری نوظهور در دنیا  به بیش از ۱۶ تریلیون دلار برسد که معادل یک سوم بازار فعلی جهانی است.

منبع: hooshio.com

۱۲ مورد از چالش ‌های هوش مصنوعی که با آن‌ها مواجه خواهید شد

هوش مصنوعی راه‌های نفوذ به صنعت جدید را پیدا می‌کند و شمار شرکت‌هایی که از مزایای به‌کارگیری این فن‌آوری بهره‌مند می‌شوند، رو به افزایش است. اما علی‌رغم رشد این فناوری و افزایش محبوبیت آن، بسیاری از کسب‌وکارها هنوز نتوانسته‌اند در دنیای هوش مصنوعی جایگاهی برای خود بیایند. چرا؟

پاسخ ترس است و این ترس از به‌کارگیری هوش مصنوعی دلایل زیادی دارد. شرکت O’Reilly در سال ۲۰۱۹، کتاب الکترونیکی منتشر کرد که در آن یافته‌های پژوهش خود درخصوص به‌کارگیری و چالش های هوش مصنوعی را در سازمان‌ها به‌طور خلاصه آورده بود. علاوه براین، در این کتاب فهرستی از رایج‌ترین عواملی که مانع از به‌کارگیری فناوری هوش مصنوعی در سازمان‌ها می‌شوند نیز ارائه شده است. ۲۳% از شرکت‌کنندگان در این پژوهش اظهار داشتند که دلیل اصلی آن‌ها برای عدم پیشروی در زمینه هوش مصنوعی این است که هوش مصنوعی و استفاده از آن در فرهنگ و سنت‌های شرکت‌شان تعریف نشده است. سایر دلایل ذکرشده عبارت بودند از کمبود اطلاعات و داده، کمبود افراد متخصص و عدم تشخیص کاربردهای هوش مصنوعی در زمینه کسب‌وکار.

شرکت‌ها برای ورود به دنیای هوش مصنوعی با چه چالش‌هایی روبه‌رو می‌شوند؟

همان‌طور که در بالا گفته شد، مشکلات اصلی در این زمینه به‌طور معمول مربوط به افراد، داده‌ها و تطابق پیدا کردن کسب‌وکارها است. شرکت‌ها با یک‌دیگر متفاوتند و درنتیجه تجربه‌ای که از به‌کارگیری هوش مصنوعی خواهند داشت نیز متفاوت با دیگری است، اما موانعی هستند که بر سر راه همه قرار می‌گیرند و باید از آن‌ها آگاه بود. در این مقاله، ما تعدادی از متداول‌ترین چالش‌هایی که شرکت‌ها در مسیر به‌کارگیری هوش مصنوعی با آن‌ها مواجه خواهند شد را معرفی خواهیم کرد و راه‌هایی برای مقابله با این چالش‌ها نیز به شما پیشنهاد خواهیم کرد. مواردی که در این مقاله مطرح خواهند شد، عبارتند از:

• داده‌ها
۱. کیفیت و کمیت داده‌ها
۲. تخصیص برچسب به داده‌ها
۳. قابلیت توضیح و تفسیر نتایج
۴. یادگیری موضوعی
۵. سوگیری
۶. مقابله با خطاهای مدل

• افراد
۷. اطلاعات محدود کارمندان غیر فنی در حوزه هوش مصنوعی
۸. کمبود متخصص در حوزه هوش مصنوعی

• کسب‌وکار
۹. عدم تطابق کسب‌وکارها
۱۰. ارزیابی ارائه‌دهندگان
۱۱. چالش‌های یکپارچه‌سازی
۱۲. مسائل قانونی

داده‌ها

اغلب شرکت‌ها انتظار دارند که در زمینه داده‌ها با مشکل موجه شوند. همه می‌دانیم که عملکرد یک سیستم به داده‌هایی که به آن می‌دهیم، بستگی دارد. پیش‌تر در مقاله‌ای دیگر به مواردی که باید پیش از به‌کارگیری هوش مصنوعی درنظر گرفت، اشاره کردیم، اما از آن‌جا که داده‌ها عنصر کلیدی راه‌حل‌های مبتنی بر هوش مصنوعی هستند، در ادامه برخی از مشکلات مربوط به این حوزه را مرور خواهیم کرد.

۱. کیفیت و کمیت داده‌ها

چنان‌که در بالا نیز گفته شد، کیفیت و عملکرد سیستم به شدت به داده‌هایی که به آن می‌دهیم، بستگی دارد. سیستم‌های هوش مصنوعی به دیتاست‌های آموزشی بزرگ نیاز دارند. هوش مصنوعی برای یادگیری از اطلاعات موجود استفاده می‌کند. فرآیند یادگیری در هوش مصنوعی بسیار شبیه به انسان‌ها است، اما این فن‌آوری برای تشخیص الگوها به داده‌های بیشتری نیاز دارد. ما انسان‌ها در انجام کارهایی که تجربه بیشتری در آن‌ها داریم، بهتر عمل می‌کنیم، بنابراین این موضوع که هوش مصنوعی برای یادگیری به حجم زیادی از داده‌ها نیاز دارد نیز منطقی به‌نظر می‌رسد. تفاوت دیگر هوش مصنوعی با انسان در سرعت پردازش و تحلیل اطلاعات است. هوش مصنوعی در زمینه تحلیل داده‌ها چنان سریع است که انسان حتی در خواب هم نمی‌تواند به گرد پای آن برسد. بنابراین، هرچه داده‌هایی که به هوش مصنوعی می‌دهید، با کیفیت‌تر باشند، نتیجه بهتری خواهید گرفت.
چطور می‌توان بر مشکلات مربوط به داده‌ها غلبه کرد؟ اول از همه، باید از محتوای داده‌هایی که دارید، آگاه باشید و بعد، آن‌ها را با داده‌هایی که موردنیاز مدل‌تان هستند، مقایسه کنید. به منظور تشخیص داده‌های موردنیاز یک مدل، باید شناخت کاملی از آن مدل داشته باشید. فهرستی از انواع داده‌های موردنیازتان تهیه کنید و از خود بپرسید، این داده‌ها ساختاریافته‌اند یا ساختارنیافته؟ داده‌هایی که جمع‌آوری کرده‌اید در مورد مشتریان‌تان است یا جمعیت‌شناسی یا تاریخچه خرید یا تعاملات آنلاین افراد؟ وقتی داده‌های موجود را بشناسید، متوجه خواهید شد که به چه داده‌های دیگری نیاز دارید.
سایر داده‌های موردنیاز شما ممکن است اطلاعاتی باشند که در دسترس عموم قرار دارند، در این صورت، سیستم نیز می‌تواند به راحتی به آن‌ها دسترسی پیدا کند. اما ممکن است مجبور باشید برخی از داده‌های موردنیاز خود را از اشخاص ثالث خریداری نمایید. بااین‌حال، باز هم دسترسی یافتن به بعضی از داده‌ها دشوار است. برای مثال، به‌دست آوردن داده‌های پزشکی که به کمک آن‌ها می‌توان تشخیص پزشکی دقیق‌تری ارائه داد، بسیار سخت است. متأسفانه، این یک حقیقت است و شما باید به آن آگاه باشید. در چنین مواردی می‌توان از داده‌های مصنوعی استفاده کرد. داده‌های مصنوعی داده‌های هستند که به دست انسان تولید می‌شوند. این داده‌ها ممکن است بر پایه داده‌های واقعی باشند یا از صفر تولید شوند. این کار زمانی انجام می‌شود که داده‌های موجود برای آموزش مدل کافی نباشند. روش‌های دیگر به‎دست‌آوردن داده‌های موردنیاز برای آموزش مدل، استفاده از داده‌های رایگان و کمک گرفتن از موتور جست‌وجوی دیتاست‌های گوگل است. به‌علاوه، می‌توانید از ربات‌های خودکار برای جمع‌آوری داده‌هایی که دردسترس عموم قرار دارند، استفاده کنید. برای مثال، این ربات‌ها می‌توانند اطلاعاتی که در صفحات ویکی‌پدیا منتشر شده‌اند را برای شما جمع‌آوری کنند. وقتی از داده‌هایی که در دست دارید و داده‌های موردنیاز خود، آگاه باشید؛ می‌دانید که باید به سراغ کدام دیتاست‌ها بروید.

۲. تخصیص برچسب به داده‌ها

تا چند سال پیش، داده‌های ما اغلب ساختاریافته و متنی بودند، اما امروزه به لطف فناوری اینترنت اشیاء (IoT) بخش بزرگی از داده‌ها در قالب تصاویر و ویدیو در دسترس ما قرار می‌گیرند. این داده‌ها ذاتاً مشکلی ندارند، اما مسئله این‌ است که آموزش بسیاری از سیستم‌هایی که از فرآیندهای یادگیری ماشینی یا یادگیری عمیق استفاده می‌کنند، به‌صورت نظارت‌شده انجام میود و به همین دلیل، این سیستم‌ها نیازمند داده‌های برچسب‌دار هستند. این حقیقت که ما روزانه حجم زیادی داده تولید می‌کنیم، به این مسئله کمکی نمی‌کند. درواقع ما به جایی رسیده‌ایم که نیروی انسانی کافی برای برچسب زدن به داده‌هایی که تولید می‌شوند، نداریم. پایگاه‌های داده‌ای همچون ImageNet داده‌های برچسب‌دار به ما ارائه می‌دهند. این پایگاه داده‌ای حاوی بیش از ۱۴ میلیون تصویر است که همه آن‌ها به‌صورت دستی و توسط اعضای ImageNet تفسیر شده‌اند. متخصصین بینایی ماشین در برخی موارد می‌توانند داده‌های بهتری از داده‌های موجود در ImageNet پیدا کنند، اما از آن‌جا که داده‌های موجود در این پایگاه داده برچسب دارند، اغلب از همین داده‌ها استفاده می‌شود.
چندین روش برای تخصیص برچسب به داده‌ها وجود دارد. می‌توانید این کار را درون شرکت خود انجام دهید یا آن را به سازمان دیگری بسپارید، همچنین می‌توانید داده‌ها را به‌صورت دستی تفسیر کنید یا این کار را به کمک برنامه‌نویسی انجام دهید. هر یک از این روش‌ها مزایا و معایبی دارند که در جدول زیر ذکر شده‌اند.

۳. قابلیت توضیح و تفسیر نتایج

اغلب در مدل‌های «جعبه سیاه»، سیستم هیچ توضیح اضافه‌ای، یک نتیجه نهایی به شما ارائه می‌دهد. اگر نتیجه‌ای که سیستم ارائه می‌دهد با دانسته‌های پیشین شما و نتیجه موردانتظار شما هم‌پوشانی داشته باشد، سؤالی برای شما پیش نمی‌آید. اما اگر نتیجه نهایی متفاوت از دیدگاه شما باشد، چطور؟ در این حالت، قطعاً می‌خواهید بدانید که چرا چنین تصمیم و نتیجه‌ای گرفته شده است. از طرفی، در بسیاری از موارد، تصمیم سیستم به تنهایی کافی نیست. برای مثال، پزشکان نمی‌توانند در زمینه‌ای سلامتی بیماران خود، تنها به پیشنهادی که سیستم به آن‌ها می‌دهد، اکتفا کنند.

هدف پکیج LIME (local interpretable model-agnostic explanations) روشن‌سازی و توضیح نتایج مدل است. بدین ترتیب، اگر سیستم هوش مصنوعی بیماری فرد را آنفولانزا تشخیص دهد، این مدل داده‌هایی که منجر به ارائه این تشخیص شده‌اند را نیز به ما خواهد داد. برای مثال، این مدل می‌گوید نشانه‌هایی چون سردرد و آبریزش بینی منجر به چنین تشخیصی شده نه وزن و سن بیمار. هنگامی که ما از منطق پشت تصمیمات مدل اطلاع پیدا کنیم، می‌توانیم تصمیم بگیریم که تا چه حد به آن اعتماد کنیم.

۴. یادگیری موضوعی

ما انسان‌ها به کمک هوش خود می‌توانیم تجربیاتی که در یک حوزه مشخص کسب کرده‌ایم را به حوزه‌های دیگر تعمیم دهیم. این عمل با نام انتقال آموخته‌ها شناخته می‌شود. انسان قادر است آموخته‌ها و تجربیات خود در یک حوزه را در سایر زمینه‌ها نیز به‌کار بگیرد، اما هوش مصنوعی هنوز در انتقال تجربیاتی که تحت یک شرایط خاص کسب می‌کند، با مشکل مواجه است. از یک سو، این موضوع عادی است، چرا که ما می‌دانیم هوش مصنوعی یک سیستم تخصص‌یافته است، به این معنا که تنها برای انجام یک فعالیت مشخص طراحی می‌شود. بنابراین، از آن‌جا که هر الگوریتم هوش مصنوعی برای پاسخ به یک سؤال خاص طراحی شده، نباید از آن انتظار داشته باشیم که به دیگر سؤالات دشوار نیز پاسخ دهد. اما از سوی دیگر، تجربیاتی که هوش مصنوعی در حین انجام یک فعالیت مشخص کسب می‌کند، می‌تواند در زمان انجام یک فعالیت دیگر نیز مفید واقع شود. آیا می‌توان به جای طراحی یک مدل جدید برای انجام یک فعالیت، از تجربیات مدل قبلی استفاده کرد؟ انتقال آموخته‌ها فرآیندی است که این مهم را امکان‌پذیر می‌سازد. مدل‌های هوش مصنوعی به نحوی آموزش داده می‌شوند که بتوانند پس از انجام یک فعالیت، آموخته‌های خود را در انجام یک فعالیت مشابه اما غیرتکراری نیز به‌کار بگیرد. بدین ترتیب، می‌توانیم از مدلی که برای انجام فعالیت «الف» طراحی شده، به عنوان پیش‌نیاز مدلی که باید برای فعالیت «ب» طراحی شود، استفاده کنیم.

۵. سوگیری

سوگیری مسئله‌ای است که این روزها بسیار موردتوجه قرار گرفته است. هرازگاهی داستان رفتار متعصبانه هوش مصنوعی با زنان یا افراد رنگین پوست، سرتیتر روزنامه‌ها می‌شود. اما این سوگیری از کجا نشأت گرفته است؟ قطعاً هوش مصنوعی قصد بدی ندارد… یا شاید هم دارد؟
پاسخ منفی است. هوش مصنوعی قصد و منظور بدی ندارد. اگر فکر کنیم هوش مصنوعی چنین قابلیتی دارد، به این معناست که هوش مصنوعی را دارای اراده و قدرت انتخاب فرض کرده‌ایم. اما درواقع، تصمیمات هوش مصنوعی بر پایه داده‌ها و اطلاعاتی است که به آن داده شده و خود به تنهایی هیچ نظر و عقیده‌ای ندارد، بلکه از باورها و اعتقادات دیگران می‌آموزد و همین جاست که سوگیری‌ها شکل می‌گیرند.
سوگیری ممکن است دلایل مختلفی داشته باشد، اما منشاء اصلی آن، نحوه جمع‌آوری داده‌ها است. اگر پرسش‌نامه‌ای که برای جمع‌آوری داده طراحی کرده‌اید را در یک مجله به چاپ برسانید، جامعه نمونه شما محدود به مخاطبین آن مجله خواهد بود. در چنین مواردی، نمی‌توان دیتاست حاوی پاسخ‌ها را نماینده کل جامعه دانست.
یکی دیگر از عواملی می‌تواند منجر به سوگیری داده‌ها شود، نحوه بررسی آن‌هاست. وقتی افراد حاضر در نمونه از سیستم‌هایی استفاده می‌کنند که ویژگی‌های موردعلاقه آن‌ها را دارد، به این معناست که بسیاری از ویژگی‌های دیگر را نادیده گرفته و استفاده نمی‌کنند. در چنین مواردی، هوش مصنوعی نمی‌تواند درخصوص ویژگی‌هایی که کاربرد کمتری داشته‌اند، چیزی بیاموزد.
یک مورد دیگر را نیز باید به عنوان عامل چنین سوگیری‌های درنظر گرفت. مردم! مردم منشاء و سرچشمه داده‌ها هستند. این مردم کسانی هستند که دروغ می‌گویند و شایعه‌پراکنی می‌کنند. مدل هوش مصنوعی که شرکت آمازون برای استخدام کارمندان جدید طراحی کرده بود، درنهایت سوگیری‌های جنسیتی از خود نشان داد. از آن‌جا که نیروی کار بخش فنی این شرکت اکثراً مرد بودند، این سیستم آموخته بود که داوطلبان مرد برای این شغل مناسب‌ترند و به همین دلیل، به رزومه‌هایی که حاوی واژه «خانم» بودند و داوطلبانی که از دانشگاه‌های دخترانه قارغ‌التحصیل شده بودند، امتیاز منفی می‌داد.

۶. مقابله با خطاهای مدل

هوش مصنوعی از خطا و اشتباه مصون نیست. دروغ‌ها یا تعصبات انسانی به الگوریتم‌هایی که توسط او طراحی شده‌اند، نفوذ می‌کند و به ایجاد سوگیری در نتایج نهایی منجر می‌شوند. همان‌طور که پیش‌تر نیز گفتیم، دلایل زیادی برای ایجاد سوگیری در دیتاست‌ها وجود دارد. چنین مسائلی ممکن است درنهایت منجر به کاهش دقت نتایج ارائه شده توسط هوش مصنوعی شوند.
«استدلال اشتباه» یکی دیگر از خطاهای هوش مصنوعی است. با پیشرفته‌تر شدن سیستم‌های هوش مصنوعی، درک فرآیندهایی که درون شبکه اتفاق می‌افتند، سخت‌تر می‌شود. بنابراین، وقتی خطایی در سیستم هوش مصنوعی رخ می‌دهد، شناسایی دقیق منشاء آن خطا دشوار خواهد بود. حال درنظر بگیرید این خطا در سیستم یک اتومبیل خودران رخ دهد؛ اتومبیلی که می‌خواهد تصمیم بگیرد دور بزند یا یک انسان را زیر کند! خوش‌بختانه، دانشمندان آزمون جعبه سفید را برای سیستم‌های یادگیری عمیق طراحی کرده‌اند. در این روش، با دادن تعداد زیادی ورودی به یک شبکه عصبی، آن را مورد آزمایش قرار می‌دهیم و بدین ترتیب، می‌توانیم پاسخ‌های اشتباه آن را پیدا کرده و اصلاح کنیم.
اما آیا همه اشتباهات سیستم هوش مصنوعی تا این حد خطرناک هستند؟ پاسخ منفی است. اشتباهات هوش مصنوعی همیشه خطرناک نیستند. میزان خطر این اشتباهات به کارکرد سیستم بستگی دارد. وقتی سیستم هوش مصنوعی در امور مربوط به امنیت سایبری، امور نظامی و وسایل‌نقلیه به‌کار گرفته شود، اشتباهات آن اهمیت و خطر بیشتری خواهند داشت. اما وقتی سیستم از میان یک مرد و یک زن با توانایی‌ها مشابه، مرد را انتخاب کند، ما با یک مسئله اخلاقی روبه‌رو هستیم. البته برخی از این اشتباهات نیز بسیار ساده‌لوحانه هستند. برای مثال، در مقاله‌ای که در سال ۲۰۱۵ در مجله وایرد به چاپ رسید، به خطای یک سیستم هوش مصنوعی اشاره شده بود. وقتی به این سیستم هوش مصنوعی تصویری راه‌راه و زرد و مشکی نشان دادند، سیستم نتیجه گرفت که این تصویر یک اتوبوس مدرسه است و ۹۹% مطمئن بود که نتیجه‌گیری درستی ارائه داده است. اما حدس این سیستم در مورد آن تصویر کاملاً اشتباه بود.
بنابراین، برای اطمینان از این‌که خطاهای سیستم هوش مصنوعی که طراحی می‌کنیم، چندان مهم و حیاتی نیستند، باید ۲ موضوع را مدنظر قرار دهیم: کیفیت ورودی‌ها و انجام آزمون‌های مناسب.

افراد

۷. اطلاعات محدود کارمندان غیر فنی در حوزه هوش مصنوعی

به‌کارگیری فن‌آوری هوش مصنوعی نیازمند این است که مدیران سازمان درک عمیق‌تری از ماهیت کنونی فن‌آوری‌های مبتنی بر هوش مصنوعی و توانایی‌ها و محدودیت‌های آن داشته باشند. متأسفانه، امروزه افسانه‌ها هوش مصنوعی را احاطه کرده‌اند، از مسائل پیش‌پاافتاده‌ای چون تشکیل یک تیم متخصص داده (افراد متخصص در این حوزه اکثراً برای شرکت‌های فیس‌بوک، آمازون و گوگل کار می‌کنند، چطور می‌توان با این شرکت‌ها رقابت کرد؟) گرفته، تا افکار علمی-‌تخیلی درباره پایان زندگی انسان‌ها به دست ربات‌ها. در بسیاری از حوزه‌ها، نداشتن دانش و اطلاعات کافی درخصوص هوش مصنوعی مانع از به‌کارگیری این فن‌آوری شده است. یکی دیگر از اشتباهاتی که در اثر نداشتن درک درست از هوش مصنوعی رخ می‌دهد، تعیین اهداف غیرقابل‌درسترس و غیرممکن است.
برای پیدا کردن یک راه‌حل برای مشکلات و مسائل مروبط به کسب‌وکار، باید آموزش ببینید. شاید این موضوع انگیزه شما را از بین ببرد، اما منظور ما از آموزش دیدن، تبدیل شدن به یک دانشمند داده نیست. تنها کافی است کمی بیشتر با صنعتی که در آن فعالیت دارید، آشنا شوید، بازیگران اصلی آن صنعت را زیرنظر بگیرید و کاربردهایی که برای هوش مصنوعی تعریف کرده‌اند را بررسی کنید. به این ترتیب و با کسب اندکی دانش و شناخت قابلیت‌ها و محدودیت‌های هوش مصنوعی، مدیریت انتظارات آسان‌تر خواهد شد.

۸. کمبود متخصص در حوزه هوش مصنوعی

به‌منظور موفقیت در طراحی یک راه‌حل مبتنی بر هوش مصنوعی، شما باید علاوه بر دانش فنی، درک کافی از حوزه کسب‌وکار نیز داشته باشید. متأسفانه، اغلب افراد تنها در یکی از این حوزه‌ها دانش کافی دارند. به‌طورمعمول، مدیرعامل و سایر مدیران یک سازمان دانش فنی لازم برای به‌کارگیری هوش مصنوعی را ندارند و اکثر دانشمندان و متخصصین داده نیز علاقه‌ای به شناخت و بررسی کاربردهای مدل خود در دنیای واقعی ندارند. شمار متخصصان هوش مصنوعی که می‌دانند چگونه می‌توان یک فن‌آوری را در یک کسب‌وکار خاص به‌کار گفت، بسیار اندک است.
شرکت‌هایی که عضوی از گروه FAMGA (که متشکل از شرکت‌های فیس‌بوک، اپل، مایکروسافت، گوگل و آمازون است) نباشند، برای استخدام افراد با استعداد در این حوزه با مشکلات زیادی مواجهند و حتی اگر بتوانند یک تیم هوش مصنوعی در داخل سازمان خود تشکیل دهند، نمی‌توانند با اطمینان بگویند که افراد درستی را برای این تیم استخدام کرده‌اند. شما بدون داشتن دانش فنی کافی از هوش مصنوعی، نمی‌توانید کیفیت راه‌حل‌هایی که تیم هوش مصنوعی ارائه می‌دهند را ارزیابی کنید. شرکت‌های متوسط یا کوچک ممکن است به‌دلیل محدودیت منابع مالی، نتوانند راهی برای استفاده از هوش مصنوعی در سازمان خود پیدا کنند. البته، درحال‌حاضر برون‌سپاری و سپردن پروژه‌های هوش مصنوعی به تیم‌های متخصص داده در خارج از شرکت، گزینه مناسبی است.

کسب‌وکار

۹. عدم تطابق کسب‌وکارها

همان‌طور که در نمودار ابتدای این مقاله ملاحظه کردید، در فرهنگ شرکت‌ها چیزی به عنوان هوش مصنوعی تعریف نشده و شناسایی کاربردهای هوش مصنوعی در کسب‌وکارهای مختلف، یکی از بزرگ‌ترین موانع بر سر راه به‌کارگیری هوش مصنوعی است. مدیران کسب‌وکار برای شناسایی کاربردهای هوش مصنوعی در سازمان خود باید درک عمیقی از فن‌آوری‌های مبتنی بر هوش مصنوعی و توانایی‌ها و محدودیت‌های آن داشته باشند. نداشتن دانش و اطلاعات کافی درخصوص هوش مصنوعی مانع از به‌کارگیری این فن‌آوری در بسیاری از سازمان‌ها شده است.
اما مسئله دیگری نیز در این میان وجود دارد. برخی از شرکت‌ها با خوش‌بینی زیاد و بدون داشتن استراتژی روشن و دقیق، وارد عرصه هوش مصنوعی می‌شوند. استفاده و بهره‌برداری از هوش مصنوعی نیازمند داشتن رویکردی راهبردی، هدف‌گذاری دقیق، شناسایی شاخص‌های کلیدی عملکرد و تحت نظر گرفتن میزان بازگشت سرمایه است. در ‌صورت نادیده گرفتن هر یک از این موارد، نمی‌توانید نتایج حاصل از پروژه هوش مصنوعی خود را ارزیابی کنید، یا آن‌ها را با فروض ابتدایی خود مقایسه کنید و میزان موفقیت یا شکست خود در این سرمایه‌گذاری را بسنجید.

۱۰. ارزیابی ارائه‌دهندگان

همان‌طور که پیش‌تر و در موضوع استخدام متخصصین داده نیز گفتیم، اگر دانش فنی کافی درباره هوش مصنوعی نداشته باشید، به‌سادگی فریب می‌خورید. به‌کارگیری هوش مصنوعی در کسب‌وکار، یک عرصه نوظهور است که احتمال آسیب‌پذیری در آن بالاست، زیرا بسیاری از شرکت‌ها در بیان تجربیات و دست‌آوردهای خود غلو می‌کنند، درحالی‌که در واقعیت ممکن است اصلاً ندانند که چطور می‌توان از هوش مصنوعی در حل مسائل حوزه کسب‌وکار استفاده کرد. به این ترتیب، یکی از راه‌هایی که برای شناسایی رهبران دنیای هوش مصنوعی پیش روی شما این است که به وب‌سایت‌های همچون Clutch مراجعه کنید تا بتوانید دست‌آوردهای شرکت‌های مختلف را مشاهده و بررسی نمایید. یک راه دیگر، برداشتن قدم‌های کوچک به سمت دنیای هوش مصنوعی است. برای مثال، می‌توانید از یکی از ارائه‌دهندگان خوش‌آتیه خود در حوزه هوش مصنوعی بخواهید که برای شما یک کارگاه برگزار کند. بدین ترتیب، قابلیت‌ها و توانایی‌های آن‌ها برای شما روشن خواهد شد و متوجه خواهید شد که آیا شرکت مذکور درک درستی از کسب‌وکار شما دارد؟، آیا مهارت‌های لازم برای کمک به شما را دارد؟ و آیا می‌داند که چطور مشکلات شما را حل کند؟

۱۱. چالش‌های یکپارچه‌سازی

یکپارچه‌سازی سیستم کنونی یک شرکت با هوش مصنوعی، فرآیندی بسیار پیچیده‌تر از نصب یک افزونه در مرورگر است. در شناسایی نیازهای کسب‌وکار خود باید عوامل و عناصر مختلفی را درنظر بگیرید. البته برخی از ضوابط نیز انعطاف‌ناپذیرند. به این منظور، باید ویژگی‌ها و نیازهای زیرساخت‌های داده‌ای شرکت و نحوه ذخیره‌سازی داده‌ها، برچسب‌زنی و دادن داده‌ها و اطلاعات به سیستم را مدنظر قرار دهیم. پس از آن به مرحله آموزش مدل می‌رسیم و مدل هوش مصنوعی را از لحاظ تأثیرگذاری آزمایش می‌کنیم، یک حلقه بازخورد ایجاد می‌کنیم تا عملکرد مدل به‌طور مداوم و براساس کنش‌های افراد بهبود پیدا کند و از داده‌ها نیز نمونه‌گیری می‌کنیم تا علاوه‌ بر حفظ کیفیت و دقت خروجی‌ها، از میزان داده‌های ذخیره شده کاسته شده و سرعت اجرای مدل افزایش یابد. اما چگونه می‌توان اطمینان حاصل کرد که یک پروژه به نتیجه می‌رسد و ارزش سرمایه‌گذاری دارد؟
برای مواجهه با چالش‌هایی که ممکن است در مسیر یکپارچه‌سازی با آن‌ها مواجه شوید، باید با شرکت‌های ارائه‌دهنده خود مشارکت داشته باشید تا همه به درک درستی از این فرآیند برسند. همچنین، تخصص شرکت‌های ارائه‌دهنده نباید تنها در زمینه مدل‌سازی باشد. اگر سیستم هوش مصنوعی قدم به قدم و به صورت استراتژیک در سازمان پیاده‌سازی شود، احتمال شکست آن کاهش می‌یابد. پس از موفقیت در فرآیند یکپارچه‌سازی هوش مصنوعی و سیستم شرکت، افراد باید برای استفاده از این مدل جدید آموزش ببینند. مسائلی چون نحوه دریافت خروجی از مدل و تفسیر نتایج باید به کارمندان آموزش داده شود. شرکت ارائه‌دهنده خدمات هوش مصنوعی که با شما همکاری می‌کند، باید نحوه کار با مدل و توسعه آن را به شما بیاموزد.

۱۲. مسائل قانونی

در مقالات پیشین به مسائل قانونی که باید برای پیاده‌سازی سیستم هوش مصنوعی در یک شرکت مدنظر قرار داد، پرداختیم. نظام‌های قانونی ما نتوانسته‌اند همگام با فن‌آوری‌ها قدم بردارند و به همین دلیل، فن‌آوری‌های جدید با ابهامات زیادی در حوزه‌های قانونی مواجهند. اگر هوش مصنوعی به اموال دیگران آسیب وارد کند یا به یک انسان صدمه بزند، چه کسی باید مسئولیت آن را به عهده بگیرد؟ شخصی که به آن سیستم دستور داده یا شرکتی که مدل هوش مصنوعی را طراحی کرده است؟ درحال‌حاضر، هیچ قانونی وجود ندارد که برای ما روشن سازد که در چنین مواردی، چه اقدامی باید صورت بگیرد. علاوه براین، براساس مقرراتی که توسط اتحادیه اروپا و تحت نام مقررات عمومی حفاظت یا GDPR تصویب شده، داده‌ها نوعی کالا درنظر گرفته می‌شوند که باید به درستی مورداستفاده قرار گیرند. این قوانین چالش‌هایی در حوزه جمع‌آوری داده ایجاد می‌کند. چه داده‌هایی را می‌توان جمع‌آوری کرد؟ از چه روش‌هایی می‌توان برای جمع‌آوری داده‌ها استفاده کرد؟ و چگونه می‌توان هم‌راستا با قوانین GDPR از کلان داده‌ها استفاده کرد؟
یکی دیگر از مشکلاتی که در حوزه هوش مصنوعی با آن‌ مواجهیم، داده‌هایی هستند که حساسیت آن‌ها برای ما قابل لمس نیست. استفاده از این داده‌ها از نظر قانونی مشکلی ندارد، اما می‌تواند به شرکت شما آسیب بزند. به‌طورکلی، هرگونه اطلاعاتی که درز کردن آن به بیرون از شرکت، موقعیت شما را تهدید کند، باید در دسته داده‌های حساس و محرمانه قرار گیرد. برای مثال، فرض کنید اطلاعات مربوط به دوره‌های آموزشی که برای کارمندان خود برگزار می‌کنید، به بیرون درز کند؛ این مسئله به‌نظر تهدیدآمیز نمی‌آید،‌ اما اگر برفرض دوره آموزشی برای مقابله با قلدری در محیط کار برگزار کرده باشید، ممکن است منجر به برداشت‌های اشتباه و سوتفاهم شده و به کسب‌وکار شما آسیب بزند.
چگونه با چالش‌های به‌کارگیری هوش مصنوعی مواجه شویم؟
باید این نکته را به‌خاطر داشته باشید که شما نمی‌توانید به تنهایی از پس همه این مشکلات بر بیایید. اما اولین قدم شما برای مقابله با آن‌ها، آشنایی بیشتر با هوش مصنوعی است تا بتوانید فرآیندهای مختلف را بهتر درک کنید. پس از این که یک استراتژی مبتنی بر هوش مصنوعی طراحی کردید، باید مسائل و مشکلاتی که بر سر راه‌تان قرار دارند را شناسایی کنید. با داشتن یک استراتژی و رویکرد دقیق و جزئی، فرآیند پیاده‌سازی هوش مصنوعی در سازمان شما بسیار آسان‌تر خواهد شد. آیا طی کردن این مسیر بدون برخورد با موانع ممکن است؟ پاسخ منفی است. هیچ‌چیز ۱۰۰% عالی و بی نقص نیست. اما کسب آمادگی برای مواجهه با مشکلاتی که ممکن است با آن‌ها مواجه شوید، مزیت بزرگی برای شما به‌حساب می‌آید.

منبع: hooshio.com

۱۲ مورد از چالش ‌های هوش مصنوعی که با آن‌ها مواجه خواهید شد

هوش مصنوعی راه‌های نفوذ به صنعت جدید را پیدا می‌کند و شمار شرکت‌هایی که از مزایای به‌کارگیری این فن‌آوری بهره‌مند می‌شوند، رو به افزایش است. اما علی‌رغم رشد این فناوری و افزایش محبوبیت آن، بسیاری از کسب‌وکارها هنوز نتوانسته‌اند در دنیای هوش مصنوعی جایگاهی برای خود بیایند. چرا؟

پاسخ ترس است و این ترس از به‌کارگیری هوش مصنوعی دلایل زیادی دارد. شرکت O’Reilly در سال ۲۰۱۹، کتاب الکترونیکی منتشر کرد که در آن یافته‌های پژوهش خود درخصوص به‌کارگیری و چالش های هوش مصنوعی را در سازمان‌ها به‌طور خلاصه آورده بود. علاوه براین، در این کتاب فهرستی از رایج‌ترین عواملی که مانع از به‌کارگیری فناوری هوش مصنوعی در سازمان‌ها می‌شوند نیز ارائه شده است. ۲۳% از شرکت‌کنندگان در این پژوهش اظهار داشتند که دلیل اصلی آن‌ها برای عدم پیشروی در زمینه هوش مصنوعی این است که هوش مصنوعی و استفاده از آن در فرهنگ و سنت‌های شرکت‌شان تعریف نشده است. سایر دلایل ذکرشده عبارت بودند از کمبود اطلاعات و داده، کمبود افراد متخصص و عدم تشخیص کاربردهای هوش مصنوعی در زمینه کسب‌وکار.

شرکت‌ها برای ورود به دنیای هوش مصنوعی با چه چالش‌هایی روبه‌رو می‌شوند؟

همان‌طور که در بالا گفته شد، مشکلات اصلی در این زمینه به‌طور معمول مربوط به افراد، داده‌ها و تطابق پیدا کردن کسب‌وکارها است. شرکت‌ها با یک‌دیگر متفاوتند و درنتیجه تجربه‌ای که از به‌کارگیری هوش مصنوعی خواهند داشت نیز متفاوت با دیگری است، اما موانعی هستند که بر سر راه همه قرار می‌گیرند و باید از آن‌ها آگاه بود. در این مقاله، ما تعدادی از متداول‌ترین چالش‌هایی که شرکت‌ها در مسیر به‌کارگیری هوش مصنوعی با آن‌ها مواجه خواهند شد را معرفی خواهیم کرد و راه‌هایی برای مقابله با این چالش‌ها نیز به شما پیشنهاد خواهیم کرد. مواردی که در این مقاله مطرح خواهند شد، عبارتند از:

• داده‌ها
۱. کیفیت و کمیت داده‌ها
۲. تخصیص برچسب به داده‌ها
۳. قابلیت توضیح و تفسیر نتایج
۴. یادگیری موضوعی
۵. سوگیری
۶. مقابله با خطاهای مدل

• افراد
۷. اطلاعات محدود کارمندان غیر فنی در حوزه هوش مصنوعی
۸. کمبود متخصص در حوزه هوش مصنوعی

• کسب‌وکار
۹. عدم تطابق کسب‌وکارها
۱۰. ارزیابی ارائه‌دهندگان
۱۱. چالش‌های یکپارچه‌سازی
۱۲. مسائل قانونی

داده‌ها

اغلب شرکت‌ها انتظار دارند که در زمینه داده‌ها با مشکل موجه شوند. همه می‌دانیم که عملکرد یک سیستم به داده‌هایی که به آن می‌دهیم، بستگی دارد. پیش‌تر در مقاله‌ای دیگر به مواردی که باید پیش از به‌کارگیری هوش مصنوعی درنظر گرفت، اشاره کردیم، اما از آن‌جا که داده‌ها عنصر کلیدی راه‌حل‌های مبتنی بر هوش مصنوعی هستند، در ادامه برخی از مشکلات مربوط به این حوزه را مرور خواهیم کرد.

۱. کیفیت و کمیت داده‌ها

چنان‌که در بالا نیز گفته شد، کیفیت و عملکرد سیستم به شدت به داده‌هایی که به آن می‌دهیم، بستگی دارد. سیستم‌های هوش مصنوعی به دیتاست‌های آموزشی بزرگ نیاز دارند. هوش مصنوعی برای یادگیری از اطلاعات موجود استفاده می‌کند. فرآیند یادگیری در هوش مصنوعی بسیار شبیه به انسان‌ها است، اما این فن‌آوری برای تشخیص الگوها به داده‌های بیشتری نیاز دارد. ما انسان‌ها در انجام کارهایی که تجربه بیشتری در آن‌ها داریم، بهتر عمل می‌کنیم، بنابراین این موضوع که هوش مصنوعی برای یادگیری به حجم زیادی از داده‌ها نیاز دارد نیز منطقی به‌نظر می‌رسد. تفاوت دیگر هوش مصنوعی با انسان در سرعت پردازش و تحلیل اطلاعات است. هوش مصنوعی در زمینه تحلیل داده‌ها چنان سریع است که انسان حتی در خواب هم نمی‌تواند به گرد پای آن برسد. بنابراین، هرچه داده‌هایی که به هوش مصنوعی می‌دهید، با کیفیت‌تر باشند، نتیجه بهتری خواهید گرفت.
چطور می‌توان بر مشکلات مربوط به داده‌ها غلبه کرد؟ اول از همه، باید از محتوای داده‌هایی که دارید، آگاه باشید و بعد، آن‌ها را با داده‌هایی که موردنیاز مدل‌تان هستند، مقایسه کنید. به منظور تشخیص داده‌های موردنیاز یک مدل، باید شناخت کاملی از آن مدل داشته باشید. فهرستی از انواع داده‌های موردنیازتان تهیه کنید و از خود بپرسید، این داده‌ها ساختاریافته‌اند یا ساختارنیافته؟ داده‌هایی که جمع‌آوری کرده‌اید در مورد مشتریان‌تان است یا جمعیت‌شناسی یا تاریخچه خرید یا تعاملات آنلاین افراد؟ وقتی داده‌های موجود را بشناسید، متوجه خواهید شد که به چه داده‌های دیگری نیاز دارید.
سایر داده‌های موردنیاز شما ممکن است اطلاعاتی باشند که در دسترس عموم قرار دارند، در این صورت، سیستم نیز می‌تواند به راحتی به آن‌ها دسترسی پیدا کند. اما ممکن است مجبور باشید برخی از داده‌های موردنیاز خود را از اشخاص ثالث خریداری نمایید. بااین‌حال، باز هم دسترسی یافتن به بعضی از داده‌ها دشوار است. برای مثال، به‌دست آوردن داده‌های پزشکی که به کمک آن‌ها می‌توان تشخیص پزشکی دقیق‌تری ارائه داد، بسیار سخت است. متأسفانه، این یک حقیقت است و شما باید به آن آگاه باشید. در چنین مواردی می‌توان از داده‌های مصنوعی استفاده کرد. داده‌های مصنوعی داده‌های هستند که به دست انسان تولید می‌شوند. این داده‌ها ممکن است بر پایه داده‌های واقعی باشند یا از صفر تولید شوند. این کار زمانی انجام می‌شود که داده‌های موجود برای آموزش مدل کافی نباشند. روش‌های دیگر به‎دست‌آوردن داده‌های موردنیاز برای آموزش مدل، استفاده از داده‌های رایگان و کمک گرفتن از موتور جست‌وجوی دیتاست‌های گوگل است. به‌علاوه، می‌توانید از ربات‌های خودکار برای جمع‌آوری داده‌هایی که دردسترس عموم قرار دارند، استفاده کنید. برای مثال، این ربات‌ها می‌توانند اطلاعاتی که در صفحات ویکی‌پدیا منتشر شده‌اند را برای شما جمع‌آوری کنند. وقتی از داده‌هایی که در دست دارید و داده‌های موردنیاز خود، آگاه باشید؛ می‌دانید که باید به سراغ کدام دیتاست‌ها بروید.

۲. تخصیص برچسب به داده‌ها

تا چند سال پیش، داده‌های ما اغلب ساختاریافته و متنی بودند، اما امروزه به لطف فناوری اینترنت اشیاء (IoT) بخش بزرگی از داده‌ها در قالب تصاویر و ویدیو در دسترس ما قرار می‌گیرند. این داده‌ها ذاتاً مشکلی ندارند، اما مسئله این‌ است که آموزش بسیاری از سیستم‌هایی که از فرآیندهای یادگیری ماشینی یا یادگیری عمیق استفاده می‌کنند، به‌صورت نظارت‌شده انجام میود و به همین دلیل، این سیستم‌ها نیازمند داده‌های برچسب‌دار هستند. این حقیقت که ما روزانه حجم زیادی داده تولید می‌کنیم، به این مسئله کمکی نمی‌کند. درواقع ما به جایی رسیده‌ایم که نیروی انسانی کافی برای برچسب زدن به داده‌هایی که تولید می‌شوند، نداریم. پایگاه‌های داده‌ای همچون ImageNet داده‌های برچسب‌دار به ما ارائه می‌دهند. این پایگاه داده‌ای حاوی بیش از ۱۴ میلیون تصویر است که همه آن‌ها به‌صورت دستی و توسط اعضای ImageNet تفسیر شده‌اند. متخصصین بینایی ماشین در برخی موارد می‌توانند داده‌های بهتری از داده‌های موجود در ImageNet پیدا کنند، اما از آن‌جا که داده‌های موجود در این پایگاه داده برچسب دارند، اغلب از همین داده‌ها استفاده می‌شود.
چندین روش برای تخصیص برچسب به داده‌ها وجود دارد. می‌توانید این کار را درون شرکت خود انجام دهید یا آن را به سازمان دیگری بسپارید، همچنین می‌توانید داده‌ها را به‌صورت دستی تفسیر کنید یا این کار را به کمک برنامه‌نویسی انجام دهید. هر یک از این روش‌ها مزایا و معایبی دارند که در جدول زیر ذکر شده‌اند.

۳. قابلیت توضیح و تفسیر نتایج

اغلب در مدل‌های «جعبه سیاه»، سیستم هیچ توضیح اضافه‌ای، یک نتیجه نهایی به شما ارائه می‌دهد. اگر نتیجه‌ای که سیستم ارائه می‌دهد با دانسته‌های پیشین شما و نتیجه موردانتظار شما هم‌پوشانی داشته باشد، سؤالی برای شما پیش نمی‌آید. اما اگر نتیجه نهایی متفاوت از دیدگاه شما باشد، چطور؟ در این حالت، قطعاً می‌خواهید بدانید که چرا چنین تصمیم و نتیجه‌ای گرفته شده است. از طرفی، در بسیاری از موارد، تصمیم سیستم به تنهایی کافی نیست. برای مثال، پزشکان نمی‌توانند در زمینه‌ای سلامتی بیماران خود، تنها به پیشنهادی که سیستم به آن‌ها می‌دهد، اکتفا کنند.

هدف پکیج LIME (local interpretable model-agnostic explanations) روشن‌سازی و توضیح نتایج مدل است. بدین ترتیب، اگر سیستم هوش مصنوعی بیماری فرد را آنفولانزا تشخیص دهد، این مدل داده‌هایی که منجر به ارائه این تشخیص شده‌اند را نیز به ما خواهد داد. برای مثال، این مدل می‌گوید نشانه‌هایی چون سردرد و آبریزش بینی منجر به چنین تشخیصی شده نه وزن و سن بیمار. هنگامی که ما از منطق پشت تصمیمات مدل اطلاع پیدا کنیم، می‌توانیم تصمیم بگیریم که تا چه حد به آن اعتماد کنیم.

۴. یادگیری موضوعی

ما انسان‌ها به کمک هوش خود می‌توانیم تجربیاتی که در یک حوزه مشخص کسب کرده‌ایم را به حوزه‌های دیگر تعمیم دهیم. این عمل با نام انتقال آموخته‌ها شناخته می‌شود. انسان قادر است آموخته‌ها و تجربیات خود در یک حوزه را در سایر زمینه‌ها نیز به‌کار بگیرد، اما هوش مصنوعی هنوز در انتقال تجربیاتی که تحت یک شرایط خاص کسب می‌کند، با مشکل مواجه است. از یک سو، این موضوع عادی است، چرا که ما می‌دانیم هوش مصنوعی یک سیستم تخصص‌یافته است، به این معنا که تنها برای انجام یک فعالیت مشخص طراحی می‌شود. بنابراین، از آن‌جا که هر الگوریتم هوش مصنوعی برای پاسخ به یک سؤال خاص طراحی شده، نباید از آن انتظار داشته باشیم که به دیگر سؤالات دشوار نیز پاسخ دهد. اما از سوی دیگر، تجربیاتی که هوش مصنوعی در حین انجام یک فعالیت مشخص کسب می‌کند، می‌تواند در زمان انجام یک فعالیت دیگر نیز مفید واقع شود. آیا می‌توان به جای طراحی یک مدل جدید برای انجام یک فعالیت، از تجربیات مدل قبلی استفاده کرد؟ انتقال آموخته‌ها فرآیندی است که این مهم را امکان‌پذیر می‌سازد. مدل‌های هوش مصنوعی به نحوی آموزش داده می‌شوند که بتوانند پس از انجام یک فعالیت، آموخته‌های خود را در انجام یک فعالیت مشابه اما غیرتکراری نیز به‌کار بگیرد. بدین ترتیب، می‌توانیم از مدلی که برای انجام فعالیت «الف» طراحی شده، به عنوان پیش‌نیاز مدلی که باید برای فعالیت «ب» طراحی شود، استفاده کنیم.

۵. سوگیری

سوگیری مسئله‌ای است که این روزها بسیار موردتوجه قرار گرفته است. هرازگاهی داستان رفتار متعصبانه هوش مصنوعی با زنان یا افراد رنگین پوست، سرتیتر روزنامه‌ها می‌شود. اما این سوگیری از کجا نشأت گرفته است؟ قطعاً هوش مصنوعی قصد بدی ندارد… یا شاید هم دارد؟
پاسخ منفی است. هوش مصنوعی قصد و منظور بدی ندارد. اگر فکر کنیم هوش مصنوعی چنین قابلیتی دارد، به این معناست که هوش مصنوعی را دارای اراده و قدرت انتخاب فرض کرده‌ایم. اما درواقع، تصمیمات هوش مصنوعی بر پایه داده‌ها و اطلاعاتی است که به آن داده شده و خود به تنهایی هیچ نظر و عقیده‌ای ندارد، بلکه از باورها و اعتقادات دیگران می‌آموزد و همین جاست که سوگیری‌ها شکل می‌گیرند.
سوگیری ممکن است دلایل مختلفی داشته باشد، اما منشاء اصلی آن، نحوه جمع‌آوری داده‌ها است. اگر پرسش‌نامه‌ای که برای جمع‌آوری داده طراحی کرده‌اید را در یک مجله به چاپ برسانید، جامعه نمونه شما محدود به مخاطبین آن مجله خواهد بود. در چنین مواردی، نمی‌توان دیتاست حاوی پاسخ‌ها را نماینده کل جامعه دانست.
یکی دیگر از عواملی می‌تواند منجر به سوگیری داده‌ها شود، نحوه بررسی آن‌هاست. وقتی افراد حاضر در نمونه از سیستم‌هایی استفاده می‌کنند که ویژگی‌های موردعلاقه آن‌ها را دارد، به این معناست که بسیاری از ویژگی‌های دیگر را نادیده گرفته و استفاده نمی‌کنند. در چنین مواردی، هوش مصنوعی نمی‌تواند درخصوص ویژگی‌هایی که کاربرد کمتری داشته‌اند، چیزی بیاموزد.
یک مورد دیگر را نیز باید به عنوان عامل چنین سوگیری‌های درنظر گرفت. مردم! مردم منشاء و سرچشمه داده‌ها هستند. این مردم کسانی هستند که دروغ می‌گویند و شایعه‌پراکنی می‌کنند. مدل هوش مصنوعی که شرکت آمازون برای استخدام کارمندان جدید طراحی کرده بود، درنهایت سوگیری‌های جنسیتی از خود نشان داد. از آن‌جا که نیروی کار بخش فنی این شرکت اکثراً مرد بودند، این سیستم آموخته بود که داوطلبان مرد برای این شغل مناسب‌ترند و به همین دلیل، به رزومه‌هایی که حاوی واژه «خانم» بودند و داوطلبانی که از دانشگاه‌های دخترانه قارغ‌التحصیل شده بودند، امتیاز منفی می‌داد.

۶. مقابله با خطاهای مدل

هوش مصنوعی از خطا و اشتباه مصون نیست. دروغ‌ها یا تعصبات انسانی به الگوریتم‌هایی که توسط او طراحی شده‌اند، نفوذ می‌کند و به ایجاد سوگیری در نتایج نهایی منجر می‌شوند. همان‌طور که پیش‌تر نیز گفتیم، دلایل زیادی برای ایجاد سوگیری در دیتاست‌ها وجود دارد. چنین مسائلی ممکن است درنهایت منجر به کاهش دقت نتایج ارائه شده توسط هوش مصنوعی شوند.
«استدلال اشتباه» یکی دیگر از خطاهای هوش مصنوعی است. با پیشرفته‌تر شدن سیستم‌های هوش مصنوعی، درک فرآیندهایی که درون شبکه اتفاق می‌افتند، سخت‌تر می‌شود. بنابراین، وقتی خطایی در سیستم هوش مصنوعی رخ می‌دهد، شناسایی دقیق منشاء آن خطا دشوار خواهد بود. حال درنظر بگیرید این خطا در سیستم یک اتومبیل خودران رخ دهد؛ اتومبیلی که می‌خواهد تصمیم بگیرد دور بزند یا یک انسان را زیر کند! خوش‌بختانه، دانشمندان آزمون جعبه سفید را برای سیستم‌های یادگیری عمیق طراحی کرده‌اند. در این روش، با دادن تعداد زیادی ورودی به یک شبکه عصبی، آن را مورد آزمایش قرار می‌دهیم و بدین ترتیب، می‌توانیم پاسخ‌های اشتباه آن را پیدا کرده و اصلاح کنیم.
اما آیا همه اشتباهات سیستم هوش مصنوعی تا این حد خطرناک هستند؟ پاسخ منفی است. اشتباهات هوش مصنوعی همیشه خطرناک نیستند. میزان خطر این اشتباهات به کارکرد سیستم بستگی دارد. وقتی سیستم هوش مصنوعی در امور مربوط به امنیت سایبری، امور نظامی و وسایل‌نقلیه به‌کار گرفته شود، اشتباهات آن اهمیت و خطر بیشتری خواهند داشت. اما وقتی سیستم از میان یک مرد و یک زن با توانایی‌ها مشابه، مرد را انتخاب کند، ما با یک مسئله اخلاقی روبه‌رو هستیم. البته برخی از این اشتباهات نیز بسیار ساده‌لوحانه هستند. برای مثال، در مقاله‌ای که در سال ۲۰۱۵ در مجله وایرد به چاپ رسید، به خطای یک سیستم هوش مصنوعی اشاره شده بود. وقتی به این سیستم هوش مصنوعی تصویری راه‌راه و زرد و مشکی نشان دادند، سیستم نتیجه گرفت که این تصویر یک اتوبوس مدرسه است و ۹۹% مطمئن بود که نتیجه‌گیری درستی ارائه داده است. اما حدس این سیستم در مورد آن تصویر کاملاً اشتباه بود.
بنابراین، برای اطمینان از این‌که خطاهای سیستم هوش مصنوعی که طراحی می‌کنیم، چندان مهم و حیاتی نیستند، باید ۲ موضوع را مدنظر قرار دهیم: کیفیت ورودی‌ها و انجام آزمون‌های مناسب.

افراد

۷. اطلاعات محدود کارمندان غیر فنی در حوزه هوش مصنوعی

به‌کارگیری فن‌آوری هوش مصنوعی نیازمند این است که مدیران سازمان درک عمیق‌تری از ماهیت کنونی فن‌آوری‌های مبتنی بر هوش مصنوعی و توانایی‌ها و محدودیت‌های آن داشته باشند. متأسفانه، امروزه افسانه‌ها هوش مصنوعی را احاطه کرده‌اند، از مسائل پیش‌پاافتاده‌ای چون تشکیل یک تیم متخصص داده (افراد متخصص در این حوزه اکثراً برای شرکت‌های فیس‌بوک، آمازون و گوگل کار می‌کنند، چطور می‌توان با این شرکت‌ها رقابت کرد؟) گرفته، تا افکار علمی-‌تخیلی درباره پایان زندگی انسان‌ها به دست ربات‌ها. در بسیاری از حوزه‌ها، نداشتن دانش و اطلاعات کافی درخصوص هوش مصنوعی مانع از به‌کارگیری این فن‌آوری شده است. یکی دیگر از اشتباهاتی که در اثر نداشتن درک درست از هوش مصنوعی رخ می‌دهد، تعیین اهداف غیرقابل‌درسترس و غیرممکن است.
برای پیدا کردن یک راه‌حل برای مشکلات و مسائل مروبط به کسب‌وکار، باید آموزش ببینید. شاید این موضوع انگیزه شما را از بین ببرد، اما منظور ما از آموزش دیدن، تبدیل شدن به یک دانشمند داده نیست. تنها کافی است کمی بیشتر با صنعتی که در آن فعالیت دارید، آشنا شوید، بازیگران اصلی آن صنعت را زیرنظر بگیرید و کاربردهایی که برای هوش مصنوعی تعریف کرده‌اند را بررسی کنید. به این ترتیب و با کسب اندکی دانش و شناخت قابلیت‌ها و محدودیت‌های هوش مصنوعی، مدیریت انتظارات آسان‌تر خواهد شد.

۸. کمبود متخصص در حوزه هوش مصنوعی

به‌منظور موفقیت در طراحی یک راه‌حل مبتنی بر هوش مصنوعی، شما باید علاوه بر دانش فنی، درک کافی از حوزه کسب‌وکار نیز داشته باشید. متأسفانه، اغلب افراد تنها در یکی از این حوزه‌ها دانش کافی دارند. به‌طورمعمول، مدیرعامل و سایر مدیران یک سازمان دانش فنی لازم برای به‌کارگیری هوش مصنوعی را ندارند و اکثر دانشمندان و متخصصین داده نیز علاقه‌ای به شناخت و بررسی کاربردهای مدل خود در دنیای واقعی ندارند. شمار متخصصان هوش مصنوعی که می‌دانند چگونه می‌توان یک فن‌آوری را در یک کسب‌وکار خاص به‌کار گفت، بسیار اندک است.
شرکت‌هایی که عضوی از گروه FAMGA (که متشکل از شرکت‌های فیس‌بوک، اپل، مایکروسافت، گوگل و آمازون است) نباشند، برای استخدام افراد با استعداد در این حوزه با مشکلات زیادی مواجهند و حتی اگر بتوانند یک تیم هوش مصنوعی در داخل سازمان خود تشکیل دهند، نمی‌توانند با اطمینان بگویند که افراد درستی را برای این تیم استخدام کرده‌اند. شما بدون داشتن دانش فنی کافی از هوش مصنوعی، نمی‌توانید کیفیت راه‌حل‌هایی که تیم هوش مصنوعی ارائه می‌دهند را ارزیابی کنید. شرکت‌های متوسط یا کوچک ممکن است به‌دلیل محدودیت منابع مالی، نتوانند راهی برای استفاده از هوش مصنوعی در سازمان خود پیدا کنند. البته، درحال‌حاضر برون‌سپاری و سپردن پروژه‌های هوش مصنوعی به تیم‌های متخصص داده در خارج از شرکت، گزینه مناسبی است.

کسب‌وکار

۹. عدم تطابق کسب‌وکارها

همان‌طور که در نمودار ابتدای این مقاله ملاحظه کردید، در فرهنگ شرکت‌ها چیزی به عنوان هوش مصنوعی تعریف نشده و شناسایی کاربردهای هوش مصنوعی در کسب‌وکارهای مختلف، یکی از بزرگ‌ترین موانع بر سر راه به‌کارگیری هوش مصنوعی است. مدیران کسب‌وکار برای شناسایی کاربردهای هوش مصنوعی در سازمان خود باید درک عمیقی از فن‌آوری‌های مبتنی بر هوش مصنوعی و توانایی‌ها و محدودیت‌های آن داشته باشند. نداشتن دانش و اطلاعات کافی درخصوص هوش مصنوعی مانع از به‌کارگیری این فن‌آوری در بسیاری از سازمان‌ها شده است.
اما مسئله دیگری نیز در این میان وجود دارد. برخی از شرکت‌ها با خوش‌بینی زیاد و بدون داشتن استراتژی روشن و دقیق، وارد عرصه هوش مصنوعی می‌شوند. استفاده و بهره‌برداری از هوش مصنوعی نیازمند داشتن رویکردی راهبردی، هدف‌گذاری دقیق، شناسایی شاخص‌های کلیدی عملکرد و تحت نظر گرفتن میزان بازگشت سرمایه است. در ‌صورت نادیده گرفتن هر یک از این موارد، نمی‌توانید نتایج حاصل از پروژه هوش مصنوعی خود را ارزیابی کنید، یا آن‌ها را با فروض ابتدایی خود مقایسه کنید و میزان موفقیت یا شکست خود در این سرمایه‌گذاری را بسنجید.

۱۰. ارزیابی ارائه‌دهندگان

همان‌طور که پیش‌تر و در موضوع استخدام متخصصین داده نیز گفتیم، اگر دانش فنی کافی درباره هوش مصنوعی نداشته باشید، به‌سادگی فریب می‌خورید. به‌کارگیری هوش مصنوعی در کسب‌وکار، یک عرصه نوظهور است که احتمال آسیب‌پذیری در آن بالاست، زیرا بسیاری از شرکت‌ها در بیان تجربیات و دست‌آوردهای خود غلو می‌کنند، درحالی‌که در واقعیت ممکن است اصلاً ندانند که چطور می‌توان از هوش مصنوعی در حل مسائل حوزه کسب‌وکار استفاده کرد. به این ترتیب، یکی از راه‌هایی که برای شناسایی رهبران دنیای هوش مصنوعی پیش روی شما این است که به وب‌سایت‌های همچون Clutch مراجعه کنید تا بتوانید دست‌آوردهای شرکت‌های مختلف را مشاهده و بررسی نمایید. یک راه دیگر، برداشتن قدم‌های کوچک به سمت دنیای هوش مصنوعی است. برای مثال، می‌توانید از یکی از ارائه‌دهندگان خوش‌آتیه خود در حوزه هوش مصنوعی بخواهید که برای شما یک کارگاه برگزار کند. بدین ترتیب، قابلیت‌ها و توانایی‌های آن‌ها برای شما روشن خواهد شد و متوجه خواهید شد که آیا شرکت مذکور درک درستی از کسب‌وکار شما دارد؟، آیا مهارت‌های لازم برای کمک به شما را دارد؟ و آیا می‌داند که چطور مشکلات شما را حل کند؟

۱۱. چالش‌های یکپارچه‌سازی

یکپارچه‌سازی سیستم کنونی یک شرکت با هوش مصنوعی، فرآیندی بسیار پیچیده‌تر از نصب یک افزونه در مرورگر است. در شناسایی نیازهای کسب‌وکار خود باید عوامل و عناصر مختلفی را درنظر بگیرید. البته برخی از ضوابط نیز انعطاف‌ناپذیرند. به این منظور، باید ویژگی‌ها و نیازهای زیرساخت‌های داده‌ای شرکت و نحوه ذخیره‌سازی داده‌ها، برچسب‌زنی و دادن داده‌ها و اطلاعات به سیستم را مدنظر قرار دهیم. پس از آن به مرحله آموزش مدل می‌رسیم و مدل هوش مصنوعی را از لحاظ تأثیرگذاری آزمایش می‌کنیم، یک حلقه بازخورد ایجاد می‌کنیم تا عملکرد مدل به‌طور مداوم و براساس کنش‌های افراد بهبود پیدا کند و از داده‌ها نیز نمونه‌گیری می‌کنیم تا علاوه‌ بر حفظ کیفیت و دقت خروجی‌ها، از میزان داده‌های ذخیره شده کاسته شده و سرعت اجرای مدل افزایش یابد. اما چگونه می‌توان اطمینان حاصل کرد که یک پروژه به نتیجه می‌رسد و ارزش سرمایه‌گذاری دارد؟
برای مواجهه با چالش‌هایی که ممکن است در مسیر یکپارچه‌سازی با آن‌ها مواجه شوید، باید با شرکت‌های ارائه‌دهنده خود مشارکت داشته باشید تا همه به درک درستی از این فرآیند برسند. همچنین، تخصص شرکت‌های ارائه‌دهنده نباید تنها در زمینه مدل‌سازی باشد. اگر سیستم هوش مصنوعی قدم به قدم و به صورت استراتژیک در سازمان پیاده‌سازی شود، احتمال شکست آن کاهش می‌یابد. پس از موفقیت در فرآیند یکپارچه‌سازی هوش مصنوعی و سیستم شرکت، افراد باید برای استفاده از این مدل جدید آموزش ببینند. مسائلی چون نحوه دریافت خروجی از مدل و تفسیر نتایج باید به کارمندان آموزش داده شود. شرکت ارائه‌دهنده خدمات هوش مصنوعی که با شما همکاری می‌کند، باید نحوه کار با مدل و توسعه آن را به شما بیاموزد.

۱۲. مسائل قانونی

در مقالات پیشین به مسائل قانونی که باید برای پیاده‌سازی سیستم هوش مصنوعی در یک شرکت مدنظر قرار داد، پرداختیم. نظام‌های قانونی ما نتوانسته‌اند همگام با فن‌آوری‌ها قدم بردارند و به همین دلیل، فن‌آوری‌های جدید با ابهامات زیادی در حوزه‌های قانونی مواجهند. اگر هوش مصنوعی به اموال دیگران آسیب وارد کند یا به یک انسان صدمه بزند، چه کسی باید مسئولیت آن را به عهده بگیرد؟ شخصی که به آن سیستم دستور داده یا شرکتی که مدل هوش مصنوعی را طراحی کرده است؟ درحال‌حاضر، هیچ قانونی وجود ندارد که برای ما روشن سازد که در چنین مواردی، چه اقدامی باید صورت بگیرد. علاوه براین، براساس مقرراتی که توسط اتحادیه اروپا و تحت نام مقررات عمومی حفاظت یا GDPR تصویب شده، داده‌ها نوعی کالا درنظر گرفته می‌شوند که باید به درستی مورداستفاده قرار گیرند. این قوانین چالش‌هایی در حوزه جمع‌آوری داده ایجاد می‌کند. چه داده‌هایی را می‌توان جمع‌آوری کرد؟ از چه روش‌هایی می‌توان برای جمع‌آوری داده‌ها استفاده کرد؟ و چگونه می‌توان هم‌راستا با قوانین GDPR از کلان داده‌ها استفاده کرد؟
یکی دیگر از مشکلاتی که در حوزه هوش مصنوعی با آن‌ مواجهیم، داده‌هایی هستند که حساسیت آن‌ها برای ما قابل لمس نیست. استفاده از این داده‌ها از نظر قانونی مشکلی ندارد، اما می‌تواند به شرکت شما آسیب بزند. به‌طورکلی، هرگونه اطلاعاتی که درز کردن آن به بیرون از شرکت، موقعیت شما را تهدید کند، باید در دسته داده‌های حساس و محرمانه قرار گیرد. برای مثال، فرض کنید اطلاعات مربوط به دوره‌های آموزشی که برای کارمندان خود برگزار می‌کنید، به بیرون درز کند؛ این مسئله به‌نظر تهدیدآمیز نمی‌آید،‌ اما اگر برفرض دوره آموزشی برای مقابله با قلدری در محیط کار برگزار کرده باشید، ممکن است منجر به برداشت‌های اشتباه و سوتفاهم شده و به کسب‌وکار شما آسیب بزند.
چگونه با چالش‌های به‌کارگیری هوش مصنوعی مواجه شویم؟
باید این نکته را به‌خاطر داشته باشید که شما نمی‌توانید به تنهایی از پس همه این مشکلات بر بیایید. اما اولین قدم شما برای مقابله با آن‌ها، آشنایی بیشتر با هوش مصنوعی است تا بتوانید فرآیندهای مختلف را بهتر درک کنید. پس از این که یک استراتژی مبتنی بر هوش مصنوعی طراحی کردید، باید مسائل و مشکلاتی که بر سر راه‌تان قرار دارند را شناسایی کنید. با داشتن یک استراتژی و رویکرد دقیق و جزئی، فرآیند پیاده‌سازی هوش مصنوعی در سازمان شما بسیار آسان‌تر خواهد شد. آیا طی کردن این مسیر بدون برخورد با موانع ممکن است؟ پاسخ منفی است. هیچ‌چیز ۱۰۰% عالی و بی نقص نیست. اما کسب آمادگی برای مواجهه با مشکلاتی که ممکن است با آن‌ها مواجه شوید، مزیت بزرگی برای شما به‌حساب می‌آید.

منبع: hooshio.com

اشکال ‌زدایی از مدل یادگیری ماشینی

مقدمه

فرض می‌کنیم یک مدل یادگیری ماشینی (ML) آموزش داده‌اید. همه مراحل را نیز به درستی انجام داده‌اید. مدل شما از دقت و ثبات بسیار خوبی برخوردار است و می‌تواند عملکردی بهتر از مدل خطی برجای بگذارد. شما حتی مدل‌تان را در جعبه «Docker» قرار داده‌اید و همه ابزارها و وابستگی‌های نرم افزاری و فن‌آوری اطلاعات درون آن قرار دارد. حتما الان هم قصد استفاده از آن دارید؟ خب، عجله نکنید. بحث اشکال ‌زدایی همچنان باقی مانده است.
بهترین راهکارهای آموزش اشکال ‌زدایی و ارزیابی مدل‌های یادگیری ماشین که در حال حاضر موجود می باشند تنها بر این نکته تاکید ندارند که چگونه مشکلات را در مسائل دنیای واقعی شناسایی کرده و به حل آنها بپردازیم. ای کاش اشکال ‌زدایی از این سیستم ها مانند نرم افزارهای عادی دیگر به سادگی فشردن دکمه اشکال زدایی از کیبورد بود. اشکال ‌زدایی از مدل یک مرحله مهم و اساسی است که به آزمایش و بررسی مدل‌های پیچیده یادگیری ماشین، توابع پاسخ دهنده و مرزهای تصمیم‌گیری آن پرداخته است. هدف از این کار، شناسایی و تصحیح مسائل مربوط به دقت، انصاف و امنیت در سیستم‌های یادگیری ماشینی است.

 نکات مختصری درباره اطمینان (TRUST) و فهم (UNDERSTANDING)

فهم و اطمینان در یادگیری ماشینی شبیه به هم‌اند، ولی دو مفهوم یکسان نیستند. بررسی تفاوتِ میان آن دو مرا به یاد اشکال ‌زدایی از مدل و نحوه ارتباط آن با سایر بخش‌های گردش کاری یادگیری ماشینی می‌اندازد. همان‌طور که در شکل شماره ۱ ملاحظه می‌کنید، امروزه ابزارهای گوناگونی برای ارتقای اطمینان و فهمِ ما انسان‌ها از یادگیری ماشینی وجود دارد. برخی از روش‌ها مثل اشکال ‌زدایی از مدل و آزمایش یا کاهش سوگیری اجتماعی به ما کمک می‌کنند تا مدل‌های یادگیری ماشینیِ دقیق، منصفانه و امن‌تری را بسازیم؛ البته بدون اینکه بدانیم دقیقا این مدل چگونه کار میکند. این اقدامات بیشتر از آنکه درک ما را نسبت به مدل افزایش دهند باعث می شود تا اطمینان ما نسبت به عملکردش افزایش یابد. روش‌های دیگر مثل مدل‌های یادگیری ماشینی قابل‌تفسیر می‌توانند درک ما را به طور مستقیم با آشکار ساختن سازوکارهای مدل یا با خلاصه‌سازی تصمیمات مدل افزایش ‌دهند. این روش‌ها در صورتی که مدل یا توضیحات خوبی در اختیارمان بگذارند، اطمینان ما را نیز افزایش می‌دهند.

شکل ۱ اشکال ‌زدایی از مدل یادگیری ماشینی : امروزه مدل‌های زیادی وجود دارند که فهم و اطمینان ما را از سیستم‌های یادگیری ماشینی افزایش می‌دهند. برخی از مدل‌ها به‌طور مستقیم به افزایش درک ما از روند تصمیم گیری مدل کمک می کنند حال آنکه بقیه آنها بیشتر به اطمینان ما از مدل کمک می‌کنند.

مقاله حاضر از دیدگاه ریاضی به بررسی جنبه‌های اشکال ‌زدایی یادگیری ماشینی و افزایش اطمینان در یادگیری ماشینی خواهد پرداخت. هرچند، باید به دو جنبۀ دیگرِ گردش کاریِ یادگیری ماشینی نیز توجه ویژه ای نمود:
• افزایش درک یادگیری ماشینی
• آزمایش و تحکیم سیستم‌های فن‌آوری اطلاعات مبتنی بر یادگیری ماشین
حتی اگر اطمینان و دقت برای شما ارزشی بیشتر از انصاف، تفسیرپذیری یا امنیت دارد، باید بدانید اینکه مدل‌های یادگیری ماشین هر چقدر توسط شما به مدل قابل‌ درک تری مبدل شود باعث می شود تا اپراتور  سیستم به شناخت بهتری نسبت به آن برسد و در زمان مناسب تصمیمات اشتباه سیستم را تصحیح کند. اگر مدل و منطق درونی آن را به عنوان جعبه سیاهدر نظر بگیریم، سخت می توان عملکرد آن را به چالش کشید. برای مثال اگر سیستم آموزشی مبتنی بر مدل های هوش مصنوعی را در نظر بگیرید، دوست ندارید فرزندتان به خاطر یک مدل یادگیری ماشینی دقیق امّا غیرقابل فهم، فرصت حضور در دانشگاه مورد علاقه‌اش را از دست بدهد. یا به طور مشابه، مطمئناً دوست ندارید در زمان استفاده از سیستم خدمات پزشکی مبتنی بر هوش مصنوعی، توسط مدل یکسانی رد شوید. گزینه ای که ممکن است در این موارد برای شما جذاب تر باشد، این است که بتوانید به تصحیح اشتباهات مدل یادگیری ماشینی بپردازید، به همین دلیل مدل هایی که تصمیم گیری حساسی در زندگی و کار بر عهده دارند باید قابل درک باشند. همان طور که در شکل شماره ۲ مشاهده می‌کنید، مراحل افزایش درک و اطمینان در سیستم‌های یادگیری ماشینی به تصویر کشیده شده است. اشکال ‌زدایی از مدل زمانی به بهترین نحو عمل می‌کند که به همراه سایر روش‌هایِ پیشنهاد شده در شکل ۲ مورد استفاده قرار بگیرد. در حال حاضر احتمالا بسیاری از شما، آزمایش و تحکیم سیستم‌های سرویس دهنده مبتنی بر یادگیری ماشینی را به خوبی یاد دارید. صرفاً به این دلیل که سیستم از مدل یادگیری ماشینی بهره می‌برد، بدین معنا نیست که مشمول آزمایش نمی‌شود. علاوه‌براین، شرکت گوگل (و احتمالاً چند شرکت دیگر) چارچوب‌های عملی خوبی در خصوص این موضوع ارائه کرده‌اند.

شکل ۲ اشکال ‌زدایی از مدل یادگیری ماشینی : این گردش کاری یادگیری ماشینی می‌تواند اطمینان و درک را افزایش دهد.

اکنون بگذارید نحوۀ اشکال‌ زدایی از مدل‌های یادگیری ماشینی را توضیح دهیم. در ابتدا به بحث درباره مسئله نمونه و دیتاست استفاده شده در این مقاله خواهیم پرداخت. چگونگی شناسایی باگ‌ها و فائق آمدن بر آنها نیز در بخش‌های بعدی مقاله بررسی خواهد شد.

مسئله نمونه به همراه مجموعه‌داده

برخی از نمونه‌های مطرح شده در بخش زیر برپایۀ مجموعه‌داده‌های مشهور کارت اعتباری تایوانی هستند که از منبع یادگیری ماشینی دانشگاه کالیفرنیا گردآوری شده‌اند. ما در این مجموعه داده می‌خواهیم پیش‌بینی کنیم که کدام صاحبان کارت اعتباری در آینده اقدام به پرداختشان محتمل تر است. متغیرهای این پروژه به شرح زیر است:
در اینجا DEFAULT_NEXT_MONTH = 0 یا به صورت پیش فرض, DEFAULT_NEXT_MONTH = 1 قرار می دهیم.
متغیرهای مربوط به پرداخت برای تولید میزان احتمالِ پرداخت یا عدم پرداخت صاحب کارت استفاده می‌شوند که با p_DEFAULT_NEXT_MONTH در مسئله نشان داده می شوند. ما در مقاله حاضر از الگوریتم (M-GBM) monotanically constrained gradient boosting machine برای انجام این نوع پیش‌بینی‌ها استفاده می‌کنیم. p_DEFAULT_NEXT_MONTH باید تنها زمانی در M-GBM افزایش یا کاهش پیدا کند که متغیر ورودی معینی افزایش یابد. همین موضوع سبب سهولت در توضیح و اشکال‌ زدایی از مدل می‌شود و بر دقت کلی مدل در این مجموعه‌داده تاثیر نمی‌گذارد. M-GBM با متغیرهای پرداخت مثل PAY_0 — PAY_6، PAY_AMT1 — PAY_AMT6 یا BILL_AMT1 — BILL_AMT6 آموزش داده می‌شود. کلیه مبالغ بر اساس دلار تایوان گزارش شده‌اند (NT$).

برخی از نتایجِ این مثال حاوی متغیرهایِ LIMIT_BAL و r_DEFAULT_NEXT_MONTH می‌باشند. LIMIT_BAL همان محدودیت اعتبار مشتری می باشد. r_DEFAULT_NEXT_MONTH که در یادگیری ماشین به نام خطای لگاریتمی باقی‌مانده‌ها شناخته می شود و معیار عددی می باشد که فاصله پیش‌بینیِ M-GBM از جواب صحیح را نشان می دهد. ما در این مجموعه از متغیرهای جمعیت‌شناختیهمچون جنسیت در این مجموعه‌داده استفاده خواهیم کرد تا سوگیری های ناخواسته که تحت تاثیر جامعه منتخب در داده ها پیش می آید را بسنجیم. مقاله حاضر مسئله اعتباردهی را به عنوان یک فعالیت مدل‌سازیِ پیش‌بینی‌گرمورد بررسی قرار می‌دهد.

راهبردهای شناسایی

چطور می‌توان باگ‌های ریاضی را در مدل‌های یادگیری ماشینی پیدا کرد؟ ما دستکم چهار روش کلی برای شناسایی باگ‌ها می‌شناسیم:  تحلیل حساسیت، تحلیل باقی‌مانده،  مدل‌های بنچ‌مارک، و اعتبارسنجی ضریب اطمینان یادگیری ماشینی شاید روش‌های دیگری هم به ذهن شما خطور کند.

تحلیل حساسیت

روش تحلیل حساسیت که از آن به عنوان روش تحلیلی «What-if» نیز یاد می شود، بر اساس ایده‌ای قوی و ساده پایه گذاری شده است. فقط داده‌ها را در سناریوهای مهم تر شبیه‌سازی کنید تا متوجه بشوید که مدل‌تان چه نوع پیش‌بینی‌هایی در آن سناریوها انجام می‌دهد. زیرا پیش بینی واکنش مدل یادگیری ماشینی غیرخطی در برابر داده‌هایی که در طول آموزش با آنها مواجه نشده، غیرممکن است. از این حیث پیاده‌سازیِ تحلیل حساسیت در مدل یادگیری ماشینی حائز اهمیت فراوانی می‌باشد. شاید شما ایده‌ها و پیشنهادهای خوبی در خصوص آزمایش سناریوهای مختلف در ذهن داشته باشید و صرفا به دنبال سناریوهای مختلفی می گردین که بتوانید مدل خود را مورد آزمایش قرار بدهید. اگر این‌طور باشد، لطفاً همین الان دست به کار شوید و ایده‌های خود را به مرحله اجرا در بیاورید. در همین راستا، استفاده از ابزار What-If-Tool بسیار کارآمد خواهد بود. این ابزار می‌تواند زمینه را برای دسترسی به روشی ساماندهی‌شده در تحلیل حساسیت فراهم آورد. بخش زیر به معرفی سه راهبرد برای تحلیل حساسیت ساماندهی‌شده خواهد پرداخت:

وابستگی جزئی،انتظار شرطی  (ICE)، و نمایش تاثیر محلی تجمعی  (ALE)

• جستجوی نمونه‌های تخاصمی
• حملات تصادفی
قبل از اینکه با سازوکار هر کدام از این موارد آشنا شوید، باید بدانید که کدام متغیرها بیشترین تاثیر را درمدل شما دارند. ما همواره در انجام کارهای آزمایش بر روی این متغیرهای مهم تمرکز می‌کنیم. شکل شماره ۳ اهمیت متغیرها را با توجه به مقدار sharpley value در قالب یک نمودار به تصویر کشیده است. بدین منظور از XGBoost استفاده شده است. شکل ۳ به ما نشان می‌دهد که PAY_0 اهمیت زیادی دارد. در بخش‌های بعدی بیشتر به اهمیت آن پی خواهید برد.

شکل ۳ اشکال ‌زدایی از مدل یادگیری ماشینی : نمودار دقیقِ اهمیت متغیر برای مدل M-GBM با متغیرهای موجود در مجموعه‌دادۀ کارت اعتباری

 وابستگی جزئی ، انتظار شرطی (ICE)، و نقشه‌های تاثیر محلی تجمعی (ALE)

کار وابستگی جزئی تنظیم کلیه مقادیر ستونهای مورد نظر (مثل PAY_o) در مجموعه‌داده دلخواه مانند دیتاست اعتبارسنجی بر روی مقدار دلخواه (مثلا مقدار NaN یا خالی) و یا هر مقدار منطقی دیگر است. این مدل بعد از آموزش با مجموعه‌داده جدید، به اجرا در آمده و در هر ردیف اقدام به پیش‌بینی می‌کند. مقداری که بعد از گرفتنِ میانگینِ همه آن پیش‌بینی‌ها به دست می آید به منزلۀ وابستگی جزئی به ازای آن مجموعه‌داده، آن مقدار و آن مدل است. اکنون می‌توان این فرایند را با مقادیر مختلف انجام داد تا سرانجام از منحنی وابستگی جزئی خروجی بگیریم. نمودارِ شکل ۴ رفتار متوسط PAY_o را در مدل M-GBM نشان می‌دهد.
با وجود این که درک وابستگی جزئی کار چندان دشواری نیست، اما باید بدانید که این روش چندان هم روش کاملی نیست. در زمانهایی که هم‌بستگی‌ بین متغیرها در مجموعه‌داده زیاد باشد، نتایج غیر‌قابل اطمینانی به دست می‌آید. خوب حداقل می توانیم با دو گزینه به نام ALE و ICE نتایج وابستگی جزئی را بهبود ببخشیم. ALE را تقریبا می توان به صورت یک جایگزین مستقیم برای معیار وابستگی جزئی استفاده کرد. محاسبه این معیار به لحاظ پیچیدگی محاسبات به صرفه تر و از لحاظ کارآیی دقیق تر است. ALE در زبان برنامه نویسی R نظیر ALEPlot، DALEX و iml در دسترس می باشد.
ICE غالباً به همراه وابستگی جزئی مورد استفاده قرار می‌گیرد. محاسبه ICE بسیار مشابه با وابستگی جزئی می باشد. دقیقا طبق مراحل توضیح داده شده پیش می روید فقط توجه داشته باشید که مجموعه‌داده دلخواه فقط یک ردیف را شامل ‌شود. وقتی منحنی‌های ICE با رفتار میانگینی که وابستگی جزئی نشان می‌دهد همراه باشد، می‌توان حدس زد که وابستگی جزئی از دقت کافی برخوردار است. اگر منحنی‌های ICE نسبت به وابستگی جزئی واگرا شود ، می‌توان این چنین برداشت کرد که برهم‌کنش‌هایی در مدل وجود دارد. در کل، ICE می‌تواند اطلاعات خوبی درباره رفتار افراد واقعی یا شبیه‌سازی شده در مدل در اختیارمان بگذارد؛ البته به این شرط که وابستگی جزئی قابل‌اطمینان باشد و ما نیز به دنبال برهم‌کنش‌های قوی در مدل باشیم. ترکیب‌ها و انواع مختلف وابستگی جزئی و ICE در چندین بسته منبع باز وجود دارد که از جمله آنها می‌توان به PDFbox، PyCEboc، ICEbox و pdp اشاره کرد.
شکل ۴ به ادغام وابستگی جزئی، ICE و یک هیستوگراممی‌پردازد تا بینش خوبی درباره مهم‌ترین متغیر PAY-o در مدل M-GBM فراهم کند. در ابتدا می‌بینیم که داده‌های آموزشیِ PAY_o پراکنده است. این پراکندگی معمولاً نشانه خوبی نیست. مدل‌های یادگیری ماشینی به حجم بالایی از داده برای یادگیری نیاز دارند. این مدل تقریباً هیچ داده‌ای درباره افرادی که بازپرداخت‌شان یک ماه به تعویق افتاده است، ندارد. مطابق با وابستگی جزئی، می‌توان به وجود چند مسئله بالقوه دیگر پی برد. از دید امنیتی، با خطراتی مواجه هستیم. اگر خواهان امتیاز خوبی از این مدل هستیم، شاید لازم باشد فقط یک نمونه تخاصمی را هک کنیم. همچنین نوسان بزرگی در پیش‌بینی‌ها از PAY_0=1 تا PAY_0=2 وجود دارد. آیا این کار از دید کسب‌وکار منطقی است؟ شاید منطقی باشد، اما باید از دید امنیتی نسبت به آن آگاهی کافی بدست بیاوریم. اگر بخواهیم عملیات   «حمله منع سرویس» را برای یکی از کاربران این مدل به اجرا دربیاوریم، باید مقدار PAY_o را به بیشتر از ۱ افزایش دهیم. در این مدل باید به همکاران فن‌آوری اطلاعات بگوییم که بر حملات نمونه تخاصمی نظارت داشته باشند. در این حملات، شاهدِ PAY_0 = NaN and PAY_0 > 1 هستیم. همچنین، اگر بازار به سمت رکود حرکت کند و قبض پرداخت‌نشدۀ مشتریان زیاد باشد، باید به این نکته توجه کرد که M-GBM حساسیت بالایی در برابر مقادیرِ PAY_0 > 1 دارد.

شکل ۴ اشکال ‌زدایی از مدل یادگیری ماشینی : هیستوگرام، وابستگی جزئی و ICE برای PAY_0.

نکته اطمینان‌بخش این است که منحنی‌های ICE وابستگی جزئی نشان می‌دهند که مولفۀ یکنواختی در PAY_0 در مقدار میانگین حفظ می‌شود. خوشبختانه، مولفه‌های یکنواختی این فرصت را به ما می‌دهند تا با مسئله پراکندگی داده‌ها نیز به خوبی مقابله کنیم. به دلیل وجود مولفه‌های یکنواختی، مدل توانست احتمال را از PAY_0 = 2 به PAY_0 > 8 (جایی که خبری از داده‌های آموزشی نیست) هدایت کند. پیش‌بینی‌های مدل در PAY_0 در صورت نبودِ این مولفه صرفاً نویز تصادفی قلمداد خواهند شد. درنهایت، چون ICE و وابستگی جزئی تا حدود زیادی همتراز هستند، می‌توان دید که منحنی وابستگی جزئیِ PAY_0، این مجموعه داده و مدل M-GBM تا حدود زیادی قابل اطمینان است. اکنون باید همین تحلیل را برای سایر متغیرهای مهم انجام دهیم. حالا وقت آن رسیده که درباره جستجوهای نمونه تخاصمی، راهبرد اشکال ‌زدایی و تحلیل حساسیت بعدی به بحث بپردازیم.

جستجوی نمونه تخاصمی

نمونه‌های تخاصمی به ردیف‌هایی از داده گفته می‌شود که باعث می‌شوند مدل به تولید نتایج غیرمنتظره بپردازد. جستجوی نمونه‌های تخاصمی یکی از روش‌های عالی برای اشکال ‌زدایی محسوب می‌شود. فرایند جستجو این فرصت را به ما می‌دهد تا از چگونگی عملکرد مدل‌مان در چند سناریوی مختلف مطلع شویم. یافتن و درکِ نمونه‌های تخاصمیِ واقعی می‌تواند مستقیماً ما را به سمت روش‌هایی ببرد که مدل‌هایمان را قدرتمندتر کنیم و نابهنجاری‌ها را در هنگام ورودِ مدل به بخش تولید پیدا کنیم. اگر در فضای یادگیری عمیق پایتون مشغول به فعالیت هستید، می‌توانید به بخش‌های «Cleverhans» و «foolbox» نگاه کنید تا نمونه‌های تخاصمی را پیدا کنید.
در خصوص داده‌های ساماندهی‌شده باید به این نکته اشاره کرد که نرم‌افزارهای قابل‌دسترس کمی در این زمینه وجود دارد تا از آن‌ها کمک بگیریم، اما در مقاله حاضر یک روش جستجوی اکتشافی معرفی می‌شود که می‌توان از آن استفاده کرده یا به اصلاح و تغییر آن بپردازید. شکل شماره ۵ نتایج جستجوی کل‌نگر را نشان می‌دهد.

شکل ۵ اشکال ‌زدایی از مدل یادگیری ماشینی : احتمال بیشینۀ پیش‌بینی‌شده برای جستجوی نمونه‌های تخاصمی در چندین متغیر مهم.

جستجوی اکتشافی در داده‌ها و مدل M-GBM با PAY_0 آغاز می‌شود؛ بر این اساس، همان‌طور که در شکل ۴ ملاحظه شد، ICE مورد محاسبه قرار گرفته و منحنی ICE با بزرگ‌ترین تغییر در پیش‌بینی‌ها بدست می‌آید. در این مجموعه‌داده و مدل، این منحنی در بیش از ۹۰ درصدِ p_DEFAULT_NEXT_MONTH حاصل می‌آید. سپس، ردیف داده‌ای در بیش از ۹۰ درصد p_DEFAULT_NEXT_MONTH به تعداد ۱۰.۰۰۰ بار دچار آشفتگی می‌شود. البته نباید این نکته را فراموش کرد که ۱۰ مقدار مختلف برای چهار متغیر مهم در اختیار داریم: PAY_0، PAY_3، PAY_AMT1 و PAY_AMT2. این مقادیر به خاطر طیف وسیع مقادیر Shapley انتخاب شدند، نَه به‌طور مستقیم از نمودار اهمیت متغیر در شکل ۳.
شکل ۵ چندین نکته جالب درباره مدل M-GBM ارائه می‌کند. اولاً، می‌بینیم که مولفه‌های یکنواختیدر ترکیبی از متغیرهای مختلف نیز حضور دارند. درثانی، یک خطای منطقی هم در مدل M-GBM شناسایی شده است. گویا اهمیتی ندارد که آخرین پرداختِ یک فرد چقدر زیاد باشد، اگر افراد در آخرین مورد حدود یک ماه تاخیر در پرداخت داشته باشند، مدل احتمال بالایی از بازپرداخت (Default) در نظر خواهد گرفت. یعنی این احتمال می‌رود که مدل M-GBM قادر به منظور کردنِ پیش پرداخت نباشد؛ یا شخصی را که مبالغ زیادی پرداخت می‌کند تا پرداخت‌های معوقه خود را جبران کند. اگر این شرایط را در مدل M-GBM یا در سیستم اعتباردهی لحاظ می‌کردیم، می‌توانستیم گزینه ویرایشِ مدل M-GBM را در نظر بگیریم یا از سیستم اعتباردهی برای مدیریت این سناریوهای پیچیده استفاده کنیم. نکته سوم این است که این جستجو دست‌کم به شش نمونه تخاصمی دست پیدا کرد. مقادیرِ بسیار پایینِ PAY_AMT1 و PAY_AMT2 در هنگام ترکیب با سایر مقادیر در ردیف‌های مورد استفاده برای آغاز جستجو باعث خواهند شد تا مدل M-GBM با احتمال زیادی مقادیر پیش فرض را تولید کنند.
وقتی مدل M-GBM به سمت تولید حرکت کرده باشد، استفاده از این مقادیر برای کارهای نظارتی ضروری خواهد بود. این مقادیر می‌توانند نشان دهند که مدل، مورد حمله تخاصمی قرار گرفته است یا نه. اگر فکر می‌کنید روش جستجوی تخاصمی پیشنهادی مفید است، آن را امتحان کنید. فرایند جستجوی اکتشافی در بخش زیر خلاصه شده است.
برای هر متغیر مهم، به شرح زیر اقدام کنید:
۱. منحنی‌های ICE را در هر دهک از پیش‌بینی‌های مدل محاسبه کنید.
۲. منحنی ICE با بیشترین نوسان یا تغییر در پیش‌بینی‌ها پیدا کنید.
۳. ردیف داده‌های مرتبط با منحنی ICE را تفکیک کنید.
در این ردیف از داده‌ها باید اقدامات زیر را انجام دهید:
۱. یک تا سه متغیر مهم دیگر را در ردیف تغییر دهید. (رسم نمودار برای بیش از یک متغیر، کار دشواری است).
۲. مجدداً به ردیف تغییریافته نمره دهید.
۳. تا آنجایی به کار ادامه دهید تا متغیرهای مهم همه چرخه‌ها را در قلمروی‌شان در داده‌های آموزشی، طی کرده باشند.
به ترسیم نمودار پرداخته و نتایج را تحلیل کنید.

حملات تصادفی

حملات تصادفی زمانی به وقوع می‌پیوندند که مدل با انواعی از داده‌های تصادفی روبرو شود. این نمونه را تصور کنید: مجموعه کاراکترهای دوبایتی، مجموعه‌داده‌هایی با یک ردیف و یک ستون، مجموعه‌داده‌هایی با یک میلیون ستون و یک ردیف و غیره. حملات تصادفی می‌توانند در شناخت باگ‌های معمول در حوزه IT و همچنین ریاضی کمک کنند. فرض کنید مجموعه‌داده‌ای در اختیار دارید که حاوی ۱۰ میلیون ستون و یک ردیف است. در این شرایط، API به دلیل رویارویی با حجم بالایی از داده‌های درونی یا خصوصی دچار سوءعملکرد می‌شود. این احتمال هم وجود دارد که به شیوه‌ای نامناسب کارآیی خود را از دست بدهد. شاید API و مدل‌تان مثل مقادیر گمشده با کاراکترهای دوبایتی برخورد کند و احتمال نکول پایینی را در نظر بگیرد. کسی چه می‌داند! اگر اصلاً نمی‌دانید از کجا باید کارهای اشکال ‌زدایی مدل را آغاز کنید، با یک حمله تصادفی کارتان را آغاز کنید. مطمئنم به نکات جالبی دست خواهید یافت.

 تحلیل باقی‌مانده

تحلیل باقی‌مانده از مدت‌ها پیش به عنوان زیربنای تشخیص مدل خطی به حساب می‌آمد و این امر باید همچنان در عصر یادگیری ماشین تداوم داشته باشد. باقی‌مانده به اختلاف میان پیامد واقعیِ شناخته‌شده و پیش‌بینی آن پیامد توسط مدل اشاره می‌کند. راه‌های متعددی برای محاسبه باقی‌مانده‌ها وجود دارد، اما مقدار باقی‌ماندۀ بزرگ به این معنی است که مدل دچار اشتباه شده است. مقدار باقی‌ماندۀ کوچک نیز بدین معناست که مدل به درستی عمل کرده است. نمودارهای باقی‌مانده کلیه پیش‌بینی‌ها و داده‌های ورودی را به صورت دوبعدی نمایش می‌دهند؛ لذا، ناهمخوانی‌های تاثیرگذار و انواع دیگر باگ‌های ریاضی، می‌توانند به سادگی قابل رویت باشند.
تنها عیب تحلیل باقی‌مانده این است که محاسبه باقی‌مانده‌ها مستلزم پیامدهای واقعی است. بنابراین، در صورتی که به انجام نوعی از پیش‌بینی‌ بپردازیم که پیامد واقعی برای بازه زمانی واقعی موجود نباشد، امکان کار با باقی‌مانده وجود نخواهد داشت.
شکل ۶ خطای لگاریتمی باقی‌مانده‌ها را که مربوط به مدل M-GBM هست نشان می‌دهد که با متغیر مهم PAY_0 به تصویر کشیده شده است. باقی‌مانده‌های سرخابی رنگ مربوط به مشتریانی است که اقدام به نکول کرده‌اند. باقی‌مانده‌های آبی مربوط به مشتریانی است که اقدام به نکول نکرده‌اند. متاسفانه، شکل ۶ تصویری عیب‌جویانه از مدل M-GBM را نشان می‌دهد.

شکل ۶ اشکال ‌زدایی از مدل یادگیری ماشینی : خطای لگاریتمی باقی‌مانده‌ها که با PAY_0 نشان داده شده است.

در شکل ۶ می‌بینیم که تعداد زیادی باقی‌مانده سرخابی برای مقادیر دلخواه PAY_0 < 1 وجود دارد که از جمله آن‌ها می‌توان به NO CONSUMPTION (-2)، PAID DULY (-1) یا USE OF REVOLVING CREDIT (استفاده از اعتبار در گردش) اشاره کرد. یعنی مدل اساساً زمانی در پیش‌بینیِ نکول ناکام می‌ماند که مشتری مقدار دلخواهی برای PAY_0 نداشته باشد. پس مدل M-GBM قادر به پیش‌بینی پرداختِ به‌موقع نخواهد بود. ادغام این اطلاعات با نمودار “اهمیت متغیر” در شکل ۳، نشان می‌دهد که M-GBM وابستگی زیادی به PAY_0 دارد. در همین راستا، می‌توان استفاده از این قانون را در دستور کار قرار داد: IF PAY_0 > 1 THEN DEFAULT_NEXT_MONTH = 1. در این صورت، داشتن دقتی برابر با M-GBM تضمین می‌شود.
امکان رفع این باگ خطرناک، با استفاده از افزایش داده، عادی‌سازی، ویرایش مدل و… وجود دارد. ما کمابیش درباره این روش‌ها در بخش‌های پیشین مقاله بحث کردیم. اما یک نکته کاملاً روشن است: این مدل دارای مشکلی اساسی است، قابل اطمینان و مناسب برای استفاده در دنیای حقیقی نیست. شاید از این امر تجب کنید که نمودارهای باقی‌مانده چه اطلاعاتی را درباره مدل‌های سالم در اختیارمان می‌گذارند. خوش‌بختانه، در مقاله حاضر سعی بر این بود که خوانندگان متقاعد شوند ترسیم باقی‌مانده‌ها یک روش اشکال ‌زدایی تاثیرگذار است.

تاثیر نابرابر، دقت و تحلیل خطا

تاثیر نابرابر به تبعیض ناخواسته در سیستم‎های تصمیم‌گیری اشاره می‌کند. روش‌های آزمایش تاثیر نابرابر یکی از روش‌های مشهور برای پیدا کردن سوگیری‌های اجتماعیِ ناخواسته در داده‌های آموزشی و نتایج مدل‌سازی پیش‌بینی‌گر محسوب می‌شوند. آیا این روش‌ها کامل و بی‌نقص هستند؟ آیا استفاده از این روش‌ها حداقل کاری است که می‌توانید انجام دهید تا مدل یادگیری ماشینی از ارتکاب یا تشدید سوگیری‌های اجتماعی ناخواسته جلوگیری به عمل آورد؟ احتمالاً.
این‌ها کتابخانه های منبع بازی هستند که در انجام آزمایش‌های تاثیر نابرابر، می توانند مفید واقع شوند؛ مِن جمله aequitas، AIF360 و Themis. روش‌های بنیادی آزمایش تاثیر نابرابر، به بررسی نرخ خطا و دقت در متغیرهای جمعیتی می‌پردازند. رویکرد ایده‌آل این است که بخواهیم نرخ خطا و دقت در همه گروه‌های جمعیتی مختلف برابر باشد. اگر این چنین نباشد، می‌توان اینطور برداشت کرد که مدل‌تان مرتکب سوگیری اجتماعی ناخواسته شده یا این سوگیری‌ها را تشدید کرده است.
در شکل ۷، با توجه به متغیر SEX می‌بینیم که نرخ خطا و دقت برای مردان و زنان نسبتاً مشابه به نظر می‌رسند. این نشانه خوبی است، اما به این معنا نیست که مدل‌تان عاری از سوگیری اجتماعی ناخواسته است.
همه مدل‌ها قادرند بر اساس تغییرات کوچکی که در داده‌های ورودی‌شان به وجود می‌آورند، با افراد مشابه به شیوه متفاوتی برخورد کنند. این عامل منجر به سوگیری محلی یا بی‌عدالتی فردیمی‌شود. یکی از نمونه‌های سوگیری محلی این است که تمدید اعتبار را برای خانم جوانی در نظر بگیریم که سابقه پرداخت خوبی داشته و دارای درآمد ۱۰۰.۰۰۰ دلاری است و در عین حال، از اعطای چنین تسهیلاتی به خانم جوان مشابهی که درآمدی بالغ بر ۹۹.۹۹۹ دلار دارد، خودداری کنیم. می‌دانیم که اختلاف یک دلاری در میزان درآمد هیچ تفاوت بزرگی پدید نمی‌آورد، اما مدل یادگیری ماشینی می‌تواند این دو فرد مشابه را در دو سمت متفاوت از مرز تصمیمِ غیرخطی قرار دهد.
مسئله بدتر این است که آزمایش استاندارد تاثیر نابرابر معمولاً به مسائل سوگیری محلی بی‌اعتنا است. چطور می‌توان از برقراری عدالت و انصاف در سطح فردی اطمینان حاصل کرد؟ این پرسش تا به امروز بی‌پاسخ مانده و تلاش‌ها برای پاسخ به آن ادامه دارد. پیشنهاد ما این است که با نزدیک‌ترین فاصله به مرز تصمیم مدل‌تان به افراد نگاه کنید. در اکثر موارد، افراد خیلی مشابه نباید در سمت متفاوتی از آن مرز قرار داشته باشند. حالا پیش از اینکه وارد بحثِ نرخ خطا و دقت شویم، اشاره به این نکته ضروری است که یادگیری ماشین می‌تواند پا را فراتر از این مباحث گذاشته و قابلیت‌های بیشتری از خود نشان دهد. اگر می‌خواهید اطلاعات بیشتری درباره این مورد کسب کنید، به کنفرانس «انصاف، مسئولیت‌پذیری و شفافیت در یادگیری ماشین» یا به اختصار «FATML» و منابع مرتبط مراجعه کنید.

شکل ۷ اشکال ‌زدایی از مدل یادگیری ماشینی : دقت و انواع مختلف خطا در PAY_0 و SEX در این متغیرها.

در کل می‌توان از روش‌های مرسومِ آزمایش تاثیر نابرابر در متغیرهای دسته‌ای استفاده کرد. این روش به عنوان یکی از روش‌های عالی برای تشخیص باگ در سیستم شناخته شده است. شکل ۷ متریک‌های گوناگون خطا و دقت را در سطوح دسته‌ای مختلفی از متغیر مهم PAY_0 نشان می‌دهد. در این بخش، تفاوت فاحش میان عملکرد M-GBM در PAY > 1 کاملاً مشهود است. احتمال می‌رود پراکندگی داده‌های آموزشی در آن قلمرو عامل اصلیِ بروز چنین تفاوتی بوده باشد. این جدول به خوبی نشان می‌دهد که عملکرد مدل در این قلمرو تا چه حد شکننده و آسیب‌پذیر است و اینکه عملکرد مدل تا چه حد در PAY > 1 فرق دارد. امکانِ به‌کارگیری این روش تشخیص باگ، در متغیرهای عددی وجود دارد.

توضیح باقی‌مانده‌ها

در سال‌های اخیر شاهد ارائه روش‌های گوناگونی برای توضیحِ پیش‌بینی‌های مدل یادگیری ماشینی بوده‌ایم. از این روش‌ها می‌توان برای ارتقای تحلیل باقی‌مانده نیز استفاده کرد. همچنین می‌توان به ارائه توضیحات تفسیرپذیرِ محلی و وابستگی جزئی پرداخت یا نمودارهای انتظار شرطی از باقی‌مانده‌ها را ترسیم کرد. موارد جدیدی که اخیراً به بسته Shap اضافه شده، زمینه را برای محاسبه نقش Shapley در باقی‌مانده‌ها فراهم کرده است؛ یعنی می‌توانید به خوبی تشخیص دهید که کدام متغیرها چه به صورت محلی (تک ردیفی) و چه به صورت جمعی (تمام دیتاست) منجر به افزایش خطا میشوند. یکی دیگر از گزینه‌ها برای تبیینِ باقی‌مانده‌ها این است که مدلی را بر روی آنها آموزش دهیم. شکل ۸ درخت تصمیمی را نشان می‌دهد که متناسب با M-GBM است. در این شکل می‌بینیم که چرا مدل M-GBM نکول‌های آتی را در نظر نگرفته است.

شکل ۸ اشکال ‌زدایی از مدل یادگیری ماشینی : مدل درخت تصمیم باقی‌مانده‌ها برای DEFAULT_NEXT_MONTH = 1.

درخت تصمیمدر شکل ۸ دارای مربع مجذور ۰.۸۹ و خطای درصد مطلق میانگینی در حدود ۱۷ درصد برای باقی‌مانده‌های DEFAULT_NEXT_MONTH = 1 است. پس نسبتاً دقیق است؛ یعنی در درک الگوهای داده ها خوب عمل کرده و لذا در شناخت حدس‌های اشتباه M-GBM قوی می باشد. بزرگ‌ترین باقی‌مانده‌ها برای PAY_0 < 0.5 AND PAY_AMT2 < NT$ 2802.5 AND PAY_4 < 1 AND PAY_AMT2 ≥ NT$ 1312.5 یا به مشتریانی با سوابق پرداخت خوب تعلق دارد. تحت این شرایط، می‌دانیم که مدل M-GBM غالباً در پیش‌بینی‌ پرداخت‌های آتی ناکام است. این سیاستِ تصمیم برای باقی‌مانده‌ها بر نتایج پیشین اشاره می‌کند و این نتایج تاکید مضائف بر PAY_0 دارند، اما سرنخی در اختیارمان می‌گذارند تا آن دسته از مشتریانی را که پرداخت‌های اخیرشان بین ۱۳۰۰ دلار تا ۲۸۰۰ دلار بوده، بیشتر بررسی کنیم.

مدل‌های معیار

مدل‌های معیار به مدل‌های باثبات، قابل اطمینان و شفافی اطلاق می‌شود که نقشِ مدل‌های خطی، درخت تصمیم، مدل‌های قانون‌محور یا مدل یادگیری ماشینی را ایفا می‌کنند. باید همیشه به این نکته توجه داشت که مدل یادگیری ماشین جدیدتان عملکرد بهتری از یک معیار شناخته شده در داده‌های آزمایشی داشته باشد. اگر مدل یادگیری ماشین جدیدتان از مدل معیار بهتر عمل نکند، لطفاً از آن استفاده نکنید.
به مجرد اینکه اطمینان حاصل کردید مدل یادگیری ماشین‌تان دست‌کم دقیق‌تر از یک مدل معیار ساده است، آن مدل می‌تواند به عنوان یک ابزار اشکال‌ زدایی قوی مورد استفاده قرار گیرد. ما از مدل‌های معیار برای بررسی این قبیل از مسائل استفاده می‌کنیم: کدام داده ها توسط مدل من اشتباه پیش بینی شد که روش معیار آنها را درست پیش بینی کرده بود. اگر بتوانید رفتار اشتباه مدل خودتان را از مدل یادگیری ماشینی تفکیک کنید، در ادامه می توانید با ادغام پیش‌بینی‌های مدل معیار با پیش‌بینی‌های مدل یادگیری ساخته شده را به عنوان یک رویکرد تازه در نظر بگیرید تا دقت پیش‌بینی‌ها را ارتقا دهید. همچنین، احتمالاً می‌توانید به این شکل استدلال کنید چرا مدل‌های شفاف، در برخی از زیرمجموعه های داده ها رفتار بهتری از خود نشان می‌دهند. بدین ترتیب، می‌توانید استراتژی‌های درمانی یا ترمیمی بالقوه‌ای را ایجاد کنید.
برای مثال، اگر مدل‌های یادگیری ماشینی که عملکرد نامناسبی دارند را با مدل‌های خطی مقایسه کنیم، می‌بینیم که یکی از دلایل احتمالی بی‌دقتی مدل یادگیری ماشین، تاکید بیش از حد به برهم‌کنش‌های ضعیف در مدل یادگیری ماشین است. افزون براین، می‌توان از مدل‌های معیار برای شناسایی نابهنجاری‌ها استفاده کرد. در اکثر نسبت‌های سیگنال به نویز، مسائل یادگیریِ ماشین مبتنی بر انسان‌ و پیش‌بینی مدل یادگیری ماشین و مدل ساده نباید تفاوت چشمگیری با یکدیگر داشته باشند. مقایسۀ پیش‌بینی‌های مدل معیار و مدل یادگیری ماشین می‌تواند نقش موثری در تشخیص نابهنجاری‌های امنیتی، عدالتی و بی‌دقتی داشته باشد.

حسابرسی امنیتی برای حملات یادگیری ماشینی

مدل‌های یادگیری ماشین با حملات گوناگونی مواجه می‌شوند. این حملات می‌توانند موجب تغییر مدل‌ها شده یا صدمات عمیقی به آن‌ها وارد کنند. شکل ۹ برخی از متداول‌ترین حملات یادگیری ماشین را به تصویر کشیده است. متاسفانه، معیارهای مرسوم ارزیابی مدل، اطلاعات زیادی درباره امنیت مدل در اختیارمان نمی‌گذارند. افزون بر سایر مراحل اشکال ‌زدایی، می‌توان در اقدامی زیرکانه همه یا قسمتی از حملاتی را که علیه یادگیری ماشین هستند، به فعالیت‌های هک کلاه‌سفید‌ها اضافه کرد.

شکل ۹ اشکال ‌زدایی از مدل یادگیری ماشینی: این برگه تقلب به توصیف انواع مختلف حملات بر علیه یادگیری ماشین می‌پردازد.

راهبردهای ترمیم گونه

حالا که چند روش نظام‌مند برای تشخیص مسائل دقت، عدالت و امنیت در سیستم‌های مبتنی بر یادگیری ماشین پیدا کرده‌ایم، بیایید ببینیم چه راهبردهایی برای حل مسائلِ شناسایی شده وجود دارد.

 افزایش داده 

اگر مدل‌تان خطاهای منطقی در رابطه با کمبود داده داشته باشد، احتمالاً به داده‌های بیشتری احتیاج دارید. شاید قادر به شبیه‌سازیِ داده‎های مورد نیاز خود باشید، آن داده‌ها را وارد داده‌های آموزشی‌تان کنید، مجدداً به آموزش مدل‌تان بپردازید و نهایتاً آن را آزمایش کنید. به احتمال زیاد، دوباره به وایت‌بورد مراجعه خواهید کرد تا در خصوص نحوه گردآوری داده‌های آموزشی تجدیدنظر کنید. شاید تا زمانی که داده‌های بیشتری در دسترس‌تان قرار گیرد، صبر کنید. برای اینکه در آینده با این نوع از مشکلات روبرو نشوید، استفاده از روش‌های طراحی آزمایشی را در دستور کار قرار دهید. در مثال‌هایی که در مقاله حاضر به آن‌ها اشاره شد، گردآوری اطلاعات درباره نسبت بدهی به درآمد یا وضعیت اشتغال، نقش مفیدی در تاکیدزدایی از PAY_0 در مدل M-GBM داشته است.
افزایش داده می‌تواند استراتژی مناسبی برای کاهش سوگیری اجتماعی ناخواسته در مدل‌های یادگیری ماشین باشد. یکی از دلایل اصلی سوگیری اجتماعی در یادگیری ماشین، آن دسته از داده‌های آموزشی است که از منظر جمعیت‌شناختی نامتوازن هستند. اگر قرار باشد مدل‌تان در کلیه افراد استفاده شود، باید از این نکته اطمینان حاصل کرد که داده‌های آموزشی دارای توزیعی از همه افراد است.

 بررسی نویز و منظم‌سازی قوی

امروزه خیلی از افراد به استفاده از روش‌های جریمه ای regularization L1 و L2 در مدل‌های یادگیری ماشین خود روی آورده‌اند و باید به این رویه ادامه داد. متاسفانه، شاید بسیاری از روش‌هایِ استاندارد عادی‌سازی قادر به فائق آمدن بر سوگیری‌های قوی، همبستگییا وابستگی‌ها در داده‌های آموزشی نباشند. این امر در PAY_0 بیشتر به چشم می‌خورد.
یکی از راهکاری بالقوه این است که میزانregularization L2 L1 – را افزایش دهیم. اگر این راهکار به قدر کافی قوی و کارساز نباشد، باید معیارهای دیگری از قبیل عادی‌سازی L∞، weight-clipping، dropout یا روش‌های تزریق نویز را به کار گرفت. به‌کارگیری این قبیل از روش‌ها برای رفع اشکالات داده‌های آموزشی می‌تواند بدین معنا باشد که گردآوری داده با مشکل روبرو شده است. در چنین شرایطی، می‌توان «افزایش داده» را به عنوان یکی از روش‌های موثر برای رفع مسئله در نظر گرفت.

 ویرایش مدل

برخی از مدل‌های یادگیری ماشین به گونه‌ای طراحی شده‌اند که قابل‌تفسیر باشند و افراد به طور مستقیم نحوه کار آن‌ها را یاد بگیرند. بعضی از این مدل‌ها مثل انواعی از مدل‌های درخت تصمیم یا GA2M به طور مستقیم توسط کاربران انسان ویرایش می‌شوند. اگر موردی را در سازوکار درونیِ مدل GA2M مشاهده کنید که مورد پسندتان نیست، به سادگی می‌توانید معادله را در مدل تغییر دهید تا مشکل را رفع کنید. شاید ویرایش برخی از مدل‌ها به سادگیِ درخت‌های تصمیم یا GA2M نباشد، اما اگر کد امتیازبندی خوانا تولید کنند، می‌توانید به ویرایش آن‌ها بپردازید. اگر قوانین اشتباهِ زیادی در کد امتیازبندیِ M-GBM وجود داشته باشد، شاید بتوانید آن قوانین را اصلاح یا حذف کنید. توصیه ما این است که از GA2M استفاده کنید و ویرایش مدل‌های دیگر را هم به عنوان یکی دیگر از راهبردهای اشکال ‌زدایی مد نظر قرار دهید.
اما نکته‌ای که در خصوص ویرایش مدل، باید توجه داشته باشید این است که شاید باعث شود مدل‌تان عملکرد بدی در داده‌های آموزشی یا اعتبارسنجی داشته باشد. اگر می‌خواهید مدلی را ویرایش کنید، باید استدلال محکمی برای پشتیبانی از این تصمیم داشته باشید.

تصریح مدل

تصریح مدل، از جمله قواعد کاری پساپیش‌بینی، در پیش‌بینی مدل نقش دارد و می‌تواند به تصحیح پیش‌بینی‌های مشکل‌زا و اشتباهِ مدل کمک کند. در مثالی که آوردیم، اگر مشتری در پرداخت هزینه یک ماه تاخیر می‌کرد، مدل M-GBM قادر نبود پیش‌پرداخت یا پرداخت اضافه را به خوبی درک کند. قبل از اتخاذ تصمیم نهایی، بهتر است این موضوع بررسی شود که آیا مشتری در آخرین پرداخت خود چطور عمل کرده است.

کاهش سوگیری اجتماعی ناخواسته

امروزه، راهکار‌های انسانی و فنی زیادی برای رفع و کاهش سوگیری اجتماعی ناخواسته در مدل‌های یادگیری ماشین وجود دارد. بسیاری از راهکارهای انسانی برای رفع این مشکل به تنوع عقاید و تجارب در خصوص تیم‌های علوم داده تاکید دارند. همچنین، این راهکارها روی به‌کارگیری متخصصان مختلف در تمامی مراحل مدل‌سازی توجه دارند. روش‌های فنّیِ کاهش سوگیری در سه دسته جای می‌گیرند:

• پیش‌پردازش داده:
۱. انتخاب عاقلانه ویژگی 

۲. ردیف‌های وزن‌گیری و نمونه‌گیری در داده‌های آموزشی برای کاهش حداقلیِ سوگیری اجتماعی ناخواسته در داده‌های آموزشی
• آموزش و انتخاب مدل:
۱. در هنگام انتخاب پارامترها و آستانه‌ها، استفاده از متریک انصاف را در نظر بگیرید.
۲. آموزش مستقیمِ مدل‌های منصفانه:
– کاهش سوگیری تخاصمی در AIF360.
– استفاده از توابع هدف دوگانه که به متریک دقت و انصاف توجه دارند.
• پیش‌پردازش پیش‌بینی:
تغییر پیش‌بینی‌های مدل پس از آموزش

اختصاص دادنِ دو پاراگراف به موضوعِ حل سوگیری‌های اجتماعی ناخواسته در مدل‌های یادگیری ماشین در سال ۲۰۱۹ به هیچ وجه کفایت نمی‌کند. امروزه روش‌های زیادی برای رفع سوگیری‌های اجتماعی ناخواسته وجود دارد. می‌توانید اطلاعات بیشتری درباره آن‌ها به دست آورید. امروزه، دیگر هیچ بهانه‌ای برای استفاده از مدل‌هایی که جانب داری نژادی انجام می دهند وجود ندارد، اما کماکان شاهد این اتفاق هستیم.

مدیریت و نظارت بر مدل

باید از تعداد مدل‌هایی که دارید باخبر باشید؛ باید بدانید مدل‌ها را چه کسانی و در چه زمانی آموزش داده‌اند، باید آن‌ها را مثل سایر نرم‌افزارها دسته‌بندی کنید، باید به پیش‌بینی‌ها و ورودی‌های مدل یادگیری ماشین نظارت کنید، باید مراقب نابهنجاری‌ها باشید و فقط بر روی دقت تمرکز نکنید، باید درباره مسائل امنیتی و انصاف نیز فکر کنید.
امروزه، اکثر متخصصان داده به این باور رسیده‌اند که مدل‌ها با داده‌هایی که دورنمایی از واقعیت ارائه می‌دهند، آموزش داده می‌شوند. واقعیت با گذشت زمان تغییر می‌یابد. داده‌های جدید از این چشم‌انداز فاصله می‌گیرند و شاید دقت مدل در داده‎های جدید کاهش پیدا کند. این وضعیت در بررسی‌های آماریِ مربوط به پیش‌بینی‌ها و ورودی‌های مدل کاملاً مشهود است. آیا این امر می‌تواند بر خصوصیات انصافِ یک مدل نیز تاثیر داشته باشد؟ احتمالاً.
بنابراین، علاوه بر اینکه باید به پیش‌بینی‌ها و ورودی‌ها نظارت داشته باشید، باید گزینه آزمایش را همیشه مد نظر قرار دهید تا تاثیر نابرابر را نیز شناسایی کنید. سرانجام، وقتی تصمیم به یافتن جایگزینی برای مدلی قوی‌تر می‌گیرید، آن مدل باید غیرفعال شده و از رده خارج شود. یعنی این مدل باید به دقت برای نیازهای تشخیصی، قضایی و… ذخیره شود. نباید مدل‌های مهم را به این سادگی حذف کرد.

 شناسایی نابهنجاری‌ها 

پیش‌بینی‌ها و ورودی‌های غیرطبیعی همیشه نگران‌کننده هستند. این‌ها گاهی‌اوقات نشان می‌دهند که مدل‌تان مورد حملات خصمانه قرار گرفته است. در M-GBM دیدیم که مدل حساسیت بالایی به مقادیر نامعلوم در PAY_0 دارد. در این مورد، نباید مقادیر نامعلوم و سایر مقادیر غیرمنطقی را به فرایند امتیازدهی پیش‌بینی M-GBM راه داد.
برای اینکه پیش‌بینی‌های غیرطبیعی را در زمان واقعی شناسایی کنید، به روش‌های کنترل فرایند آماری سنتی بیاندیشید؛ پیش‌بینی‌های مدل یادگیری ماشینی را با پیش‌بینی‌های مدل بنچ‌مارک باثبات و شفاف مقایسه کنید؛ به چگونگی راه یافتنِ داده‌های جدید به مدل خود نظارت کنید.
در مدل‌های بنچ‌مارک، پیش‌بینی‌های مدل یادگیری ماشین را با پیش‌بینی‌های مدل بنچ‌مارک مقایسه کنید. اگر این پیش‌بینی‌ها متفاوت باشند، قبل از تایید پیش‌بینی، نگاه دقیق‌تری بیندازید و یا فقط از پیش‌بینی‌های مدل بنچ‌مارک برای این داده‌ها استفاده کنید. در انجام تحلیل فعال‌سازی، داده‌های جدید نباید به طور عادی در آن دسته از سازوکارهای مدل که به طور مکرر در طول آموزش مدل فعال‌سازی نشده‌اند، جریان پیدا کند. اگر این اتفاق به کرّات روی می‌دهد، بهتر است آن را بررسی کنید.

منبع: hooshio.com