راهنمای جامع طبقه بندی متون یا (text classification)

طبقه بندی کننده متن یا (text classifier) چیست ؟

یکی از حیاتی ترین عمل ها در پروژه هایی مانند پردازش زبان های طبیعی (NLP) ،تحلیل جملات (Sentiment Analysis)، تشخیص نیت و اهداف (intent detection) برچسب زنی یا لیبل گذاری هر کدام از داده های ورودی میباشد طبقه بندی کنندگان هر داده ی ورودی را تحلیل می کنند و با توجه به معیار های درونی برنامه و یا کسب و کار شما برچسب زنی میکنند و به شما تحویل میدهند برای مثال شما 10000 پیام ورودی از مشتریان خود بعد از یک تبلیغات پیامکی داشته اید و نظرات آنها را در مورد برند خود خواسته اید شما معیار های خوب بد و خنثی را برای این طبقه بندی استفاده می کنید جمله (من برند شما را خیلی دوست دارم) وارد طبقه بندی کننده (text classifier) شما میشود و بعد از تحلیل برچسب خوب را به خود میگیرد و میتواند در دیگر قسمت های این برنامه تحلیل شود

مدل چیست ؟ تفاوت مدل و طبقه بندی کننده متن

خیلی از جاها ممکنه این دو به عنوان هم معنی معرفی بشند امادر اصل اتفاقی که در قلب مدل یادگیری ماشین شما اتفاق میافتد لیبل زنی این اطلاعات است درصورتی که شما میتواندی حتی از شبکه های عصبی (Neural Network) نیز برای انجام این عمل لیبل زنی استفاده کنید در اصل یک مدل مثل یک تخته سیاه هوشمند است که هر چه روی ان بنویسید برای شما تحلیل میکنید بر اساس دسته ای از قوانین که یک از ان ها طبقه بندی کنندگان می باشد

نمونه تمرینی یا traning sample

نمونه آموزشی در یادگیری ماشین به یک واحد داده اشاره دارد که برای آموزش مدل استفاده می‌شود. این نمونه می‌تواند شامل ورودی (x) و خروجی (y) باشد، مانند ویژگی‌های یک خانه و قیمت آن در یادگیری نظارت‌شده(supervisied learning)در مسائل بدون نظارت (unsupervisied learning)نمونه آموزشی معمولاً شامل داده‌های بدون برچسب است که مدل از آن‌ها برای کشف الگوها یا ساختارها استفاده می‌کند. هر نمونه آموزشی ممکن است به شکل یک نقطه داده چندبعدی، دنباله‌ای از داده‌های زمانی، یا حتی داده‌ای مصنوعی و افزوده‌شده باشد. علاوه بر این، در یادگیری تقویتی (reinforcement learning)نمونه‌ها به صورت حالت، عمل، پاداش، تعریف می‌شوند. این نمونه‌ها، واحدهای اساسی یادگیری مدل هستند و نقش کلیدی در عملکرد و تعمیم‌پذیری آن دارند.

target function یا تابع هدف

این تابع، ایده‌آل یا تابع حقیقی است که توصیف‌کننده دقیق رابطه بین داده‌هاست، اگرچه معمولاً ناشناخته است. مدل یادگیری ماشین تلاش می‌کند تا تابع هدف را از طریق داده‌های آموزشی تقریب بزند. در یادگیری نظارت‌شده، این تابع به صورت f(x) = yتعریف می‌شود، اما در دیگر روش‌ها مانند یادگیری تقویتی یا بدون نظارت، ممکن است به صورت ضمنی یا بر اساس اهداف دیگر تعریف شود. تفاوت بین خروجی نهایی مدل و خروجی تابع هدف معیار سنجش مدل میباشد

Hypothesis یا فرضیه در یادگیری ماشین

فرضیه در یادگیری ماشین تابعی پیشنهادی است که مدل بر اساس داده‌های آموزشی یاد می‌گیرد و به عنوان تقریب تابع هدف ( 𝑓 ( 𝑥 )) عمل می‌کند. این تابع مجموعه‌ای از قواعد یا مرزهای تصمیم‌گیری است که مدل برای پیش‌بینی‌ها از آن استفاده می‌کند. برای مثال، در طبقه‌بندی ایمیل‌های اسپم، فرضیه همان قاعده‌ای است که پیش‌بینی می‌کند یک ایمیل اسپم است یا خیر عملکرد فرضیه با معیارهایی مانند دقت یا خطا سنجیده می‌شود و طی فرآیندهای بهینه‌سازی اصلاح می‌گردد تا به تابع هدف نزدیک‌تر شود.

learning algorithm یا الگوریتم یادگیری

الگوریتم یادگیری در یادگیری ماشین مجموعه‌ای از دستورالعمل‌ها است که با استفاده از داده‌های آموزشی تلاش می‌کند تا تابع هدف (رابطه بین ورودی و خروجی) را پیدا کند یا تقریب بزند. این الگوریتم از دو بخش اصلی تشکیل شده است: تابع خطا(Loss Function) که مشخص می‌کند پیش‌بینی مدل تا چه حد با نتایج واقعی فاصله دارد. روش بهینه‌سازی (Optimization Technique)که پارامترهای مدل را طوری تنظیم می‌کند که این فاصله (خطا) کمتر شود. هدف اصلی الگوریتم این است که مدلی بسازد که نه‌تنها داده‌های آموزشی را به‌خوبی یاد بگیرد، بلکه بتواند روی داده‌های جدید هم عملکرد خوبی داشته باشد.(Hypothesis Space) فضای فرضیه مجموعه‌ای از تمام مدل‌های ممکن است که الگوریتم می‌تواند برای یادگیری انتخاب کند. این فضا نشان می‌دهد که الگوریتم چه نوع روابطی را می‌تواند بررسی کند. اگر این فضا بزرگ‌تر باشد، مدل می‌تواند روابط پیچیده‌تری را یاد بگیرد، اما پیدا کردن بهترین مدل در این فضا برای اینکه بتواند روی داده‌های جدید خوب عمل کند، خیلی مهم است.

مشخص کردن اهداف

در پروژه های طیقه بندی متن ها اولین قدم تعیین هدف ها نسبت به پروژه ی خودتون هستش برای مثال دسته بندی یک باشگاه مشتریان را در نظر بگیرید انواع پیام های ورودی مانند تصویر زیر خواهد بود

در این برنامه ابتدا تمام ورودی ها را بین سه بخش اول دسته بندی و برچسب زنی میکنیم یعد از هر کدام از بخش ها یک طبقه کننده مخصوص خود برای متغیر های درون خود ایجاد میکنند که بتوانم هذ داده را در درست ترین طبقه بدست بیاوریم در این بخش باید مراقب افتادن داده ها روی هم (overlapin) باشید یعنی اگر طبقه های شما معنی های مشابهی داشته باشند مدل شما به اشتباه تصمیم گیری خواهد کرد برای مثال در تصویر بالا یک شکایت درمورد دیر ارسال کردن در دو بخش از طبقه بندی های ما جای میگیرد که این باعث اورلپینگ میشود

انتخاب الگوریتم مناسب

پایتون محبوب‌ترین زبان برای طبقه‌بندی متن با استفاده از یادگیری ماشین است. زبان پایتون به دلیل ساده بودن و کتابخانه‌هایمتعددی که برای ایجاد الگوریتم‌ها در دسترس دارد بسیار مورد استفاده قرار می‌گیرد. در ادامه، الگوریتم‌های استانداردی آورده شده‌اند که به شما کمک کنیم بهترین الگوریتم را برای پروژه طبقه‌بندی متن خود انتخاب کنید.

رگرسیون لجستیک (Logistic Regression)

رگرسیون لجستیک، علی‌رغم داشتن کلمه (رگرسیون) در نام خود، یک روش یادگیری با نظارت (supervised)است که عمدتاً برای حل مسائل طبقه‌بندی دودویی (باینری) استفاده می‌شود، مانند تشخیص ایمیل‌های اسپم از غیر اسپم یا پیش‌بینی نتیجه بله یا خیر. اگرچه رگرسیون و طبقه‌بندی به نظر می‌رسند مفاهیمی متضاد باشند، اما رگرسیون لجستیک در واقع یک روش طبقه‌بندی است. تمرکز اصلی این روش بر روی کلمه لجستیک است که به تابع لجستیک یا (سیگموئید) اشاره دارد. این تابع ریاضی مقدار ورودی‌ها را به یک بازه بین ۰ و ۱ نشانمی دهد، که به مدل اجازه می‌دهد احتمال تعلق داده‌ها به یک کلاس خاص را پیش‌بینی کند. رگرسیون لجستیک به دلیل سادگی و کارایی بالا در مسائلی که رابطه بین ویژگی‌ها و خروجی به صورت خطی قابل توصیف است، بسیار پرکاربرد است. علاوه بر طبقه‌بندی دودویی، نسخه‌های توسعه‌یافته رگرسیون لجستیک، مانند رگرسیون لجستیک چندکلاسه (Multinomial Logistic Regression)، برای مسائل طبقه‌بندی چندکلاسه نیز به کار می‌روند. این ویژگی‌ها باعث می‌شود که رگرسیون لجستیک یکی از ابزارهای پایه و قدرتمند در یادگیری ماشین و تحلیل داده باشد.

نایو بیز (Naïve Bayes)

طبقه‌بندی کننده نایو بیز بر اساس( قضیه بیز) ساخته شده است. این الگوریتم با یک فرض ساده‌انگارانه (Naïve) کار می‌کند: وجود یک ویژگی در یک دسته، مستقل از وجود سایر ویژگی‌هاست. این طبقه‌بندی‌کننده از نوع احتمالاتی است، یعنی برای هر متن ورودی، احتمال تعلق به هر دسته را محاسبه کرده و دسته‌ای با بالاترین احتمال را انتخاب می‌کند.

کلمه ساده‌انگارانه (Naïve) از این واقعیت می‌آید که تمام ویژگی‌های جمله به طور مستقل در تعیین موضوع ورزشی بودن یا نبودن آن نقش دارند. با وجود این ساده‌سازی، مدل نایو بیز به دلیل سادگی در ساخت و توانایی کار با مجموعه داده‌های بزرگ، بسیار محبوب است و در بسیاری موارد حتی از سیستم‌های طبقه‌بندی پیشرفته‌تر نیز عملکرد بهتری نشان می‌دهد.

گرادیان نزولی تصادفی (Stochastic Gradient Descent)

گرادیان نزولی یک فرآیند تکرارشونده است که از یک نقطه تصادفی روی شیب تابع شروع می‌شود و تا رسیدن به پایین‌ترین نقطه حرکت می‌کند. این الگوریتم زمانی کاربرد پیدا می‌کند که نتوان نقاط بهینه را صرفاً با برابر صفر قرار دادن شیب تابع به دست آورد.

برای حل این مشکل، از گرادیان نزولی تصادفی (SGD) استفاده می‌شود. در این روش، هر تکرار با یک نمونه منفرد (اندازه دسته برابر با یک) انجام می‌شود. انتخاب نمونه‌ها به صورت تصادفی و درهم‌ریخته انجام می‌شود که این امر باعث می‌شود الگوریتم بتواند با سرعت بیشتری به نتیجه برسد و در عین حال منابع محاسباتی کمتری مصرف کند.

الگوریتم K-نزدیک‌ترین همسایه (K-Nearest Neighbors)

در این الگوریتم، همسایگی نمونه‌های داده بر اساس نزدیکی و مجاورت آنها تعیین می‌شود. روش‌های متعددی برای محاسبه فاصله بین نقاط داده وجود دارد که معروف‌ترین آنها فاصله مستقیم (فاصله اقلیدسی) است. همسایه‌ها معمولاً ویژگی‌ها و رفتارهای مشابهی دارند که باعث می‌شود در یک گروه طبقه‌بندی شوند.

برخلاف روش‌های دیگر مانند طبقه‌بندی کننده بیز، KNN به احتمالات پیشین نیاز ندارد و از نظر محاسباتی کارآمد است. عملیات اصلی در این روش، مرتب‌سازی اسناد آموزشی برای یافتن K همسایه نزدیک به سند مورد آزمایش است.

درخت تصمیم (Decision Tree)

یکی از چالش‌های اصلی در شبکه‌های عصبی و معماری‌های عمیق، درک فرآیند تصمیم‌گیری الگوریتم است. در یادگیری عمیق، ما می‌توانیم به دقت طبقه‌بندی فوق‌العاده‌ای دست پیدا کنیم، اما نمی‌دانیم دقیقاً چه عواملی در این تصمیم‌گیری نقش داشته‌اند. درخت تصمیم این مزیت را دارد که می‌تواند تصویری گرافیکی از نحوه تصمیم‌گیری طبقه‌بندی‌کننده را به ما نشان دهد.

جنگل تصادفی (Random Forest)

جنگل تصادفی یک تکنیک یادگیری ماشین است که از روش یادگیری گروهی (Ensemble Learning) استفاده می‌کند. این الگوریتم با ترکیب چندین درخت تصمیم‌گیری مختلف، که هر کدام به صورت مستقل آموزش دیده‌اند، به حل مسائل پیچیده می‌پردازد. هر درخت در این جنگل، با استفاده از نمونه‌گیری تصادفی از داده‌ها و ویژگی‌های متفاوت ساخته می‌شود.

در طبقه‌بندی متن، هر درخت در جنگل تصادفی با زیرمجموعه‌ای از کلمات و عبارات کار می‌کند. برای مثال، یک درخت ممکن است روی کلمات ابتدای متن تمرکز کند، درخت دیگر روی کلمات کلیدی خاص، و درخت سوم روی ساختار جملات. تصمیم نهایی با رأی‌گیری بین تمام درخت‌ها گرفته می‌شود.

ماشین بردار پشتیبان (Support Vector Machine)

ماشین بردار پشتیبان یک مدل یادگیری با نظارت است که برای مسائل طبقه‌بندی دوگانه طراحی شده است. این الگوریتم با ایجاد یک ابَرصفحه (Hyperplane) بهینه، داده‌ها را به دو دسته تقسیم می‌کند. در فضای طبقه‌بندی متن، SVM می‌تواند کلمات و عبارات را در یک فضای چندبعدی نگاشت کرده و بهترین مرز تصمیم‌گیری را بین دسته‌های مختلف پیدا کند.

در طبقه‌بندی متن، SVM به‌ویژه در مواردی که تعداد ویژگی‌ها (کلمات) زیاد و تعداد نمونه‌ها کم است، عملکرد بسیار خوبی از خود نشان می‌دهد. این الگوریتم با استفاده از توابع کرنل می‌تواند روابط غیرخطی بین کلمات را نیز در نظر بگیرد.

ارزیابی عملکرد مدل طبقه‌بندی متن

پس از ساخت مدل، مهم‌ترین سؤال این است: مدل ما چقدر خوب کار می‌کند؟ ارزیابی دقیق مدل، تعیین‌کننده میزان دقت پیش‌بینی‌های ماست.

جمع‌بندی و نتیجه‌گیری

منابع و مراجع