هم‌راستایی چندترجیحی چیست؟ | مالیات هم‌راستایی و CVPR 2026

چرا مدل‌های هوش مصنوعی نمی‌توانند همه را راضی کنند؟

فرض کنید برای یک برند تازه‌تأسیس قهوه، سفارش طراحی پوستر تبلیغاتی می‌دهید. نسخه اول را با Midjourney میسازید: کادری رویایی با نورپردازی سینمایی که چشم هر بینندهای را میگیرد، اما حیف که اسم برند روی لیوان کاملاً نامفهوم است و فضای کافه اصلاً شبیه آن چیزی نیست که خواسته بودید.

در پسِ این ناکامی، تفاوت ابزارها به رویکرد آنها در «هم‌راستایی چندترجیحی» (Multi-Preference Alignment) بازمی‌گردد؛ یعنی هر مدل باید میان سلیقه‌های گوناگون و گاه متضاد کاربران، یکی را اولویت دهد. آیا وفاداری به پرامپت مهم‌تر است یا زیبایی‌شناسی؟ آیا خوانایی متن داخل تصویر ارزش بیشتری دارد یا خلاقیت بصری؟ هر مدل پاسخ متفاوتی به این پرسش می‌دهد. اگر سراغ Stable Diffusion بروید، نتیجه برعکس است؛ متن با دقت بالا درج شده و فضا کاملاً به پرامپت وفادار است، اما ترکیب‌بندی و زیبایی‌شناسی بصری، حال‌وهوای حرفه‌ای ندارد. FLUX.1 تلاش می‌کند پلی بین این دو بزند، اما باز هم در گوشه‌وکنارهایی محدودیت نشان می‌دهد.

این تفاوت‌ها تصادفی نیست. هر مدل بر اساس راهبردی به نام «هم‌راستایی چندترجیحی» طراحی شده است. به طور خلاصه، شکایت‌های همیشگی کاربران از سه دسته خارج نیست:

1. متن پرامپت رعایت نشد
2. کیفیت زیبایی پایین بود
3. متن داخل تصویر خراب یا بی‌کیفیت بود

Midjourney زیبایی را بر وفاداری به پرامپت ترجیح داده است. Stable Diffusion، کنترل و دقت را به قیمت نازل‌تر شدن زیبایی‌شناسی پیش‌فرض خریده است. و FLUX، هرچند متعادل‌تر ظاهر می‌شود، هنوز در مواجهه با درخواست‌های پیچیده دچار افت می‌شود. انتخاب هرکدام، درواقع پذیرش یک مبادلهٔ اجتناب‌ناپذیر است. اما این ماجرا فقط به انتخاب یک مدل ختم نمی‌شود؛ وقتی مدلی بخواهد همزمان به همه این خواسته‌ها پاسخ دهد، ناگزیر بهایی پرداخت می‌کند که در ادبیات فنی به آن مالیات هم‌راستایی می‌گویند.

مالیات هم‌راستایی (Alignment Tax) چیست؟

فرض کنید تیم توسعه تصمیم می‌گیرد مدل خود را تنها بر اساس «زیبایی‌شناسی» بهینه کند. خروجی‌ها فوق‌العاده چشم‌نواز می‌شوند، اما ناگهان سیل شکایت‌ها شروع می‌شود: «مدل متن پرامپت را نادیده گرفته»، «حروف درون تصویر کاملاً نامفهوم است». چه اتفاقی افتاده است؟

در روش کلاسیک RLHF، معمولاً یک مدل پاداش تکی، مدل را به سمت یک معیار خاص سوق می‌دهد. اما دنیای واقعی چندین معیار همزمان دارد: کیفیت بصری، وفاداری به دستور، زیبایی‌شناسی و حتی بی‌خطری. در چنین شرایطی، بهینه‌سازی بیش از حد یک هدف، هزینهٔ پنهانی بر دوش سایر قابلیت‌های مدل می‌گذارد. این دقیقاً همان جایی است که مفهوم سیاست هم‌راستایی (Alignment Policy) و بهینه‌سازی چندهدفه (Multi-Objective Optimization) وارد میدان می‌شوند.

در ادبیات پژوهشی، به این هزینهٔ اجتناب‌ناپذیر، مالیات هم‌راستایی (Alignment Tax) می‌گویند. این مالیات، بهایی است که مدل در ازای نزدیک‌شدن به ارزش‌های انسانی می‌پردازد و در پژوهش‌های RLHF به‌عنوان یکی از چالش‌های بنیادین شناخته می‌شود.

این پدیده در مدل‌های مولد تصویر به‌وضوح دیده می‌شود. بخشی از مشکل وفاداری به پرامپت، صرفاً به مهارت کاربر در نوشتن دستور مربوط نمی‌شود، بلکه ریشه در تصمیمات طراحان مدل در فرایند هم‌راستاسازی دارد. در‌ واقع، مسئلهٔ «مهندسی پرامپت تصویر» زمانی که خود مدل به دلیل این مالیات، به‌طور ذاتی به بخش‌هایی از درخواست بی‌توجه باشد، چندان کارگشا نیست.

به‌طور مشخص، جلوه‌های مالیات هم‌راستایی را در سه سناریو می‌توان مشاهده کرد:

1. تمرکز بیش از حد بر زیبایی‌شناسی → کاهش وفاداری به پرامپت
2. تمرکز بیش از حد بر وفاداری به پرامپت → افت جذابیت بصری یا ترکیب‌بندی
3. تمرکز بیش از حد بر ایمنی و پالایش محتوا → کاهش خلاقیت یا تولید محتوای بیش از حد محافظه‌کارانه و تکراری

بنابراین، رسیدن به تعادل، نیازمند عبور از روش‌های سنتی پاداش تکی و رویارویی هوشمندانه با این مالیات پنهان است. در بخش بعد، خواهیم دید که رویکرد MapReduce LoRA چگونه سعی کرده با آموزش موازی و ادغام تخصصی، از افت عملکرد در معیارهای دیگر جلوگیری کند.

راه‌حل اول MapReduce LoRA

بهینه‌سازی تک‌بعدی، همان‌طور که دیدیم، پای مدل را به مالیات هم‌راستایی باز می‌کند. پژوهش MapReduce LoRA (مشاهده مقاله MapReduce LoRA در arXiv | مشاهده مخزن رسمی در GitHub) توسط تیمی از محققان Georgia Tech و Adobe (از جمله Chieh-Yun Chen، Zhonghao Wang، Qi Chen و همکاران) که در CVPR 2026، یکی از معتبرترین کنفرانس‌های علمی جهان در حوزه بینایی رایانه و یادگیری ماشین، پذیرفته شده است، با نگاهی تازه به این معضل، پیشنهاد می‌دهد به‌جای یک مدل پاداش، چندین ترجیح انسانی را به‌طور همزمان ببینیم.

به‌بیان خود نویسندگان، این روش "preference-specific LoRA experts را به‌صورت موازی آموزش داده و به‌صورت تدریجی آن‌ها را برای اصلاح یک مدل پایه مشترک ادغام می‌کند". ایده در دو گام ساده خلاصه می‌شود:

گام نقشه (Map):

در این مرحله، چند متخصص LoRA هرکدام مختص یک پاداش خاص به‌صورت موازی و مستقل آموزش می‌بینند. انتخاب LoRA به‌دلیل کارایی بالای آن در تنظیم دقیق مدل‌های بزرگ با هزینهٔ محاسباتی کم است. هر متخصص روی یک معیار خاص مانند زیبایی‌شناسی، وفاداری به پرامپت یا خوانایی متن متمرکز می‌شود، بدون آنکه از سایر معیارها باخبر باشد. این استقلال باعث می‌شود هر متخصص بهینه‌‌ترین عملکرد را در حوزهٔ خود ارائه دهد، بدون آنکه نگران تأثیر آن بر دیگر جنبه‌ها باشد. برای مثال، متخصص زیبایی‌شناسی ممکن است ترکیب‌بندی‌های رویایی را بیاموزد، در حالی که متخصص وفاداری به پرامپت بر تطابق دقیق با دستورات کاربر تأکید می‌کند.

گام کاهش (Reduce):

پس از آموزش موازی، نوبت به ادغام تدریجی این متخصصان در یک مدل پایه مشترک می‌رسد. این ادغام به‌گونه‌ای طراحی شده که مرز پارتو (Pareto Frontier) بین معیارها را به سمت بیرون جابه‌جا کند؛ یعنی مدل نهایی بتواند در چندین معیار همزمان عملکرد بهتری داشته باشد، بدون آنکه یکی از آنها فدای دیگری شود. روش ادغام تدریجی از افت ناگهانی عملکرد مدل پایه جلوگیری می‌کند و پایداری آموزش را افزایش می‌دهد.

نتایج این روش روی مدل‌های متنوعی گزارش شده است. اما تأکید می‌کنیم که اعداد زیر، صرفاً مربوط به همان مقاله است و نباید به‌عنوان عملکرد قطعی کل صنعت تعمیم داده شوند:

نکتهٔ جالب توجه در جدول، تفاوت میزان بهبود در معیارهای مختلف است. برای مثال، GenEval که معیاری استاندارد برای ارزیابی وفاداری به پرامپت است، در SD3.5 بیش از FLUX.1 بهبود یافته (+۳۶.۱٪ در مقابل +۳۲.۷٪)، در حالی که بهبود OCR که خوانایی متن را می‌سنجد، در FLUX.1 بسیار چشم‌گیرتر است (+۶۷.۱٪ در مقابل +۵۵.۷٪).

این تفاوت‌ها نشان می‌دهد که هر مدل پایه، نقاط قوت و ضعف ذاتی خود را دارد و روش MapReduce LoRA تلاش می‌کند با ادغام متخصصان، این نقاط را متوازن کند. همچنین، بهبود نسبتاً پایین PickScore که زیبایی‌شناسی بصری را ارزیابی می‌کند، در هر دو مدل (حدود +۴.۶٪ و +۴.۳٪) نشان می‌دهد که معیارهای سلیقه‌ای مانند زیبایی‌شناسی ذهنی، دشوارتر از معیارهای عینی مانند وفاداری به پرامپت هستند و هم‌راستایی در آنها نیازمند دقت بیشتری است.

این بهبود هم‌زمان در معیارهای گاه متضاد، دو مزیت اصلی این رویکرد را آشکار می‌کند:

1. بهبود همزمان چند معیار بدون آنکه یک هدف فدای دیگری شود.
2. ادغام تدریجی متخصصان که از افت ناگهانی عملکرد مدل پایه جلوگیری می‌کند.

لازم به ذکر است که این راهکار نه فقط در تولید تصویر (روی دو مدل SD3.5 و FLUX.1-dev)، بلکه در تولید ویدیو (HunyuanVideo) و حتی وظایف زبانی (Llama-2 7B) نیز نتایج چشم‌گیری ثبت کرده است.

با این حال، این ارقام متعلق به یک پژوهش خاص است و قطعی نیست. اما روش آن، یعنی کنار گذاشتن پاداش تکی به نفع چندترجیحی، مسیر تازه‌ای گشوده است. در ادامه، خواهیم دید که رویکرد مکملی به نام G²RPO چگونه با ریزدانه‌سازی بیشتر، به مسئلهٔ پاداش‌های تنک در مدل‌های جریان می‌پردازد.

راه‌حل دوم G²RPO و اعتباردهی گام‌به‌گام

روش‌های پیشین در هم‌راستایی مدل‌های انتشار و جریان، اغلب دچار یک عیب اساسی هستند: پاداش تُنُک. یعنی درست مثل این می‌ماند که به یک مسافر فقط به‌خاطر رسیدن به مقصد نمره بدهیم، بدون توجه به کیفیت مسیر طی شده. در فرایند حذف نویز (denoising) که خود شامل گام‌های متوالی است، این رویکرد ناقص است؛ چراکه سیگنال پاداش فقط در پایان کل مسیر به مدل می‌رسد و از جزئیات مراحل میانی بی‌خبر است.

پژوهش G²RPO (مشاهده مقاله G²RPO در arXiv | مشاهده مخزن رسمی در GitHub) توسط تیمی از محققان Shanghai Jiao Tong University، University of Science and Technology of China، Fudan University و Shanghai AI Laboratory (از جمله Yujie Zhou، Pengyang Ling، Jiazi Bu و همکاران)که آن نیز در CVPR 2026 ارائه شده است، برای حل این مسئله، رویکرد دقیق‌تری ارائه می‌دهد که با دو مؤلفه کلیدی، کیفیت یادگیری را در هر گام ارتقا می‌بخشد:

نمونه‌برداری تصادفی منفرد (Singular Stochastic Sampling):

استراتژی که با ایجاد همبستگی بالا بین پاداش و نویز تزریقی در هر مرحله، امکان اکتشاف تصادفی گام‌به‌گام را فراهم می‌کند. نتیجه، پاداشی وفادارانه برای هر اختلال در معادله دیفرانسیل تصادفی (SDE) است.

تجمیع مزیت چند مقیاسی (Multi-Granularity Advantage Integration):

این مؤلفه، مزیت‌های محاسبه‌شده در چندین مقیاس انتشار را جمع‌آوری کرده و ارزیابی جامع‌تر و مقاوم‌تری از جهت‌های نمونه‌برداری ارائه می‌دهد.

به بیان ساده‌تر، مخزن رسمی G²RPO روشی را پیاده‌سازی کرده که به‌جای یک قضاوت کلی، به هر قدم از فرایند تولید (چه در مدل‌های جریان و چه در مدل‌های انتشار) اعتبار (یا پاداش) جداگانه‌ای اختصاص می‌دهد. این رویکرد به‌طور خاص دو مشکل بنیادین روش‌های پایه GRPO را هدف قرار می‌دهد:

1. پاداش تُنُک و کم‌فرکانس در طول فرایند تولید که اطلاعات دقیقی به مدل نمی‌رساند.
2. دقت پایین سیگنال یادگیری در مراحل میانی حذف نویز، که موجب هم‌راستایی زیربهینه می‌شود.

این روش با رویکرد قبلی (MapReduce LoRA) که بر آموزش موازی متخصصان متمرکز بود، تفاوت اساسی دارد؛ اما هر دو در یک هدف مشترک، یعنی گریز از مالیات هم‌راستایی و رسیدن به تعادل چندترجیحی، همسو هستند. حال که با دو راهکار کلیدی آشنا شدیم، این پرسش مطرح می‌شود که چرا با وجود این پیشرفت‌ها، هیچ ابزاری هنوز به نقطه ایده‌آل نرسیده است؟

چرا هیچ ابزاری کامل نیست؟

اگر همه از مدل‌های پایه مشابهی استفاده می‌کنند، چرا Midjourney در خلق تصاویری رویایی و زیبا دست بالا را دارد، اما گاهی جزئیات پرامپت را رعایت نمی‌کند؟ چرا Stable Diffusion در وفاداری به دستورات پیچیده قدرتمندتر عمل می‌کند، اما خروجی پیش‌فرضش ممکن است از نظر زیبایی‌شناسی چنگی به دل نزند؟ و چرا FLUX به‌عنوان یک گزینه متعادل معرفی می‌شود، اما هنوز هم در برخی سناریوها، مثل نمایش متن‌های طولانی، دچار محدودیت است؟

پاسخ این پرسش‌ها را نباید صرفاً در قدرت مدل پایه جستوجو کرد. ریشه این تفاوت‌ها به فرایند «هم‌راستاسازی» و انتخاب‌های تیم توسعه برمی‌گردد. هر تیم، هنگام آموزش مدل، ناچار است به معیارهای گوناگون مانند زیبایی‌شناسی، وفاداری به پرامپت، سرعت تولید، ایمنی محتوا و میزان کنترلی که به کاربر می‌دهد، وزن (اهمیت) متفاوتی اختصاص دهد. این همان مبادلهٔ معیارها (Metric Trade-off) است که در پس‌زمینه، شخصیت نهایی هر ابزار را شکل می‌دهد. به عبارتی، یک ابزار کامل وجود ندارد؛ بلکه ابزاری وجود دارد که با یک سبد اولویت‌بندی خاص طراحی شده است.

برای روشن‌تر شدن موضوع، به سه نمونه از این مصالحه‌های رایج در ابزارهای تولید تصویر دقت کنید:

این مصالحه‌ها تنها در سطح مدل‌ها خلاصه نمی‌شوند؛ کاربر نهایی نیز باید بر اساس نیاز خود، یکی از این ابزارها را برگزیند. فرض کنید یک طراح پوستر تبلیغاتی نیاز به تصویری دارد که هم از نظر بصری خیره‌کننده باشد و هم متن برند روی آن به‌وضوح خوانده شود.

اگر زیبایی‌شناسی برای او اولویت دارد، Midjourney انتخاب منطقی‌تری است، حتی اگر مجبور باشد چند بار پرامپت را بازنویسی کند تا به نتیجهٔ مطلوب برسد. اما اگر دقت در جزئیات و وفاداری به دستور برایش حیاتی است، Stable Diffusion با کمی دانش فنی و تنظیم دقیق پرامپت، پاسخگوی نیاز او خواهد بود، هرچند خروجی پیش‌فرض ممکن است از نظر هنری چندان چشم‌گیر نباشد. و اگر به دنبال تعادلی نسبی است، FLUX می‌تواند نقطهٔ شروع مناسبی باشد، با این آگاهی که در برخی سناریوهای خاص، مانند نمایش متن‌های طولانی، ممکن است نیاز به ویرایش دستی داشته باشد.

بنابراین، جستوجوی «بهترین مطلق» معنا ندارد. اگر به دنبال ابزاری هستید که بیشترین هماهنگی را با اولویت‌های شما داشته باشد، بهتر است این مصالحه‌ها را بشناسید. برای مقایسه کامل‌تر و آشنایی با گزینه‌های موجود، حتماً مقاله جامع «بهترین ابزار تولید تصویر با هوش مصنوعی» را مطالعه کنید؛ چرا که بهترین ابزار، همواره آن است که با سلیقه و خواست کاربر، همسوترین عملکرد را ارائه دهد. همچنین، درک پایه‌های فنی این مدل‌ها از طریق مطالعهٔ مفاهیم یادگیری ماشین می‌تواند به شما در انتخاب آگاهانه‌تر کمک کند.

کاربرد فراتر از تصویر — از ویدیو تا متن

اگر هم‌راستایی چندترجیحی فقط مشکل تولید تصویر بود، شاید اهمیتش محدود می‌ماند؛ اما واقعیت این است که همین چالش در ویدیو و متن هم وجود دارد. پژوهش MapReduce LoRA نشان داده که روی HunyuanVideo، کیفیت بصری و کیفیت حرکت به‌ترتیب ۴۸.۱٪ و ۹۰.۰٪ بهبود یافته‌اند. این اعداد گویای آن است که روش آموزش موازی متخصصان و ادغام تدریجی، در حوزه‌ای پویا مانند ویدیو نیز به نتیجه نشسته است.

اما چرا این روش‌ها از تصویر به ویدیو و متن تعمیم پیدا می‌کنند؟ پاسخ در ماهیت مشترک فرایند همراستاسازی نهفته است. در تمام این حوزه‌ها، مدل با معیارهای متعدد و گاه متضاد مواجه است: در ویدیو، کیفیت بصری و کیفیت حرکت؛ در متن، مفیدبودن و بی‌خطری. رویکرد چندترجیحی، فارغ از نوع داده، یک چارچوب کلی ارائه می‌دهد که می‌توان آن را با اندکی تنظیم در حوزه‌های مختلف به‌کار گرفت.

البته تفاوت‌هایی نیز وجود دارد؛ برای مثال، مدل‌های زبانی معمولاً به‌صورت خودبرگشتی (Auto-regressive) آموزش می‌بینند، در حالی که مدل‌های انتشار تصویر و ویدیو بر پایهٔ فرایند حذف نویز کار می‌کنند. با این حال، چالش اصلی — یعنی متوازن کردن معیارهای چندگانه — در هر دو دسته مشترک است و روش‌هایی مانند MapReduce LoRA با انعطاف‌پذیری قابل‌توجهی، خود را با این تفاوت‌ها تطبیق داده‌اند.

حتی جالب‌تر، کاربرد این روش در مدل‌های زبانی است. آزمایش روی Llama-2 7B نشان داده که معیار «مفیدبودن» (Helpful) ۴۳.۴٪ و «بی‌خطری» (Harmless) ۱۳۶.۷٪ بهبود پیدا کرده است. این یعنی مدل نه‌تنها پاسخ‌های دقیق‌تری می‌دهد، بلکه همزمان ایمن‌تر نیز عمل می‌کند. اگر می‌خواهید بدانید این مدل‌های زبانی چطور برای کاربردهای خاص آموزش داده می‌شوند، مقالهٔ فاین‌تیونینگ مدل‌های زبانی بزرگ را ببینید.

به طور خلاصه، دامنهٔ این روش‌ها فراتر از یک حوزه است:

1. کاربرد در تولید ویدیو: بهبود هم‌زمان کیفیت حرکت و کیفیت بصری بدون افت یکی به نفع دیگری.
2. کاربرد در مدل‌های زبانی: افزایش مفیدبودن بدون قربانی کردن بی‌خطری.
3. کاربرد در مدل‌های جریان و انتشار: گامی به سوی ابزارهای چندرسانه‌ای آینده که نیازمند هم‌راستایی همزمان در چندین وجه هستند.

روش G²RPO نیز که برای مدل‌های جریان طراحی شده، می‌تواند در تولید ویدیو و صوت نقش مشابهی ایفا کند. پس هم‌راستایی چندترجیحی یک اصل عمومی است، نه یک تکنیک محدود به تصویر.

سخن پایانی

در مسیر آشنایی با هم‌راستایی چندترجیحی (Multi-Preference Alignment)، به سه حقیقت مهم رسیدیم. نخست اینکه مالیات هم‌راستایی، یک پدیدهٔ واقعی و اجتناب‌ناپذیر است؛ هر مدلی برای نزدیک‌شدن به یک ارزش، ناچار بهایی را در جای دیگر می‌پردازد. این مالیات نه یک نقص فنی، بلکه ذاتی فرایند هم‌راستاسازی با ارزش‌های انسانی است و هرچه مدل پیچیده‌تر شود، مدیریت این مبادلهٔ معیارها دشوارتر می‌گردد.

دوم اینکه سال ۲۰۲۶ را می‌توان سال جهش روش‌های هم‌راستاسازی چندهدفه نامید؛ پژوهش‌هایی مانند MapReduce LoRA و G²RPO نشان دادند که می‌توان با طراحی هوشمندانه، مرز پارتو را به نفع چندین معیار همزمان جابجا کرد. این روش‌ها با کنار گذاشتن پاداش تکی و روی‌آوردن به پاداش‌های گام‌به‌گام یا متخصصان موازی، گام‌های بلندی در جهت کاهش مالیات هم‌راستایی برداشته‌اند.

و سوم اینکه برای کاربر نهایی، انتخاب ابزار همواره یک مصالحه است، نه جستوجوی «بهترین مطلق». درک این مصالحه به کاربر کمک می‌کند تا با آگاهی بیشتری ابزار خود را برگزیند و انتظارات واقع‌بینانه‌ای از خروجی آن داشته باشد.

1. مالیات هم‌راستایی، واقعی و اجتناب‌ناپذیر است.
2. سال ۲۰۲۶، سال جهش روش‌های همراستاسازی چندهدفه بود.
3. انتخاب ابزار، همیشه یک مصالحه است، نه یافتن بهترین مطلق.

به نظر شما، کدام ابزار تولید تصویر بهترین تعادل را دارد؟ تجربه‌تان را بنویسید.