مایکروسافت از Muse رونمایی کرده است؛ یک مدل هوش مصنوعی مولد که با هدف کمک به ایده‌پردازی و توسعه گیم‌پلی بازی‌های ویدئویی طراحی شده است. این پژوهش که در مجله علمی Nature منتشر شده، نخستین مدل جهان و کنش انسانی (World and Human Action Model یا WHAM) را معرفی می‌کند. Muse یک مدل هوش مصنوعی مولد از محیط بازی‌های ویدئویی است که می‌تواند تصاویر بازی، حرکات و ورودی‌های کنترلر یا هر دو را به‌صورت هم‌زمان تولید کند.

در این مقاله می‌خوانیم:

نمایش بیشتر نمایش کمتر

این مدل توسط تیم‌های Game Intelligence و Teachable AI Experiences (TAIX) در بخش Microsoft Research و با همکاری استودیوی Ninja Theory از مجموعه Xbox Game Studios توسعه یافته است.

مایکروسافت برای فراهم‌کردن امکان بررسی و توسعه بیشتر این فناوری توسط سایر پژوهشگران، وزن‌های مدل (Model Weights) و داده‌های نمونه آن را نیز منتشر کرده است. همچنین ابزار WHAM Demonstrator در دسترس قرار گرفته است؛ یک نمونه اولیه مفهومی که رابطی بصری برای تعامل با مدل‌های WHAM و روش‌های مختلف ارسال دستور به آن‌ها فراهم می‌کند. توسعه‌دهندگان می‌توانند از طریق پلتفرم Azure AI Foundry به وزن‌های مدل، داده‌های نمونه و ابزار WHAM Demonstrator دسترسی داشته باشند و با آن‌ها آزمایش کنند.

تمرکز اصلی این پژوهش بر بررسی قابلیت‌هایی است که مدل‌هایی مانند Muse برای پشتیبانی موثر از طراحان و افراد خلاق به آن‌ها نیاز دارند. این پروژه نه‌تنها نشان می‌دهد که چنین مدلی تا چه اندازه می‌تواند ساختار پیچیده دنیای یک بازی را یاد بگیرد، بلکه مسیر تبدیل دستاوردهای پژوهشی به کاربردهای خلاقانه هوش مصنوعی مولد را نیز مشخص می‌کند.

Muse چگونه گیم‌پلی بازی‌ها را بازسازی می‌کند؟

Muse بر اساس مدل WHAM-1.6B می‌تواند توالی‌های پیچیده‌ای از اتفاقات بازی را تولید کند و انسجام آن‌ها را در طول چند دقیقه حفظ کند. این مدل با استفاده از 10 فریم ابتدایی (معادل یک ثانیه) از گیم‌پلی واقعی بازیکنان و ورودی‌های کنترلر مربوط به ادامه بازی آموزش داده می‌شود.

در این فرایند، Muse در حالت مدل جهان (World Model Mode) فعالیت می‌کند؛ به این معنا که با دریافت اطلاعات اولیه، روند احتمالی ادامه بازی را پیش‌بینی می‌کند.

هرچه توالی تولیدشده شباهت بیشتری به گیم‌پلی واقعی داشته باشد، نشان می‌دهد که Muse توانسته است پویایی‌ها و قوانین حاکم بر آن بازی را دقیق‌تر یاد بگیرد. این موضوع اهمیت زیادی دارد؛ زیرا هدف صرفاً تولید تصاویر مشابه بازی نیست، بلکه مدل باید ارتباط میان اقدامات بازیکن، رفتار شخصیت‌ها و اتفاقات محیط را نیز درک کند.

microsoft muse ai

چه چیزی انگیزه توسعه Muse را ایجاد کرد؟

پروژه Muse از یک پرسش اساسی درباره آینده هوش مصنوعی و بازی‌های ویدئویی شکل گرفت. در دسامبر 2022، هم‌زمان با انتشار عمومی ChatGPT، توانایی‌های مدل‌های مولد مبتنی بر معماری ترنسفورمر (Transformer) توجه بسیاری از پژوهشگران را به خود جلب کرد.

این مدل‌ها با آموزش روی حجم زیادی از داده‌های متنی توانسته بودند قابلیت‌های چشمگیری از خود نشان دهند. همین پیشرفت این پرسش را مطرح کرد که آیا می‌توان از رویکردی مشابه برای داده‌های بازی‌های ویدئویی استفاده کرد؟

پرسش اصلی تیم پژوهشی مایکروسافت این بود: اگر یک مدل مبتنی بر معماری ترنسفورمر را با حجم زیادی از داده‌های واقعی گیم‌پلی آموزش دهیم، چه توانایی‌هایی به دست خواهد آورد؟

فرصت تازه پژوهشی با استفاده از داده‌های گیم‌پلی

تیم Microsoft Research به منبع داده‌ای متفاوت دسترسی داشت. این مجموعه سال‌ها با استودیوی Ninja Theory از زیرمجموعه Xbox Game Studios همکاری کرده بود تا داده‌های گیم‌پلی بازی Bleeding Edge محصول سال 2020 را جمع‌آوری کند.

Bleeding Edge یک بازی رقابتی آنلاین با ساختار 4 در برابر 4 است. مسابقات این بازی در صورت موافقت بازیکن با توافق‌نامه مجوز کاربر نهایی (EULA) ضبط می‌شوند. تیم پژوهشی برای اطمینان از جمع‌آوری اخلاقی داده‌ها و استفاده مسئولانه از آن‌ها در پژوهش، همکاری نزدیکی با همکاران خود در Ninja Theory و تیم‌های انطباق و نظارت مایکروسافت داشت.

گاوین کاستلو (Gavin Costello)، مدیر فنی استودیوی Ninja Theory، درباره این همکاری می‌گوید:

«دیدن تنوع روش‌هایی که Microsoft Research برای استفاده از محیط و داده‌های Bleeding Edge و بررسی تکنیک‌های جدید در صنعت پرسرعت هوش مصنوعی به کار گرفته، واقعاً شگفت‌انگیز بوده است. از هکاتونی که نقطه شروع این مسیر بود و نخستین ادغام هوش مصنوعی با Bleeding Edge را رقم زد، تا ساخت عامل‌های هوشمندی که رفتارشان بیشتر به بازیکنان انسانی شباهت داشت و در نهایت توسعه مدل جهان و کنش انسانی که می‌تواند با راهنمایی انسان، توالی‌های کاملاً جدیدی از گیم‌پلی Bleeding Edge خلق کند؛ تمام این مراحل دیدگاه تازه‌ای از ظرفیت این فناوری در اختیار ما قرار داده‌اند.»

تا اواخر سال 2022، تیم پژوهشی از Bleeding Edge عمدتاً به‌عنوان بستری برای آزمایش روش‌های مسیریابی و حرکت شبیه به انسان استفاده می‌کرد. بااین‌حال، هنوز استفاده موثری از حجم گسترده داده‌های بازیکنان واقعی انجام نشده بود.

با مشاهده توانایی‌های چشمگیر مدل‌های زبانی، پرسش بعدی کاملاً مشخص بود: اگر یک مدل مبتنی بر معماری ترنسفورمر را با حجم زیادی از داده‌های واقعی گیم‌پلی آموزش دهیم، به چه دستاوردهایی می‌توانیم برسیم؟

چرا داده‌های بازیکنان واقعی اهمیت دارند؟

داده‌های جمع‌آوری‌شده از بازی Bleeding Edge این فرصت را فراهم می‌کردند که مدل به‌جای یادگیری صرفاً از تصاویر یا قوانین از پیش تعریف‌شده، رفتار واقعی بازیکنان را بررسی کند.

این داده‌ها شامل تصاویر بازی و ورودی‌های کنترلر بودند؛ بنابراین مدل می‌توانست ارتباط میان اقدامات بازیکن و اتفاقاتی را که در محیط بازی رخ می‌دهند، یاد بگیرد. چنین رویکردی پایه اصلی توسعه Muse را شکل داد و امکان آموزش مدلی را فراهم کرد که بتواند هم تصاویر و هم اقدامات مرتبط با گیم‌پلی را پیش‌بینی کند.

افزایش مقیاس آموزش مدل

با آغاز فعالیت تیم روی پروژه، یکی از چالش‌های اصلی، افزایش مقیاس فرایند آموزش مدل بود. تیم در ابتدا از یک خوشه پردازشی مبتنی بر پردازنده‌های گرافیکی V100 استفاده کرد و توانست امکان افزایش مقیاس آموزش تا 100 پردازنده گرافیکی را بررسی و اثبات کند. این مرحله در نهایت مسیر را برای آموزش گسترده‌تر مدل روی پردازنده‌های H100 هموار کرد.

برخی از تصمیم‌های مهم طراحی در مراحل اولیه، بر استفاده موثر از تجربه‌های به‌دست‌آمده در جامعه توسعه‌دهندگان مدل‌های زبانی بزرگ (LLM) متمرکز بودند. از جمله این تصمیم‌ها می‌توان به روش مناسب نمایش ورودی‌های کنترلر و به‌خصوص تصاویر اشاره کرد؛ موضوعی که برای آموزش مدلی با قابلیت درک و پیش‌بینی گیم‌پلی اهمیت زیادی داشت.

نخستین نشانه‌های موفقیت در آموزش Muse

اولین نشانه جدی از نتیجه‌بخش بودن تلاش‌های تیم برای افزایش مقیاس آموزش، در قالب یک آزمایش مقایسه‌ای ظاهر شد.

تیم پیرس (Tim Pearce)، که در آن زمان پژوهشگر بخش Game Intelligence بود، نمونه‌هایی از خروجی مدل را در مراحل ابتدایی و مراحل پیشرفته‌تر آموزش آماده کرده بود. مقایسه این نمونه‌ها نشان می‌داد که مدل چگونه به‌تدریج در حال یادگیری است؛ فرایندی که به‌خوبی پیشرفت توانایی‌های مدل در درک محیط بازی را نشان می‌داد.

این دستاورد زمینه‌ساز پژوهش‌های بعدی درباره ظهور قوانین مقیاس‌پذیری (Scaling Laws) در چنین مدل‌هایی شد؛ قوانینی که رابطه میان افزایش منابع آموزشی، اندازه مدل و بهبود عملکرد آن را بررسی می‌کنند.

همکاری میان‌رشته‌ای؛ مشارکت کاربران از همان ابتدا

تیم پژوهشی از همان مراحل اولیه، بررسی روش‌های ارزیابی این نوع مدل‌ها را آغاز کرده بود. برای مثال، هدف این بود که با استفاده از روش کاوش خطی (Linear Probing)، بازنمایی‌هایی که مدل در فرایند یادگیری به دست می‌آورد بررسی شوند. این بخش با هدایت گونشی گوپتا (Gunshi Gupta)، پژوهشگر کارآموز، و سرجیو والکارسل ماکوا (Sergio Valcarcel Macua)، پژوهشگر ارشد، انجام شد.

همچنین ارزیابی برخط (Online Evaluation) با هدایت رالوکا جورجسکو (Raluca Georgescu)، پژوهشگر ارشد، و تولید هم‌زمان تصاویر و اقدامات که در ابتدا با عنوان Full Dreaming شناخته می‌شد، با هدایت تارون گوپتا (Tarun Gupta)، پژوهشگر کارآموز، مورد بررسی قرار گرفت.

بااین‌حال، تدوین روشی نظام‌مند برای ارزیابی Muse به دیدگاه‌های گسترده‌تری نیاز داشت. مهم‌تر از همه، باید درک می‌شد که افراد و طراحان بازی چگونه ممکن است از این مدل‌ها استفاده کنند؛ زیرا بدون شناخت کاربردهای واقعی، نمی‌توان معیارهای مناسبی برای ارزیابی آن‌ها تعیین کرد.

نقش طراحان بازی در توسعه قابلیت‌های هوش مصنوعی

در این مرحله، همکاری میان‌رشته‌ای اهمیت ویژه‌ای پیدا کرد. تیم پژوهشی طی چند ماه درباره جنبه‌های مختلف این پروژه با سسیلی موریسون (Cecily Morrison)، مدیر ارشد پژوهشی، و تیم Teachable AI Experiences گفت‌وگو کرده بود.

پیش از آن نیز با گروهی از طراحان و سازندگان بازی همکاری شده بود تا مشخص شود آن‌ها چگونه می‌خواهند از قابلیت‌های هوش مصنوعی مولد در فرایند خلاقانه خود استفاده کنند. این همکاری با هدایت سسیلی موریسون، لیندا ون (Linda Wen)، پژوهشگر طراحی، و مارتین گریسون (Martin Grayson)، مهندس ارشد توسعه نرم‌افزار پژوهشی، انجام شد.

سسیلی موریسون درباره اهمیت این همکاری می‌گوید:

«این فرصت فوق‌العاده‌ای بود که از همان مراحل ابتدایی با یکدیگر همکاری کنیم و قابلیت‌های مدل را متناسب با نیازهای افراد خلاق شکل دهیم؛ به‌جای اینکه ابتدا یک فناوری را به‌طور کامل توسعه دهیم و سپس تلاش کنیم آن را با نیازهای کاربران تطبیق دهیم.»

لیندا ون نیز درباره رویکرد تیم توضیح می‌دهد:

«ما دیده‌ایم که نوآوری‌های هوش مصنوعی مبتنی بر فناوری چگونه صنعت خلاق را تحت تاثیر قرار داده‌اند؛ در بسیاری از موارد، این تغییرات بدون آمادگی قبلی اتفاق افتاده و باعث شده‌اند بسیاری از خالقان آثار هنری احساس کنند از این فرایند کنار گذاشته شده‌اند.

به همین دلیل، از همان ابتدا از طراحان و سازندگان بازی دعوت کردیم تا در شکل‌گیری این فناوری مشارکت داشته باشند. همچنین با توجه به اینکه بخش زیادی از نوآوری‌های هوش مصنوعی در کشورهای توسعه‌یافته نیمکره شمالی شکل می‌گیرند، جذب طراحان بازی از مناطق جغرافیایی و پیشینه‌های کمتر نمایندگی‌شده را در اولویت قرار دادیم. هدف ما توسعه فناوری‌ای بود که برای همه سودمند باشد، نه فقط افرادی که از ابتدا در موقعیت‌های برخوردار از امتیاز و فرصت قرار دارند.»

ایجاد کاربردهای خلاقانه جدید با WHAM Demonstrator

با در نظر گرفتن قابلیت‌های نوظهور مدل و اطلاعاتی که از کاربران به دست آمده بود، زمان آن رسیده بود که تمام بخش‌های پروژه در کنار یکدیگر قرار بگیرند.

تیم‌ها در جریان یک هکاتون داخلی مایکروسافت با یکدیگر همکاری کردند تا روش‌های جدید تعامل با Muse و کاربردهای خلاقانه‌ای را بررسی کنند که این مدل می‌توانست در اختیار کاربران قرار دهد. نتیجه این همکاری، توسعه یک نمونه اولیه با نام WHAM Demonstrator بود که امکان تعامل مستقیم با مدل را فراهم می‌کرد.

مارتین گریسون درباره این پروژه می‌گوید:

«هکاتون جهانی فرصت مناسبی بود تا همه اعضای تیم کنار یکدیگر جمع شوند و نخستین نمونه اولیه عملیاتی خود را بسازند. هدف ما توسعه رابطی برای مدل WHAM بود که به ما اجازه دهد ظرفیت‌های خلاقانه آن را بررسی کنیم و ایده‌ها و کاربردهایی را که از مصاحبه با توسعه‌دهندگان بازی به دست آورده بودیم، آزمایش کنیم.»

WHAM Demonstrator

WHAM Demonstrator چگونه کار می‌کند؟

WHAM Demonstrator یک رابط بصری برای تعامل با مدل‌های جهان و کنش انسانی مانند Muse ارائه می‌دهد. کاربران از طریق این ابزار می‌توانند با یک نمونه فعال از مدل ارتباط برقرار کنند و با استفاده از روش‌های مختلف ورودی، نحوه تولید خروجی‌های آن را بررسی کنند.

این ابزار در واقع پلی میان قابلیت‌های فنی مدل و کاربردهای عملی آن برای طراحان بازی محسوب می‌شود. به کمک آن، پژوهشگران و توسعه‌دهندگان می‌توانند رفتار مدل را در شرایط مختلف آزمایش کنند و بهتر متوجه شوند که این فناوری چگونه می‌تواند در فرایند ایده‌پردازی و طراحی بازی به کار گرفته شود.

شناسایی قابلیت‌های کلیدی و روش ارزیابی آن‌ها

تجربه عملی کار با Muse از طریق WHAM Demonstrator و همچنین بررسی نتایج مطالعات کاربران، به تیم پژوهشی کمک کرد تا قابلیت‌هایی را که طراحان بازی برای استفاده از مدل‌های مولد مانند Muse به آن‌ها نیاز دارند، به‌صورت نظام‌مند شناسایی کند.

این فرایند در نهایت به تدوین پروتکل‌های ارزیابی برای سه قابلیت اصلی منجر شد: انسجام (Consistency)، تنوع (Diversity) و ماندگاری (Persistency).

انسجام؛ هماهنگی رفتار مدل با قوانین بازی

انسجام به توانایی مدل در تولید توالی‌های گیم‌پلی اشاره دارد که با قوانین و پویایی‌های بازی مطابقت داشته باشند.

برای مثال، اگر بازیکن با استفاده از کنترلر شخصیت را به سمت جلو حرکت دهد، مدل باید حرکت شخصیت را متناسب با همان ورودی تولید کند. همچنین شخصیت نباید از دیوارها عبور کند و رفتار آن باید به‌طور کلی با قوانین فیزیکی و مکانیک‌های بازی هماهنگ باشد.

تنوع؛ تولید مسیرهای متفاوت از یک نقطه شروع

تنوع به توانایی مدل برای تولید نسخه‌های مختلفی از گیم‌پلی با استفاده از یک ورودی اولیه یکسان اشاره دارد.

به عبارت دیگر، اگر مدل با یک صحنه و شرایط اولیه مشخص روبه‌رو شود، باید بتواند مسیرهای متفاوتی از ادامه بازی را تولید کند. این قابلیت اهمیت زیادی در فرایند ایده‌پردازی دارد؛ زیرا به طراحان اجازه می‌دهد چندین احتمال و سناریوی متفاوت را از یک موقعیت اولیه بررسی کنند.

ماندگاری؛ حفظ تغییرات اعمال‌شده توسط کاربر

ماندگاری به توانایی مدل برای حفظ تغییراتی اشاره دارد که کاربر در توالی گیم‌پلی ایجاد می‌کند.

برای مثال، فرض کنید یک شخصیت جدید به تصویر اصلی بازی اضافه شود. مدل باید بتواند این تغییر را در خروجی‌های بعدی حفظ کند و توالی‌های جدیدی از گیم‌پلی تولید کند که شخصیت اضافه‌شده همچنان در آن‌ها حضور داشته باشد.

این قابلیت نشان می‌دهد که Muse صرفاً تصاویر را بازسازی نمی‌کند، بلکه می‌تواند تغییرات اعمال‌شده در ورودی را در ادامه فرایند تولید نیز حفظ کند.

بهبود کیفیت تصاویر و افزایش اندازه مدل

پس از آماده‌سازی چارچوب ارزیابی و دسترسی به منابع پردازشی H100، تیم توانست نمونه‌های مختلف Muse را بیشتر بهبود دهد.

یکی از این پیشرفت‌ها، استفاده از رمزگذارهای تصویری با وضوح بالاتر (Image Encoders) بود. مدل‌های فعلی تصاویر را با وضوح 300 در 180 پیکسل تولید می‌کنند؛ درحالی‌که وضوح مدل‌های اولیه تنها 128 در 128 پیکسل بود.

علاوه بر این، اندازه مدل‌ها افزایش پیدا کرد و دامنه آزمایش‌ها به هر هفت نقشه بازی Bleeding Edge گسترش یافت.

این تغییرات به Muse کمک کردند تا محیط‌های متنوع‌تری را پردازش کند و خروجی‌هایی با جزئیات تصویری بیشتر و انسجام بالاتر تولید کند.

تابیش رشید (Tabish Rashid)، پژوهشگر ارشد، درباره تجربه استفاده از منابع پردازشی H100 می‌گوید:

«در ابتدا دریافت دسترسی به مجموعه پردازنده‌های H100 کمی دلهره‌آور بود؛ به‌خصوص در مراحل اولیه که باید راهی برای استفاده موثر از آن‌ها و افزایش مقیاس مدل‌ها با رمزگذارهای تصویری جدید پیدا می‌کردیم.

پس از ماه‌ها آزمایش، دیدن خروجی مدل روی نقشه‌ای متفاوت بسیار رضایت‌بخش بود؛ البته نباید از فضای سرسبز و زیبای Skygarden هم غافل شد! همچنین دیگر لازم نبود برای دیدن جزئیات تصاویر کوچک، تا این اندازه به صفحه نمایش نزدیک شویم. فکر می‌کنم در این مرحله، بسیاری از ما آن‌قدر خروجی‌های تولیدشده با Muse را بررسی کرده‌ایم که حتی ظاهر نسخه واقعی بازی را هم فراموش کرده‌ایم.»

حفظ تغییرات و افزودن عناصر جدید به گیم‌پلی

یکی از قابلیت‌های مهم Muse، امکان دریافت نسخه‌های ویرایش‌شده از توالی‌های گیم‌پلی و حفظ عناصر جدیدی است که به آن‌ها اضافه می‌شوند.

برای مثال، می‌توان یک شخصیت جدید را به تصویر اصلی بازی اضافه کرد و سپس تصویر ویرایش‌شده را به‌عنوان ورودی در اختیار مدل قرار داد. Muse می‌تواند شخصیت اضافه‌شده را در خروجی‌های خود حفظ کند و نسخه‌های مختلف و قابل‌باوری از ادامه گیم‌پلی را بر اساس نقطه شروع جدید تولید کند.

این قابلیت برای طراحان بازی اهمیت زیادی دارد؛ زیرا آن‌ها می‌توانند عناصر مختلفی را به یک صحنه اضافه کنند و ببینند که این تغییرات چگونه می‌توانند مسیر ادامه بازی را تحت تاثیر قرار دهند.

جمع‌بندی

تیم Microsoft Research پژوهش خود درباره Muse را در مجله Nature منتشر کرده و هم‌زمان وزن‌های مدل، ابزار WHAM Demonstrator و داده‌های نمونه را در اختیار جامعه پژوهشی قرار داده است.

Muse نشان می‌دهد که هوش مصنوعی مولد می‌تواند فراتر از تولید تصاویر و ویدئوهای ساده عمل کند و با یادگیری از داده‌های واقعی گیم‌پلی، ارتباط میان حرکات بازیکن و اتفاقات محیط بازی را نیز مدل‌سازی کند.

قابلیت‌هایی مانند انسجام، تنوع و ماندگاری می‌توانند به طراحان کمک کنند تا سناریوهای مختلف را بررسی کنند، تغییرات جدیدی به محیط بازی اضافه کنند و ایده‌های خود را پیش از پیاده‌سازی نهایی توسعه دهند.

این فناوری و پژوهش‌های آینده می‌توانند به درک بهتر نقش هوش مصنوعی مولد در طراحی گیم‌پلی کمک کنند و مسیر را برای تجربه‌های جدید بازی‌محور مبتنی بر هوش مصنوعی هموار سازند؛ از جمله کاربردهایی که همکاران مایکروسافت در Xbox بررسی آن‌ها را آغاز کرده‌اند.

منبع اصلی: