همکاری اپل و انویدیا در فناوری ReDrafter پردازش گرافیکی

اپل از همکاری جدید خود با انویدیا برای تسریع استنتاج مدل‌های زبانی بزرگ با استفاده از فناوری منبع باز Recurrent Drafter (یا به اختصار ReDrafter) خبر داد. این همکاری به منظور حل چالش‌های محاسباتی در تولید توکن‌های خودکار طراحی شده است که نقش مهمی در بهبود کارایی و کاهش تاخیر در برنامه‌های کاربردی LLM (مدل‌های زبانی بزرگ) دارند.

به گزارش سرویس رسانه اخبار فناوری تکنا، فناوری ReDrafter که اپل آن را در نوامبر 2024 معرفی کرد، با استفاده از مدل پیش‌نویس شبکه عصبی بازگشتی (RNN)، جستجوی پرتویی و توجه پویای درخت، رویکردی مبتنی بر رمزگشایی احتمالی را اتخاذ می‌کند. بر اساس ارزیابی‌های اپل، این روش توانسته است تا 2.7 برابر توکن بیشتری در ثانیه نسبت به روش‌های سنتی تولید کند.

ReDrafter از طریق ادغام با چارچوب TensorRT-LLM انویدیا، امکان استنتاج سریع‌تر مدل‌های زبانی بزرگ را بر روی پردازنده‌های گرافیکی انویدیا فراهم می‌آورد. این پردازنده‌ها به طور گسترده در محیط‌های تولید استفاده می‌شوند. برای سازگاری با الگوریتم‌های ReDrafter، انویدیا عملگرهای جدیدی معرفی کرده و عملگرهای موجود را در TensorRT-LLM تنظیم کرده است. این فناوری اکنون برای توسعه‌دهندگانی که به دنبال بهینه‌سازی عملکرد مدل‌های بزرگ‌مقیاس هستند، در دسترس قرار گرفته است.

علاوه بر افزایش سرعت، اپل معتقد است که ReDrafter قادر به کاهش تاخیر برای کاربران است، در حالی که نیاز به GPU کمتری دارد. این بهبود کارایی نه تنها هزینه‌های محاسباتی را کاهش می‌دهد، بلکه مصرف انرژی را هم پایین می‌آورد. این ویژگی‌ها برای سازمان‌هایی که به مدیریت استقرارهای هوش مصنوعی بزرگ‌مقیاس مشغول هستند، حیاتی به شمار می‌آید.

اگرچه تمرکز این همکاری در حال حاضر بر روی زیرساخت‌های انویدیا است، اما احتمال دارد که در آینده مزایای مشابهی به GPUهای رقیب مانند AMD یا Intel نیز گسترش یابد.

انور لئون از مسئولان انویدیا، در این باره می‌گوید: «این همکاری باعث تقویت TensorRT-LLM شده و به جامعه LLM این امکان را می‌دهد که مدل‌های پیچیده‌تری را توسعه دهد و به راحتی آن‌ها را با این پلتفرم مستقر کند. این ویژگی‌های جدید امکانات جدیدی را ایجاد می‌کنند و ما منتظر نسل بعدی مدل‌های پیشرفته‌ای هستیم که از قابلیت‌های TensorRT-LLM بهره‌مند خواهند شد.»