استارتاپ Vals با حمایت a16z به دنبال استاندارد طلایی ارزیابی هوش مصنوعی است
معرفی Vals: انقلابی در استانداردسازی ارزیابی هوش مصنوعی
بندانچمارکینگ (Benchmarking) امروزه به استاندارد اصلی صنعت هوش مصنوعی تبدیل شده است. شرکت‌های فعال در این حوزه با استفاده از معیارهای ارزیابی، توانمندی مدل‌های خود را اثبات کرده و در صورت کسب نتایج مثبت، از رقبا پیشی گرفته و برتری خود را تبلیغ می‌کنند. به بیان ساده، نتایج خوب بندانچمارک تقریباً همیشه به معنای روابط عمومی (PR) مثبت و پربازده است.
متأسفانه بسیاری از شرکت‌ها نیز راه‌هایی برای دور زدن سیستم‌های بندانچمارکینگ قدیمی یافته‌اند؛ سیستم‌هایی که اغلب قدیمی بوده و برای سنجش توانمندی‌های مدل‌های مدرن هوش مصنوعی طراحی نشده‌اند. همین شکاف عمیق بین نیازهای صنعت و ابزارهای ارزیابی موجود، بستر شکل‌گیری استارتاپ نوپای Vals شد.
داستان تأسیس و مسیر رشد سریع Vals
Vals یک استارتاپ متولد سال ۲۰۲۴ است که مأموریت خود را رفع این نقص سیستمی تعریف کرده است. این شرکت در کمتر از دو سال توانسته حضور قابل‌توجهی در صنعت فناوری ایجاد کند. پارسال موفق به جذب دور سرمایه‌گذاری Seed با رهبری 8VC و Bloomberg Beta شد و ماه گذشته، پس از دوره‌ای رشد سریع، سرمایه‌گذاری Series A به مبلغ ۴۰ میلیون دلار را با رهبری اندریسن هوروویتز (Andreessen Horowitz) تکمیل کرد.
رایان کریشنان (Rayan Krishnan)، بنیان‌گذار ۲۵ ساله این شرکت، پیش از تأسیس Vals در شرکت پالانتیر (Palantir) کارآموزی کرده بود. او همچنین در دوران تحصیل کارشناسی در دانشگاه استنفورد، برای مایکروسافت و آزمایشگاه هوش مصنوعی آن دانشگاه که بسیار مورد تحسین است، فعالیت داشته است. کریشنان می‌گوید Vals زاییده مشاهده‌های شخصی او درباره اینکه چگونه سیستم‌های ارزیابی از پیشرفت‌های صنعتی که قرار بود سنجش آن‌ها را انجام دهند، عقب مانده‌اند، به وجود آمده است.
او در این باره می‌گوید: «ما شاهد ورود مدل‌های بسیار توانمند جدیدی بودیم که با سرعت زیادی به بازار می‌آمدند، اما بندانچمارک‌های آکادمیک نمی‌توانستند با این پیشرفت مرزی هماهنگ باشند.» او اضافه می‌کند: «با توجه به نفوذ هوش مصنوعی در تمامی بخش‌های جامعه، معیارهای ارزیابی باید واقعاً تأیید کنند که مدل‌ها می‌توانند آنچه شرکت‌ها ادعا می‌کنند انجام دهند.»
دفتر مرکزی Vals در خیابان فولسوم سان‌فرانسیسکو
هفته گذشته، این بنیان‌گذار جوان دفتر دو طبقه شرکت خود را در خیابان فولسوم سان‌فرانسیسکو معرفی کرد؛ ساختمان آجری قدیمی که یک قرن پیش محل یک brewery بزرگ بوده است. به جای خروجی صنعتی آبجو، این سازه تاریخی اکنون میزبان چندین استارتاپ است که قصد دارند آینده صنعت فناوری را شکل دهند.
کریشنان در توصیف رویکرد سنتی ارزیابی می‌گوید: «به طور تاریخی، ارزیابی‌ها به شیوه‌ای انتزاعی از سنجش هوش انجام می‌شدند. مثلاً آیا مدل‌ها اطلاعات کافی برای گذراندن آزمون وکلای دادگستری (Bar Exam) را دارند؟»
تمایز Vals از سایر سیستم‌های بندانچمارکینگ
در این نقطه، Vals تلاش می‌کند تفاوت خود را با رقبا نشان دهد. در حالی که بسیاری از سیستم‌های بندانچمارکینگ، آزمون‌های عمومی و در دسترس ارائه می‌دهند (که این امکان را به شرکت‌ها می‌دهد تا مدل خود را بر اساس آن آزمون‌ها آموزش دهند و عملاً تقلب کنند)، Vals مواد آزمون خاص خود را به صورت عمومی افشا نمی‌کند.
اما تمایز مهم‌تر اینجاست: Vals فراتر از سنجش دانش عمومی مدل‌های هوش مصنوعی، توانایی آن‌ها را در انجام وظایف پیچیده مرتبط با صنایع خاصی مانند حقوق، مالی و کدنویسی نیز ارزیابی می‌کند.
کریشنان درباره این رویکرد توضیح می‌دهد: «آنچه ما انجام می‌دهیم، بررسی تأثیرات واقعی مدل‌هاست. آیا آن‌ها می‌توانند کاری را انجام دهند که محصولی با کیفیت مشابه انسان در هر حوزه‌ای تولید کند؟»
سنجش جنبه‌های منفی و ایمنی
ایده اصلی این است که نه تنها پیامدهای مثبت، بلکه پیامدهای منفی نیز بررسی شوند. هدف این است که تحلیل شود «اگر این مدل‌ها بدون کنترل در جهان اجرا شوند، چه پیامدهای منفی‌ای خواهند داشت.»
قابلیت‌هایی که Vals اندازه‌گیری می‌کند، روز به روز در حال گسترش است. علاوه بر صنایع سنتی‌تر، این استارتاپ به سمت عرصه‌های منحصربه‌فردتری حرکت می‌کند. کریشنان در این باره می‌گوید: «ما یک بندانچمارک برای بهبود خودارجاعی (Recursive Self-Improvement) داریم. همچنین در حوزه‌های سلامت روان، امنیت سایبری، بیوایمنی و حتی قانون جنگ مسلحانه کار می‌کنیم تا درک کنیم چگونه اصل کنوانسیون ژنو باید بر مدل‌های هوش مصنوعی اعمال شود.»
مدل درآمدی Vals: چرا شرکت‌ها برای ارزیابی پول پرداخت می‌کنند؟
شرکت‌ها به Vals پرداخت می‌کنند تا مدل‌های آن‌ها را تست کند؛ مفهومی که شاید در ابتدا عجیب به نظر برسد. چرا یک شرکت باید پول بپردازد تا بداند مدلش به خوبی عملکرد ندارد؟ اما داشتن یک اندازه‌گیری مؤثر به شرکت‌ها کمک می‌کند تا مشکلات را شناسایی کرده و در طول زمان مدل خود را بهبود بخشند. کریشنان مدل درآمدی شرکت خود را به این مقایسه تشبیه می‌کند: همان‌طور که یک دانش‌آموز برای شرکت در آزمون SAT به سازمان College Board پرداخت می‌کند.
در مقابل، این ارزیابی‌ها به فاکتورهای کلیدی تصمیم‌گیری برای شرکت‌هایی تبدیل شده‌اند که به دنبال کسب مدل‌های هوش مصنوعی جدید هستند.
عملکرد مالی و برنامه‌های آینده Vals
این استارتاپ اخیراً اعلام کرده است که درآمد فعلی آن هشت برابر درآمد پارسال بوده است. نیروی انسانی آن نیز در حال رشد است. Vals که سال را با تنها ۸ نفر آغاز کرد، اکنون تیمش به ۲۵ نفر سه برابر شده است. کریشنان گفت که با رشد استارتاپ، برنامه جابجایی به دفتر بزرگ‌تری به همراه استخدام ۱۰ تا ۱۵ نفر بیشتر است.
همچنین این شرکت اخیراً برنامه‌ای را به مرکزیت ارائه ارزیابی‌های مدل به نهادهای فدرال راه‌اندازی کرده است.
چشم‌انداز آینده: بندانچمارکینگ به عنوان ستون اعتماد عمومی
کریشنان سیستم بندانچمارکینگ شرکت خود را آینده شیوه‌ای می‌بیند که شرکت‌های هوش مصنوعی به رشد کسب‌وکار خود و ایجاد اعتماد عمومی فکر می‌کنند.
او در این باره می‌گوید: «شرکت‌های هوش مصنوعی در حال حاضر عمومی می‌شوند. SpaceX عمومی شد. Anthropic برای اواخر امسال برنامه‌ریزی شده است. من معتقدم OpenAI به زودی عمومی خواهد شد. وقتی مدل‌های هوش مصنوعی به بخشی محوری از اقتصاد تبدیل شوند و گسترش یابند، انواع بندانچمارک‌ها و ارزیابی‌هایی که ما انجام می‌دهیم، راننده اصلی استفاده از آن‌ها خواهد بود و بخش مرکزی چگونگی ارائه گزارش‌های عمومی یا صحبت درباره سرمایه‌گذاری‌های آتی این شرکت‌ها در هوش مصنوعی خواهد بود.»
بنیان‌گذار Vals معتقد است که معیارهای ارزیابی هوش مصنوعی به زودی به بخش جدایی‌ناپذیری از گزارش‌های عمومی و تصمیم‌گیری‌های سرمایه‌گذاری شرکت‌های بزرگ هوش مصنوعی تبدیل خواهند شد.
پرسش‌های متداول
Vals دقیقاً چه کاری انجام می‌دهد و چرا مهم است؟
Vals یک استارتاپ ارزیابی هوش مصنوعی است که مدل‌های AI را بر اساس وظایف واقعی و پیچیده صنایعی مانند حقوق، مالی، کدنویسی، امنیت سایبری و بیوایمنی تست می‌کند. تفاوت اصلی آن با سیستم‌های سنتی این است که آزمون‌هایش عمومی نیستند و بنابراین شرکت‌ها نمی‌توانند مدل‌های خود را برای تقلب بر اساس سوالات آزمون آموزش دهند.
سرمايه‌گذاري ۴۰ ميليون دلاري Vals توسط اندريسن هوروويتز به چه معناست؟
این سرمایه‌گذاری Series A نشان‌دهنده اعتماد یکی از بزرگ‌ترین و معتبرترین شرکت‌های سرمایه‌گذاری خطرپذیر جهان به مدل ارزیابی Vals است. این موضوع همچنین تأیید می‌کند که صنعت هوش مصنوعی به دنبال استانداردهای جدید و قابل‌اعتمادتری برای سنجش توانمندی مدل‌هاست.
چرا شرکت‌ها حاضرند پول پرداخت کنند تا ارزیابی شوند؟
ارزیابی‌های Vals به شرکت‌ها کمک می‌کند نقاط ضعف مدل‌های خود را شناسایی کنند، آن‌ها را بهبود بخشند و همچنین داده‌های معتبری برای ارائه به سرمایه‌گذاران، شرکای تجاری و نهادهای نظارتی داشته باشند. در نهایت، این ارزیابی‌ها به فاکتور کلیدی تصمیم‌گیری در فرآیند خرید و توسعه مدل‌های هوش مصنوعی تبدیل شده‌اند.
