নতুন এআই পরীক্ষায় সেরা মডেলও পেল মাত্র ১২ শতাংশ

এআই গবেষণা প্রতিষ্ঠান সেমিঅ্যানালাইসিস সোমবার (২ নভেম্বর) জিডিপিএক্স নামে নতুন একটি পরীক্ষা বা বেঞ্চমার্ক প্রকাশ করেছে। প্রথম সংস্করণে ১৩টি মডেলকে ১১টি ক্ষেত্রের ২০৬টি কাজ দেওয়া হয়। সেরা মডেলের স্কোর মাত্র ১২ শতাংশ।

কে কত পেল

• Claude Opus 5.5: ১২ শতাংশ, প্রতি কাজে খরচ প্রায় ৫১.৪১ ডলার
• জেমিনি ৪ কার্বন: ১০.৯ শতাংশ, প্রায় ১৬.২৯ ডলার
• জিপিটি-৬ অ্যাস্ট্রা: ৯.৬ শতাংশ, প্রায় ৫৩.৯৯ ডলার
• মেটার Muse Wonder Full: ৯ শতাংশ

চিপ নকশা, কোয়ান্ট ট্রেডিং ও হার্ডওয়্যার নকশায় এগিয়ে Opus 5.5। জীববিজ্ঞান ও সফটওয়্যার প্রকৌশলে জেমিনি ৪ কার্বন, উপকরণ বিজ্ঞান ও এআইয়ের নিজেকে উন্নত করার কাজে জিপিটি-৬ অ্যাস্ট্রা, আর সাইবার নিরাপত্তায় মেটার মডেল।

স্কোর এত কম কেন

নির্মাতাদের দাবি, এখানে প্রশ্নের মধ্যেই সব তথ্য গুছিয়ে দেওয়া হয় না। মডেলকে বাস্তবের মতো পরিবেশে কাজ করতে হয়; সাধারণ সময়সীমা ৮ ঘণ্টা। যেমন অর্থ খাতের কাজে প্রায় ২ হাজার ফাইলের একটি ডিল রুম ঘাঁটতে হয়। হ্যাঁ-না মূল্যায়নে অর্থ ও আইন খাতে সব মডেলের স্কোর শূন্য।

যা মাথায় রাখা দরকার

এই ফলকে এআইয়ের সামগ্রিক ক্ষমতার রায় ভাবা ঠিক হবে না। পরীক্ষাটি একটি প্রতিষ্ঠানের নিজস্ব নকশা। সেমিঅ্যানালাইসিস নিজেই বলছে, নিরাপত্তা ফিল্টারের কারণে সাইবার, জীববিজ্ঞান ও অ্যালাইনমেন্টের কাজে Opus 5.5 ও জিপিটি-৬ অ্যাস্ট্রার স্কোর কমেছে। এই তিন ক্ষেত্র বাদ দিলে সামান্য ব্যবধানে এগিয়ে যায় জিপিটি-৬ অ্যাস্ট্রা। তা ছাড়া Opus-এর খরচ জেমিনি ৪ কার্বনের প্রায় তিন গুণ, যদিও স্কোরের পার্থক্য ১.১ পয়েন্ট। প্রতি ৩ থেকে ৬ মাসে পরীক্ষাটির নতুন সংস্করণ আসার কথা।