رغم فصاحته.. دراسة تكشف: أداء "شات جي بي تي" أقرب لتخمين الحقائق العلمية

أجرى باحثون في جامعة ولاية واشنطن اختبارات متكررة على قدرة روبوت الدردشة "شات جي بي تي" على تحديد دقة الفرضيات العلمية، ووجدوا أن أداء أداة الذكاء الاصطناعي لم يتجاوز 60% من التخمين العشوائي، كما أن إجاباتها كانت غير متسقة إلى حد كبير عند استخدام عدة أسئلة متطابقة.

تبرز هذه النتائج قصور نماذج الذكاء الاصطناعي التوليدي الحالية في التعامل مع مهام الاستدلال المعقدة، على الرغم من كفاءتها اللغوية.

قام الباحثون بتغذية "شات جي بي تي" بأكثر من 700 فرضية من أوراق علمية، وطلبوا منه تحديد صحة هذه الفرضيات من عدمها، أي الإجابة بنعم أو لا، بحسب تقرير لموقع "Tech Xplore"، المتخصص في أخبار التكنولوجيا.

وفي حين أجاب "شات جي بي تي" بشكل صحيح بنسبة 76.5% في عام 2024 و80% في عام 2025، لم تتجاوز دقته الفعلية، عند احتساب التخمين العشوائي، 60% مقارنةً بالصدفة.

وقد واجه روبوت الدردشة صعوبة بالغة في تحديد الفرضيات الخاطئة، حيث أجاب عليها بشكل صحيح بنسبة 16.4% فقط. علاوة على ذلك، كان أداء "شات جي بي تي" غير متسق إلى حد كبير، إذ قدم إجابات صحيحة/خاطئة مختلفة عند تكرار 10 أسئلة متطابقة.

ويعني هذا أنه حتى لو أظهر "شات جي بي تي" إجابات صحيحة كثيرة، فعند مقارنتها بفرصة التخمين العشوائي، لن يكون الفرق كبيرًا للغاية.

وأُجريت التجربة الأولى في عام 2024 باستخدام النسخة المجانية من "ChatGPT-3.5"، في حين أُجريت التجربة اللاحقة في عام 2025 باستخدام النسخة المجانية المُحدثة "ChatGPT-5 mini".

تؤكد الدراسة على ضرورة توخي الحذر والتشكيك عند الاعتماد على أدوات الذكاء الاصطناعي مثل "شات جي بي تي" في المهام الحساسة، إذ غالبًا ما تكون قدراتها على الاستدلال أقل من قدراتها على توليد اللغة.ومن شأن هذا أن يكون له تداعيات على الشركات والمستهلكين الذين قد يميلون إلى الاعتماد المفرط على الذكاء الاصطناعي دون التحقق منه بشكل صحيح.