كشفت دراسة حديثة أجراها باحثون من كلية الطب بجامعة هارفارد وجامعة ستانفورد أن نموذج الذكاء الاصطناعي o1 (في الوضع التجريبي Preview) من شركة OpenAI قد يتفوق على الأطباء في تشخيص الحالات الطبية المعقدة.

وخضع النموذج خلال الدراسة لسلسلة شاملة من اختبارات التشخيص الطبي، وأظهرت النتائج أنه حقق قفزات نوعية مقارنةً بالإصدارات السابقة، فقد تمكن نموذج o1-preview من تشخيص 78.3% من الحالات التي حُللت بدقة. وفي مقارنة مباشرة شملت 70 حالة محددة، ارتفعت دقة النظام إلى 88.6%، متفوقًا بفارق كبير على نظام GPT-4 السابق الذي سجل نسبة قدرها 72.9%.

وأثبت النظام كفاءته العالية في مجال الاستدلال (التفكير) الطبي، إذ حصل على درجات عالية في 78 من أصل 80 حالة وفق مقياس R-IDEA المستخدم لتقييم جودة الاستدلال. وللمقارنة، فقد حقق الأطباء المتمرسون درجات عالية في 28 حالة فقط، في حين لم يستطع الأطباء المقيمون (المتدربون) الحصول على الدرجات العالية سوى في 16 حالة.

وأشار الباحثون إلى احتمال تضمن بيانات التدريب الخاصة بالنموذج بعض الحالات المستخدمة في الدراسة، لكن أداء النموذج ظل مرتفعًا عند اختباره على حالات جديدة لم يسبق أن تعامل معها، مع انخفاض طفيف في الأداء.

وفي تعليق له عبر منصة إكس، صرح الدكتور آدم رودمان، أحد المشاركين في الدراسة، قائلًا: “إن هذه أول مرة أروّج لمسودة دراسة قبل مراجعتها بالكامل، ولكنني أعتقد أن نتائجنا تحمل انعكاسات كبيرة على الممارسة الطبية، لذا كان من الضروري نشرها سريعًا”.

وبرز نموذج o1-preview بنحو خاص في إدارة الحالات الطبية المعقدة التي صممها 25 أخصائيًا لتكون تحديًا للنموذج والأطباء. وعلّق رودمان قائلًا: “واجه البشر صعوبات متوقعة، في حين أظهر النموذج أداءً مذهلًا لا يحتاج إلى إحصائيات لتوضيح تفوقه”.

وفي هذه الحالات، سجل النموذج 86% من النقاط، وهو أكثر من ضعف ما حققه الأطباء باستخدام نموذج GPT-4 أو الأدوات التقليدية الأخرى.

ومع ذلك، يعاني النظام مشكلات في تقدير الاحتمالات، إذ لم يُظهر تحسينات تذكر مقارنةً بالنماذج السابقة. فعلى سبيل المثال: قدر النموذج احتمال الإصابة بالالتهاب الرئوي بنسبة قدرها 70% في الحالات، وهي نسبة أعلى بكثير من النطاق العلمي المتعارف عليه (25-42%).

وأوضح مؤسسو OpenAI أن الأنظمة الحالية ما زالت “تعاني نقصًا كبيرًا في التدريب”، وتحتاج إلى التدريب بما يتراوح بين 100 و 1000 ضعفٍ مقارنةً بتدريبها الحالي.

ويظهر نموذج o1-preview تفوقًا في مهام التفكير النقدي، مثل التشخيص وتقديم التوصيات العلاجية، لكنه يواجه صعوبات في المهام التجريدية، كتقدير الاحتمالات.

وأشار الباحثون إلى أن إجابات النظام التفصيلية قد أسهمت في رفع تقييمه، مؤكدين أن الدراسة اقتصرت على أدائه منفردًا دون دراسة كيفية تعاونه مع الأطباء.

وكانت شركة OpenAI قد أعلنت حديثًا إطلاق الإصدار الكامل النهائي o1، بالإضافة إلى الإصدار الجديد  الذي أظهر تحسينات كبيرة في التفكير التحليلي، لكن ما زالت هناك انتقادات للنموذج بشأن التكلفة المرتفعة للفحوصات التي يقترحها، وصعوبة تطبيقها في بيئات الرعاية الصحية الفعلية.

وحذر رودمان من المبالغة في التوقعات قائلًا: “إن هذه دراسة معيارية. وهي تستخدم معايير ‘ذهبية’ لتقييم الأطباء البشريين، لكنها لا تعكس واقع الرعاية الطبية. لا تتخلوا عن أطبائكم لصالح o1”.

ودعا الباحثون إلى تطوير طرق تقييم أفضل لأنظمة الذكاء الاصطناعي في المجال الطبي تشمل تجارب سريرية واقعية وبنية تحتية تقنية متقدمة لتعزيز التعاون بين الأطباء والذكاء الاصطناعي، بهدف تحقيق استخدام أكثر فعالية في بيئات الرعاية الصحية.