كشفت دراسة بحثية قام بها فريق بحثي سعودي وتم نشرها في موقع cureus التابع لمجموعة springer nature group.
قدرة الـchatGPT في اجتياز اختبار الرخصة الطبية السعودية بنسبة وصلت إلى 88.6 % كما استطاع حل 96.4 % من أسئلة اختبار طب النساء والولادة التابع لهيئة التخصصات الصحية.
مؤشرات رئيسية كانت المنهجية التي اتبعها الباحثون عبارة عن استخدام مجموعة بيانات مكونة من 220 سؤالًا عبر 4 تخصصات طبية. وتم تدريب النموذج باستخدام رمز محدد للإجابة على الأسئلة بدقة، كما تم تقييم أدائه باستخدام مؤشرات الأداء الرئيسية ومستوى الصعوبة وأقسام الاختبار. وأظهر ChatGPT-4 دقة إجمالية قدرها 88.6 %. كما أظهرت التقنية كفاءة عالية في الأسئلة السهلة والمتوسطة، ولكن الدقة انخفضت في الأسئلة الصعبة. فيما كان الأداء متسقا في جميع التخصصات، مما يشير إلى وجود قاعدة معرفية واسعة.
*تحليل الأخطاء
مع ذلك، كشف تحليل الأخطاء عن مجالات تحتاج إلى مزيد من التحسين، بخاصة في ما يتعلق بأسئلة (الاختيار) في الفئة (أ) في جميع الأقسام.
وأكد الفريق أن هذه الدراسة تؤكد إمكانات ChatGPT-4 كأداة مدعومة بالذكاء الاصطناعي في التعليم الطبي، مما يدل على كفاءة عالية في الإجابة على أسئلة (SMLE) وهو اختصار لـSaudi Medical Licensure Examination، وهذا الاختبار هو آلية تقييم شاملة تنفذها الهيئة السعودية للتخصصات الصحية لتأهيل الأطباء، سواء المحليون أو الدوليون، لممارسة الطب في السعودية، أو للسماح لطلاب الطب الدراسات العليا بالتقدم لبرامج الإقامة المحلية.
وهو إلزامي لجميع الأطباء المحتملين أثناء فترة تدريبهم كجزء من درجة البكالوريوس.
*تقييم ChatGPT
كما أشار الفريق إلى أن الهدف من هذه الدراسة هو تقييم أداء ChatGPT-4، وهو نموذج لغة ذكاء اصطناعي متطور تم تطويره بواسطة OpenAI، في الإجابة على أسئلة SMLE.
كما يهدف هذا التقييم إلى فهم دقة النموذج وكفاءته وموثوقيته في تفسير الأسئلة الطبية المعقدة والرد عليها والتي تستخدم لقياس كفاءة خريجي الطب في المملكة العربية السعودية. ستقدم نتائج هذه الدراسة رؤى حول التطبيقات المحتملة لاستخدام نماذج الذكاء الاصطناعي المتقدمة مثل ChatGPT-4 في التعليم والاختبار الطبي.
أخذ الفريق إجمالي 220 سؤالًا من بنك اختبار SMLE المتوفر على موقع CanadaQBank.
تم اختيار الأسئلة من أقسام مختلفة من SMLE كان كل سؤال مصحوبًا بأربع إجابات محتملة (المسمى أ، ب، ج، د)، مع إجابة واحدة صحيحة فقط.
*توزيع الأسئلة
30 % من الأسئلة كانت من الطب بشكل عام، و25 % من أمراض النساء والولادة، و25 % من الأسئلة كانت من طب الأطفال، و20 % المتبقية كانت من الجراحة. ثم تم تدريب نموذج ChatGPT 4.0 باستخدام الرموز المحددة.
وبعد مرحلة التدريب تم تقييم النموذج من حيث قدرته على اختيار الإجابة الصحيحة لكل سؤال. تم حساب مقاييس الأداء، مثل الدقة والإحكام والاستدعاء، لتقييم الأداء العام للنموذج. تم تقييم أداء النموذج بشكل أكبر عبر مستويات وأقسام مختلفة لصعوبة الأسئلة.
*نجاح بتفوق
وجد الفريق أن معدل النجاح الإجمالي لـChatGPT-4 في الإجابة الصحيحة على الأسئلة هو 88.6 %. كما تم قياس مدى جودة أداء ChatGPT-4 لكل فئة أسئلة (خيارات)، A وB وC وD. كذلك تم تقييم أداء نموذج ChatGPT-4 عبر أربعة خيارات استجابة (A وB وC وD).
بالنسبة للخيار أ، من بين 52 حالة، أجاب النموذج بشكل صحيح على 43 سؤالًا (82.7 %) وأجاب بشكل غير صحيح على تسعة أسئلة (17.3 %).
في حالة الخيار ب، من بين 45 حالة، أجاب النموذج بشكل صحيح على 42 سؤالًا (93.3 %) وأجاب بشكل غير صحيح على ثلاثة أسئلة (6.7 %). بالنسبة للخيار ج، من بين 42 حالة، أجاب النموذج بشكل صحيح على
37 سؤالًا (88.1 %) وأجاب بشكل غير صحيح على خمسة أسئلة
(11.9 %). أخيرًا، بالنسبة للخيار د، من بين 81 حالة، أجاب النموذج بشكل صحيح على 76 سؤالًا (93.8 %) وأجاب بشكل غير صحيح على خمسة أسئلة (6.2 %). توفر هذه النتائج فهمًا شاملاً لأداء النموذج عبر فئات الاستجابة المختلفة.
*مستوى الصعوبة
بالنسبة للأسئلة ذات مستوى الصعوبة المتوسط من بين 53 حالة، أجاب النموذج بشكل صحيح على 50 سؤالًا، مما أدى إلى معدل نجاح قدره 94.3 %. لقد أجاب بشكل غير صحيح على ثلاثة أسئلة، مما أدى إلى معدل خطأ قدره 5.7 %. بالنسبة للأسئلة السهلة أظهر النموذج أداءً استثنائيًا، حيث إنه من بين 54 حالة، أجاب بشكل صحيح على جميع الأسئلة، وحقق نسبة نجاح بلغت 100 %. بالنسبة للأسئلة ذات مستوى الصعوبة الصعبة، من بين 113 حالة، أجاب النموذج بشكل صحيح على 94 سؤالًا، محققًا معدل نجاح قدره 83.2 %. وأجاب بشكل غير صحيح على 19 سؤالًا، مما أدى إلى معدل خطأ قدره 16.8 %.
فحص الجودة
ثم تم بعد ذلك فحص مدى جودة أداء ChatGPT-4 بناءً على قسم الاختبار الذي جاءت منه الأسئلة. كان أداء النموذج جيدًا في جميع الأقسام. في قسم الطب، من بين 66 حالة، أجاب النموذج بشكل صحيح على 57 سؤالًا. حيث أجاب بشكل غير صحيح على تسعة أسئلة، مما أدى إلى معدل خطأ قدره 13.6 %. وفي قسم أمراض النساء والولادة، من أصل 55 حالة، أجاب النموذج بشكل صحيح على 53 سؤالا. فيما أجاب بشكل غير صحيح على سؤالين، مما أدى إلى معدل خطأ قدره 3.6 %. أما في قسم طب الأطفال، من بين 55 حالة، أجاب النموذج بشكل صحيح على 49 سؤالًا.
حيث أجاب بشكل غير صحيح على ستة أسئلة، مما أدى إلى معدل خطأ قدره 10.9 %.
أما في قسم الجراحة، من بين 44 حالة، أجاب النموذج بشكل صحيح على 39 سؤالًا. لقد أجاب بشكل غير صحيح على خمسة أسئلة، مما أدى إلى معدل خطأ قدره 11.4 %. وتم القيام بفحص الأخطاء التي ارتكبها ChatGPT-4، مما يمكن من تحسين الأداء في هذا المجال.
*إمكانات كبيرة
توضح النتائج التي تم الوصول لها الإمكانات الكبيرة لـChatGPT في مساعدة التعليم الطبي، بخاصة في سياق التحضير لامتحانات مثلSMLE. إلا أن هامش الخطأ الذي يتراوح بين 4 و16 % يؤكد أنه يجب استخدامه بحذر وبالتزامن مع طرق الدراسة التقليدية واستشارة الخبراء. ومع ذلك، فإن مستواه العالي من الدقة في الإجابة على الأسئلة السهلة والمتوسطة يشير إلى أنه يمكن أن يكون مصدرًا قيمًا للتعلم التأسيسي والمراجعة المستمرة، كما يمكنه أن يُحدث ثورة في التعليم الطبي والتحضير للامتحانات.
قدرة الـchatGPT في اجتياز اختبار الرخصة الطبية السعودية بنسبة وصلت إلى 88.6 % كما استطاع حل 96.4 % من أسئلة اختبار طب النساء والولادة التابع لهيئة التخصصات الصحية.
مؤشرات رئيسية كانت المنهجية التي اتبعها الباحثون عبارة عن استخدام مجموعة بيانات مكونة من 220 سؤالًا عبر 4 تخصصات طبية. وتم تدريب النموذج باستخدام رمز محدد للإجابة على الأسئلة بدقة، كما تم تقييم أدائه باستخدام مؤشرات الأداء الرئيسية ومستوى الصعوبة وأقسام الاختبار. وأظهر ChatGPT-4 دقة إجمالية قدرها 88.6 %. كما أظهرت التقنية كفاءة عالية في الأسئلة السهلة والمتوسطة، ولكن الدقة انخفضت في الأسئلة الصعبة. فيما كان الأداء متسقا في جميع التخصصات، مما يشير إلى وجود قاعدة معرفية واسعة.
*تحليل الأخطاء
مع ذلك، كشف تحليل الأخطاء عن مجالات تحتاج إلى مزيد من التحسين، بخاصة في ما يتعلق بأسئلة (الاختيار) في الفئة (أ) في جميع الأقسام.
وأكد الفريق أن هذه الدراسة تؤكد إمكانات ChatGPT-4 كأداة مدعومة بالذكاء الاصطناعي في التعليم الطبي، مما يدل على كفاءة عالية في الإجابة على أسئلة (SMLE) وهو اختصار لـSaudi Medical Licensure Examination، وهذا الاختبار هو آلية تقييم شاملة تنفذها الهيئة السعودية للتخصصات الصحية لتأهيل الأطباء، سواء المحليون أو الدوليون، لممارسة الطب في السعودية، أو للسماح لطلاب الطب الدراسات العليا بالتقدم لبرامج الإقامة المحلية.
وهو إلزامي لجميع الأطباء المحتملين أثناء فترة تدريبهم كجزء من درجة البكالوريوس.
*تقييم ChatGPT
كما أشار الفريق إلى أن الهدف من هذه الدراسة هو تقييم أداء ChatGPT-4، وهو نموذج لغة ذكاء اصطناعي متطور تم تطويره بواسطة OpenAI، في الإجابة على أسئلة SMLE.
كما يهدف هذا التقييم إلى فهم دقة النموذج وكفاءته وموثوقيته في تفسير الأسئلة الطبية المعقدة والرد عليها والتي تستخدم لقياس كفاءة خريجي الطب في المملكة العربية السعودية. ستقدم نتائج هذه الدراسة رؤى حول التطبيقات المحتملة لاستخدام نماذج الذكاء الاصطناعي المتقدمة مثل ChatGPT-4 في التعليم والاختبار الطبي.
أخذ الفريق إجمالي 220 سؤالًا من بنك اختبار SMLE المتوفر على موقع CanadaQBank.
تم اختيار الأسئلة من أقسام مختلفة من SMLE كان كل سؤال مصحوبًا بأربع إجابات محتملة (المسمى أ، ب، ج، د)، مع إجابة واحدة صحيحة فقط.
*توزيع الأسئلة
30 % من الأسئلة كانت من الطب بشكل عام، و25 % من أمراض النساء والولادة، و25 % من الأسئلة كانت من طب الأطفال، و20 % المتبقية كانت من الجراحة. ثم تم تدريب نموذج ChatGPT 4.0 باستخدام الرموز المحددة.
وبعد مرحلة التدريب تم تقييم النموذج من حيث قدرته على اختيار الإجابة الصحيحة لكل سؤال. تم حساب مقاييس الأداء، مثل الدقة والإحكام والاستدعاء، لتقييم الأداء العام للنموذج. تم تقييم أداء النموذج بشكل أكبر عبر مستويات وأقسام مختلفة لصعوبة الأسئلة.
*نجاح بتفوق
وجد الفريق أن معدل النجاح الإجمالي لـChatGPT-4 في الإجابة الصحيحة على الأسئلة هو 88.6 %. كما تم قياس مدى جودة أداء ChatGPT-4 لكل فئة أسئلة (خيارات)، A وB وC وD. كذلك تم تقييم أداء نموذج ChatGPT-4 عبر أربعة خيارات استجابة (A وB وC وD).
بالنسبة للخيار أ، من بين 52 حالة، أجاب النموذج بشكل صحيح على 43 سؤالًا (82.7 %) وأجاب بشكل غير صحيح على تسعة أسئلة (17.3 %).
في حالة الخيار ب، من بين 45 حالة، أجاب النموذج بشكل صحيح على 42 سؤالًا (93.3 %) وأجاب بشكل غير صحيح على ثلاثة أسئلة (6.7 %). بالنسبة للخيار ج، من بين 42 حالة، أجاب النموذج بشكل صحيح على
37 سؤالًا (88.1 %) وأجاب بشكل غير صحيح على خمسة أسئلة
(11.9 %). أخيرًا، بالنسبة للخيار د، من بين 81 حالة، أجاب النموذج بشكل صحيح على 76 سؤالًا (93.8 %) وأجاب بشكل غير صحيح على خمسة أسئلة (6.2 %). توفر هذه النتائج فهمًا شاملاً لأداء النموذج عبر فئات الاستجابة المختلفة.
*مستوى الصعوبة
بالنسبة للأسئلة ذات مستوى الصعوبة المتوسط من بين 53 حالة، أجاب النموذج بشكل صحيح على 50 سؤالًا، مما أدى إلى معدل نجاح قدره 94.3 %. لقد أجاب بشكل غير صحيح على ثلاثة أسئلة، مما أدى إلى معدل خطأ قدره 5.7 %. بالنسبة للأسئلة السهلة أظهر النموذج أداءً استثنائيًا، حيث إنه من بين 54 حالة، أجاب بشكل صحيح على جميع الأسئلة، وحقق نسبة نجاح بلغت 100 %. بالنسبة للأسئلة ذات مستوى الصعوبة الصعبة، من بين 113 حالة، أجاب النموذج بشكل صحيح على 94 سؤالًا، محققًا معدل نجاح قدره 83.2 %. وأجاب بشكل غير صحيح على 19 سؤالًا، مما أدى إلى معدل خطأ قدره 16.8 %.
فحص الجودة
ثم تم بعد ذلك فحص مدى جودة أداء ChatGPT-4 بناءً على قسم الاختبار الذي جاءت منه الأسئلة. كان أداء النموذج جيدًا في جميع الأقسام. في قسم الطب، من بين 66 حالة، أجاب النموذج بشكل صحيح على 57 سؤالًا. حيث أجاب بشكل غير صحيح على تسعة أسئلة، مما أدى إلى معدل خطأ قدره 13.6 %. وفي قسم أمراض النساء والولادة، من أصل 55 حالة، أجاب النموذج بشكل صحيح على 53 سؤالا. فيما أجاب بشكل غير صحيح على سؤالين، مما أدى إلى معدل خطأ قدره 3.6 %. أما في قسم طب الأطفال، من بين 55 حالة، أجاب النموذج بشكل صحيح على 49 سؤالًا.
حيث أجاب بشكل غير صحيح على ستة أسئلة، مما أدى إلى معدل خطأ قدره 10.9 %.
أما في قسم الجراحة، من بين 44 حالة، أجاب النموذج بشكل صحيح على 39 سؤالًا. لقد أجاب بشكل غير صحيح على خمسة أسئلة، مما أدى إلى معدل خطأ قدره 11.4 %. وتم القيام بفحص الأخطاء التي ارتكبها ChatGPT-4، مما يمكن من تحسين الأداء في هذا المجال.
*إمكانات كبيرة
توضح النتائج التي تم الوصول لها الإمكانات الكبيرة لـChatGPT في مساعدة التعليم الطبي، بخاصة في سياق التحضير لامتحانات مثلSMLE. إلا أن هامش الخطأ الذي يتراوح بين 4 و16 % يؤكد أنه يجب استخدامه بحذر وبالتزامن مع طرق الدراسة التقليدية واستشارة الخبراء. ومع ذلك، فإن مستواه العالي من الدقة في الإجابة على الأسئلة السهلة والمتوسطة يشير إلى أنه يمكن أن يكون مصدرًا قيمًا للتعلم التأسيسي والمراجعة المستمرة، كما يمكنه أن يُحدث ثورة في التعليم الطبي والتحضير للامتحانات.
