6 ע מיהו המעריך המדויק ביותר? הלימה בין ציוני ChatGPT ועמיתים לבין ציוני המרצה ממצאים הלימה בין ציוני ChatGPT וציוני עמיתים לבין ציוני המרצה על מנת לתת מענה לשאלת המחקר הראשונה, חושבו והושוו הציונים הממוצעים וסטיות התקן שניתנו לפרויקטים מצד כל מקור הערכה. הניתוח חשף דפוס ברור: הציונים הממוצעים שהופקו על ידי ChatGPT היו באופן עקבי גבוהים יותר ) M = 91.46, SD = 5.13 ( בהשוואה ל ציוני העמיתים ולציוני המרצה שהיו נמוכים יותר אך קרובים זה לזה ) M = 85.56, SD = 6.06; M = 83.13, SD = 6.39 ( . ניתוח ANOVA הצביע על הבדל מובהק סטטיסטית בין ציוני שלוש הקבוצות עם גודל אפקט גבוה ) = .42 ²η; < .001 p, = 133.40 ) 91, 349.23 (1. F( . בהמשך, נבחנה מידת ההלימה בין ציוניהם של שלושת המעריכים )ראו טבלה 1 (. נמצא מתאם חיובי בינוני בין ציוני ה עמיתים עם ציוני המרצה ) r(182) = .48, p < .001 .( מנגד, המתאם בין ציוני ChatGPT לבין ציוני המרצה היה מתון יותר ) r(182) = .24, p < .01 (. ב ין ציונ י ChatGPT לבין ציוני העמיתים לא נמצא מתאם מובהק כלל ) r(182) = .05, p = .48 ( . טבלה .1 מתאמים עבור ציוני ChatGPT , העמיתים ומרצת הקורס מקור הערכה ChatGPT עמיתים מרצה ChatGPT 1 עמיתים 0.05 1 מרצה 0.24** 0.48*** 1 הערה: N = 184. ** p < .01; *** p < .001 שונות בהלימת הציונים בהתאם לאיכות הפרויקט המוערך על מנת לתת מענה לשאלת המחקר השנייה, נבחנו והושוו הפערים בין ציוני ChatGPT או העמיתים לבין ציוני המרצה, בהתאם לשלוש רמות איכות הפרויקטים )נמוכה, בינונית, גבוהה(. איור 1 מציג את ההפרש בין ממוצעי הציונים שניתנו על ידי ChatGPT או העמיתים לבין ציוני המרצה, בהתאם לר מת איכות הפרויקט. איור .1 הפרש ה ממוצעים בין ציוני ChatGPT וציוני עמיתים לציוני המרצה, לפי רמות איכות הפרויקטים . הניתוח חשף השפעה מובהקת של רמת איכות הפרויקט על הפער שבין ציוני ChatGPT לציוני המרצה ) F(2, 181) = 71.01, p < .001 (, עם גודל אפקט גבוה ) partial η² = .44 (. בממוצע, ChatGPT העניק ציונים גבוהים
RkJQdWJsaXNoZXIy Mjk0MjAwOQ==