大學英語四、六級考試每年考生超過一百萬,因此只能依靠機器閱卷。
為了保證機器閱卷的精度及正確性,在數(shù)據(jù)輸入階段還要采取大量質(zhì)量保證措施。 數(shù)據(jù)輸入階段結(jié)束后即開始數(shù)據(jù)處理階段,包括IRT等值處理、作文分調(diào)整、考生成績正態(tài)化處理三個步驟。大學英語四、六級考試為了進行等值處理,每次考試前一周要組織對比考試,建立IRT等值處理模型。 在對客觀題進行等值處理后,對作文分進行調(diào)整。進行作文分調(diào)整的目的是濾除閱卷過程中閱卷員評分的主觀誤差,保證主觀題的閱卷信度。這一步驟完成后輸出客觀題成績在25分以下而作文成績在10分以上的異??忌鍐危@種客觀題得分極低而主觀題得分相當高的異常情況說明必然在某一環(huán)節(jié)上發(fā)生了差錯。這時首先檢查考生的答題紙,再查作文成績,檢查是否登分錯誤、或閱卷員評分錯誤、或因為考生填錯A、B卷代號而造成錯誤等等。在以上步驟都確認正確無誤后,輸出作文分調(diào)整模型。 最后進行各種統(tǒng)計,包括全國的、各省市的、各校的成績統(tǒng)計。作為數(shù)據(jù)處理的最后一環(huán)還要進行試題分析、完成試卷檢驗報告。 大學英語四、六級考試的作文部分不是自由作文,而是有控制的作文,對考生寫什么內(nèi)容有比較明確的要求,用各種明確的方式如提綱、圖表、關鍵詞等加以規(guī)定;但提綱常用中文給出,以避免考生將提綱中的文字直接抄錄進作文。采用有控制的作文也有利于提高評分的一致性。對作文評分影響最大的是評分過程。同一篇作文,不同的閱卷員可能給出不同的分數(shù)。提高作文閱卷的信度就是要保證評分的一致性,包括閱卷員本人的一致性(intra-markerconsistency)、閱卷員之間的一致性(inter-markerconsistency)、和閱卷點之間的一致性(inter-centreconsistency),要采取一定的質(zhì)量控制措施盡量減少和濾除閱卷員評分的主觀性對分數(shù)客觀性的影響。 作文題的評分通常有兩種方法: 一種是綜合法(holisticapproach),一種是分析法(analyticapproach)。分析法是把一篇作文分解為若干要點,如內(nèi)容、結(jié)構(gòu)、文章連貫性(cohesion)、語法、詞匯等,不同的要點也可作不同的加權處理,各要點得分的總和即為全篇得分。綜合法是憑閱卷員通讀一遍的總體印象打分。綜合法的優(yōu)點是能從總體上把握通篇印象,評卷速度比較快。 此外,為了提高閱卷的信度也有采用兩讀的方法,即每篇作文由兩名閱卷員分別獨立評分,若分數(shù)差兩檔以上,由第三名閱卷員重判??紤]到大學英語四、六級考試規(guī)模太大,不可能進行兩讀,因此,決定采用綜合法和一讀的評分方法,然后根據(jù)考生的客觀題得分進行調(diào)整,濾除系統(tǒng)誤差。