서울대학교 Gradescope로대규모 수학 시험 채점 간소화

수 천 명이 한꺼번에 수강하는 대단위 수학 수업 시험의 채점 과정에서 일관성, 공정성, 효율성을 유지하는 것은 매우 어려운 일입니다. 서울대학교 수리과학부 또한 이러한 난제를 안고 있었습니다. 여러 분반에서 동일한 시험을 진행한 후, 수천 개의 시험지를 채점하고 채점자 간 공동 평가를 수행하면서 채점의 일관성과 효율성을 지키고 학생들을 위한 충실하고 의미있는 피드백까지 제공하는 것은 매우 어려운 과제였습니다.

서울대학교 교양수학에서는 24년 1학기 기준, 2000여 명의 수강생을 대상으로, <수학 1>, <고급수학 1>, <미적분학 1>, <생명과학을 위한 수학1>의 네 과목이 단체운영 방식으로 진행되었습니다. 단체운영은 다수의 강좌의 교수자가 같은 내용을 진도를 맞추어 강의하며 같은 시험을 통해 공동 평가를 진행하는 방식으로, 강좌별 이질성을 줄이는 데 효과적이지만, 동일한 기준으로 대량의 채점을 해야 하는 문제를 필연적으로 발생시키게 됩니다. 그동안 동일한 채점 기준 공유 및 보안 유지 등을 위해 ‘채점일’을 지정하여 평일 하루, 한 장소에서 50명이 넘는 대학원생 채점조교들이 모여 하루를 꼬박 바치며 채점을 진행해 왔습니다. 이는 대학원 학사일정에의 부담은 물론이고 채점 업무를 총괄하는 대표 조교들에게도 상당한 업무 스트레스를 부과할 수 밖에 없었습니다.

채점 방식 전환의 시작

서울대학교 수리과학부 이훈희 교수는 2022년 2학기부터 단체운영 교양수학 코디네이터(책임교수)직을 맡았습니다. 당시 코로나 팬데믹 환경 아래, <생명과학을 위한 수학 2>, <수학 1>, <수학 2>의 단체운영 과정에서 보다 효율적인 시스템의 필요성을 인식하고 2022년에 Gradescope 적용 작업을 주도하였습니다. Gradescope 한국 도입 초기, 국내 동료 수학자들의 경험담, 특히 경북대학교 정기룡 교수님의 사례 발표를 통해 Gradescope 을 더 자세히 알게 된 이훈희 교수는 “코로나19 기간 동안 대학원생 채점 조교와 대표조교의 업무 강도를 낮추어야 하는 요구가 높아졌던 터라, 그들의 업무 부담을 줄이기 위해 Gradescope를 고려하기 시작했다”고 밝혔습니다.

시범적으로 시작된 이 시도는 시험 채점 방식뿐만 아니라 대규모 피드백 및 일관성 관리 방식까지 바꾸는 변화로 이어졌습니다. 이훈희 교수는 “우선 2022년 2학기 <생명과학을 위한 수학 2> 과목을 수강하는 180명의 학생을 대상으로 중규모 Gradescope 시범 운영을 진행한 후, 해당 서비스의 충분한 효용성과 잠재력을 확인하였습니다. 이를 바탕으로 2023년부터 그 대상을 2,000명 전체 학생으로 확대했습니다. 그 효과는 분명하고 즉각적으로 나타났습니다”라고 말합니다.

Gradescope는 채점자가 시간과 장소에 구애받지 않게 도와줍니다. 이는 채점자가 채점 업무, 학업, 그리고 개인 일정을 자율적으로 조절 가능하게 해 주었습니다. 실제 채점에 참여한 조교들은 “온라인으로 개별적인 시간에 자기 장소에서 채점을 할 수 있게 되어서 너무 좋아졌고”, “업무의 피로도에 매우 큰 차이를 가져왔다” 등의 소감을 전하며, Gradescope의 효용에 대해 긍정적으로 평가했습니다.

실질적인 결과, 채점 업무량 감소

채점 업무량의 대폭적 감소서울대학교 수리과학부는 27명의 채점 조교를 대상으로 설문조사를 실시하여 Gradescope가 실제로 상당히 업무량을 경감시킨 것을 확인하였습니다.

• 설문 대상자의 70%가 업무량의 30% 이상의 감소를 보고했습니다.
• 설문 대상자의 30%가 업무량의 10~20% 감소를 보고했습니다.
• 설문 대상자의 100%가 Gradescope이 도움이 된다고 응답했습니다.

서울대학교에서 확인한 Gradescope의 실용적인 기능과 실질적 이점

Gradescope의 ‘다이나믹 루브릭’은 일관성 있는 채점을 더욱 손쉽게 할 수 있도록 도와줍니다. 실시간으로 공유되는 다이나믹 루브릭을 통해 모든 조교가 동일한 기준을 적용하여 투명한 채점 및 손쉬운 채점 수정이 가능해졌습니다. 기존에는 채점 시 피드백 및 그에 따른 점수 조정이 쉽지 않아 채점의 오류를 최대한 줄이기 위해 다른 채점자가 상호점검하는 교차 채점 과정을 둘 수 밖에 없었습니다. 이훈희 교수에 따르면 “현재는 다이나믹 루브릭 기능을 활용하여 즉각적이고 균일한 피드백을 제공하는 것이 가능해지면서 시간 소모적인 교차 채점 과정을 완전히 생략할 수 있게 되었다” 라고 합니다.

AI 기반의 ‘자동 답안 그룹화 기능’은 일부 문항을 패턴 인식이 가능한 단답형으로 전환하게 해주었고, 이는 채점해야 할 분량을 줄일 수 있도록 도와주었습니다. ‘다음 미채점’ 제출물 이동 도구를 통해 채점자는 현재 어떤 답안을 채점 중인지 기억할 필요 없이, 보다 중요한 답안 검토와 같은 핵심적인 업무에 집중할 수 있게 되었습니다. 더불어, ‘자료 저장 및 처리 기능’을 통해 합산, 검산, 문항별 결과 기록 등 반복적인 수동 작업을 자동화할 수 있어 효율성이 높아졌습니다. 이러한 기능들은 전반적으로 채점에 소요되는 시간을 상당히 절약시켜 주었고, 그에 따라 정확한 채점은 물론, 채점자가 학생들에게 한층 높은 품질의 피드백을 제공하는 데 집중할 수 있도록 큰 도움을 주었습니다.

Gradescope를 통한 디지털 채점 전환은 학생들에게도 많은 이점을 제공했습니다. 학생들은 온라인으로 채점 결과 및 피드백을 바로 확인할 수 있고, “학생의 피드백 요청 과정과 채점자의 검토 과정이 훨씬 명확하고 간단해졌습니다. 이로 인해 전반적인 피드백 과정이 개선되었습니다”.

전반적으로 Gradescope를 통해 일관되고 협력적이며 지능적인 채점 프로세스를 갖게 되었다는 것이 이훈희 교수의 의견입니다.

• 다이나믹 루브릭공통 채점 기준에 대한 채점자 간의 공유, 유연한 수정, 실시간 업데이트 가능
• AI 기반 답안 자동 그룹화유사 답안을 클러스터링하여 채점 시간 단축
• 다음 미채점 제출물 이동 도구 업무 간소화 및 집중도 향상
• 자동 점수 계산 및 저장수동 점수 입력 및 합산 필요성 제거
• 언제 어디서나 접속 가능채점자의 피로도 감소 및 자율성 부여

효율성을 넘어선 영향: 더 나은 평가 설계 가능성

Gradescope 도입의 결과는 단순한 효율성 제고에 그치지 않습니다. Gradescope 도입 후, 서울대학교 수리과학부는 수천 장의 공동 채점 과정에서 겪던 기존의 어려움, 이를 테면 부족한 채점 인력 문제 및 채점의 일관성 문제 등을 해결하게 되면서, 기존에는 현실적으로 불가능했던 새로운 형태의 평가를 고려할 수 있게 되었습니다. Gradescope의 확장성을 기반으로, 서술형 과제 및 시험 등을 적극적으로 도입하여 교육의 질을 높일 수 있는 방안을 탐구할 수 있게 된 것입니다.

이훈희 교수는 Gradescope 에 대해 “채점 시간을 단축했을 뿐만 아니라 채점자의 피드백 및 채점 평가 방식까지 개선되었습니다”라고 회상하며, “궁극적으로 Gradescope는 50명이 넘는 채점자들의 귀중한 시간을 절약해주었을 뿐만 아니라, 많은 관계자들의 교수-학습 경험을 향상시켰습니다.”라고 말했습니다.

성공적인 채점을 위한 로드맵: Gradescope 활용 극대화

다수의 학생들이 수강하며 다수의 채점자가 협업 채점하는 강좌를 운영하는 기관에 서울대학교 수리과학부의 Gradescope 사용 경험은 명확한 로드맵을 제공합니다. 이훈희 교수는 “수강생 수가 일정 수 이상이며 다수의 채점자가 협업을 하여 채점을 하는 강좌의 경우, 업무 효율성을 크게 개선할 수 있을 것으로 예상하며 적극 추천합니다. 또한, 부족한 채점 인력으로 인해 피치 못하게 적게 부과하였던 서술형 과제 및 시험들을 적극적으로 시도할 수 있게 되어 교육의 질을 높이는 계기가 될 수 있을 것으로 생각합니다.”라고 조언합니다. 시범 운영으로 시작하고 도출된 결과를 바탕으로 더 큰 단위로 확장한다면 위험 부담없이 채점 방식을 크게 개선할 수 있을 것입니다.

서울대학교 수리과학부에서는 Gradescope이 채점 업무 개선을 넘어 다른 영역에도 도움을 줄 수 있을 것으로 기대하고 있습니다. 예를 들어, 서울대에서는 ‘학습 통계’ 기능을 학생들의 이해 부족한 영역 쉽게 식별하고, 추후 교육과정 설계에 반영하여 효과적으로 학생 학습을 지원할 수 있는 기능으로 분명하게 인식하고 있습니다. 이훈희 교수는 해당 기능에 대해 “문항 설계 단계부터 많은 인력을 필요로 하는 작업이라 미래의 과제로 남겨놓고 있지만, 이러한 부분들이 준비되면 Gradescope의 통계 분석 기능은 충분히 긍정적으로 활용할 수 있을 것으로 기대됩니다.”라고 말했습니다.