2023년 상반기 알고리즘 대회 운영/출제/검수 경험 공유 ★

저는 2020년도 말에 알고리즘 분야(PS)를 접하게 되었습니다.
 
2023년에 들어서 운 좋게 SUAPCw의 Call for Tasks에 뽑히게 된 것을 시작으로 6개의 대회에 운영진으로 참가하였습니다. 또한 3개의 개인 문제를 검수하였습니다.
이 글을 쓰는 시점에서 5개의 개인 문제 검수와 1개의 대회 출제/검수를 진행 중에 있습니다.

• dohoon의 만든 문제
• dohoon의 검수한 문제

네이버 블로그에 후기를 남겨 왔지만 개인적인 내용이 담겨 있어서 대부분 공개를 하지는 않았습니다. 대신 이렇게 티스토리 블로그를 통해 전반적으로 정리하여 다른 분들께 도움이 되는 대회 운영/출제/검수에 관한 시행착오들을 기록해보고자 합니다.
 

짧은 후기 모음

Codeforces Round #851 (Div.2)

테스터로 참여했습니다. 검수에 관해 아는 것이 없어서 우선 F번을 제외하고 모두 풀었습니다. 지문은 모두 읽어 보았는데 문장은 전부 짧고 간결해서 지적할 점이 없었습니다. 다만, 수식들에 자잘한 문제들이 있길래 말씀드렸습니다. (지수 표기법 권유, 시그마 항에 명시적 괄호 추가, 공통적으로 빠진 쉼표들, 입력 형식에서 첨자 누락 등)
블로그에 글을 오랫동안 써온 덕분에 수식 처리에 꽤 능통해져서 이런 도움을 드릴 수 있었습니다.
 

SUAPC 2023 winter

슬라이딩 퍼즐 마스터라는 문제를 출제하고, 다른 분들의 문제 몇 개를 검수했습니다.
처음으로 대회 운영을 엿볼 수 있었는데, 신촌 연합을 이끄시는 두 분(성함을 밝혀도 될지 모르겠네요)과 신촌 연합의 아이돌 lky7674님이 정말 잘 이끌어주셔서 대회가 무탈하게 진행되었습니다. (지나고 생각해 보면 진짜 운영 잘하신 것 같아요)

여기서 엿본 운영이 Code Master 2023를 개최하는 데 정말 큰 도움이 되었습니다.
 

GEC Cup

dhyang24님의 수고가 많았습니다. 적당한 실버 문제의 부재가 조금 아쉬웠는데, 이를 느낀 덕분에 Code Master 2023 셋 난이도를 꽤 성공적으로 조절할 수 있었습니다.
당시까지만 해도 검수자로서의 역량이 부족해서 모든 문제를 푸는 것 외에는 도움을 얼마 드리지 못한 것이 정말 죄송합니다.
 

Code Master 2023

위 대회들에서 배운 점을 바탕으로 꽤 성공적으로 대회를 열 수 있었습니다.
대부분의 문제를 제가 세팅했고, 제가 세팅하지 않은 문제들(출제되지 못한 1문제 포함)에 대해서는 지문을 갈아 엎는 과정을 거쳤습니다. 덕분에 지문 검수 능력이 좀 올라갔습니다.
이 대회를 열게 되면서 얻은 것은 그뿐만이 아닙니다. 행정적인 부분을 제외하고는 거의 모든 일을 제가 했기 때문에 대회 운영이 어떻게 돌아가는지 알게 되었습니다. 또한, 오프라인 대회였기에 오프라인 대회에서의 변수들도 배울 수 있었습니다.
 

FunctionCup 2023

Code Master 2023이 끝나고 일주일 간 남은 일들을 처리한 뒤 급하게 검수를 시작했습니다.
그나마도 판단 미스로 시간을 검수가 집중적으로 필요한 곳에 효율적으로 시간 분배를 하지 못해서 아쉬웠습니다. 그리고 백준에서 여태 열린 적 없던 형식의 대회인 만큼, 저에게는 좋은 경험이지만 서툰 검수를 진행하였습니다.
 
대회의 일정을 정하고 검수진을 잘 굴리는 일에 대해 경각심을 가지게 되었고, 앞으로는 어떻게 이에 유의하며 운영해야 할지 감을 잡게 되었습니다. 다양한 문제 유형에 대해 검수 과정에서 무엇에 집중해야 할 지도 깨닫게 되었습니다.
 

월간 향유회 2023. 06.

FunctionCup 2023 바로 다음날 월간 향유회 검수를 했습니다.
하나같이 촉박하게 검수에 참여해서 죄송할 따름입니다.
 
앞쪽 문제가 많이 풀리기 때문에 앞에서부터 지문을 중점적으로 검수를 시작했습니다. A~C까지 모든 부문 검수했습니다.
B번에서 지문을 많이 닦달했는데, 피곤하셨을 것 같아 조금 죄송스럽습니다. 다시 생각해보니 필요 이상으로 엄밀하게 수정한 것 같네요.
 

검수 팁

우선 Polygon과 백준 Stack 사용법을 익히는 것은 필수입니다.
Polygon은 정말 UI가 구리지만, 또 이만한 도구도 없습니다. 출제 툴을 직접 만드실 게 아니라면 그냥 쓰는 수밖에 없습니다... Polygon 설명 글이 아니기 때문에 Polygon을 써야 하는 이유는 따로 적지 않겠습니다.
 
제가 느낀 점들을 중심으로 적었습니다. 정답이 아닐 수 있으니 참고만 해주세요.
 

지문 검수

• 완벽주의자의 관점으로 지문을 검수하면 곤란합니다.
  • 출제자도 피곤하고, 검수자도 피곤합니다.
  • 꽤나 시간을 오래 잡아먹습니다.
  • 더 중요한 곳에 쏟을 시간이 줄어듭니다.
• 문제를 받으면 서술 자체가 장황하고 이해하기 어려운지부터 빠르게 확인하면 좋습니다.
  • 사소한 부분들은 나중에 수정해도 늦지 않습니다.
  • 사소한 부분들은 안타깝게 대회 전까지 확인하지 못했다고 하더라도 참가자의 질문에 답변하면서 수정할 수 있습니다.
• 우선, 지문 형식 규칙(Description formatting conventions)을 마련해두는 것이 좋습니다.
  • 출제자가 일차적으로 규칙을 만족하게 지문을 작성하게 되므로, 검수진의 반복적인 수정이 불필요합니다.
  • https://github.com/ucpcc/problemsetting-guidelines를 참고하시는 것을 추천드립니다.
    • 추가적으로, 여건이 '된다면' 문체를 통일하도록 가이드라인을 잡는 것도 좋습니다.
• 제한 조건이 올바르게, 전부 다 충분하게 주어졌는지를 집중적으로 다시 확인해주면 좋습니다.
  • 제한 조건을 validator와 일치시키는 것을 적극 권장합니다.
    • 정수인지, 몇 개가 주어지는지, 문자열을 이루는 문자의 종류가 무엇인지, 그래프가 트리임이 보장되는지, 가능한 답이 여러 가지라면 그중 아무거나 출력하면 되는지 등.
    • 기하 문제의 입력 조건은 특히 까다로우니, 꼼꼼하게 확인해야 합니다.
• 그 외에 번호가 매겨져 있으면 그렇다고 적었는지, 반복적인 용어는 통일되었는지 등도 따져주어야 합니다.
• 맞춤법 검사는 위 과정을 모두 거친 후에 실시하는 것이 효율적입니다.

 

채점 검수

• validator, checker, tests에 대한 검수는 이미 잘 정리된 글들이 많으니 다루지 않겠습니다.
• 문제 유형에 따라 grader, interactor, sample grader가 필요할 수 있습니다. 제일 중요한 몇 가지만 적어보았습니다.
  
  • 이 경우 한국 자료는 잘 없는 것 같고, codeforces testlib.h 레퍼런스를 참고하시면 됩니다.
  • 서브태스크의 위계 설정(dependencies)에 실수가 없는지 꼭 따져주어야 합니다.
  • validator에서 서브태스크별로 나누어 검증했는지 확인해야 합니다.
  • interactor는 표준입출력 인터랙티브 문제에 사용되는데, 제한 시간이 넉넉하지 않다면 함수 호출 인터랙티브로 바꿔야 합니다.

 

협업

• 출제/검수 현황을 관리하는 협업이 가능한 스프레드시트(구글 스프레드시트, 노션 등)를 마련하는 것을 적극 권장합니다.
• 출제/검수 시에 운영진 사이에 피드백을 주고 받을 수 있도록 디스코드 서버나 슬랙 채널을 마련하는 것을 적극 권장합니다.
• 검수진 모집 시 검수 일정을 확실하게 고지하는 것을 적극 권장합니다.
• 검수가 촉박한 상황에서는 분업이 필요합니다. (제발 미리 검수를 해서 이런 상황이 발생하지 않도록 해주세요)
  • 정해, 별해 및 사풀이를 내고 코드를 짜고 데이터를 만드는 과정이 굉장히 많은 시간을 잡아먹습니다.
    • 어려운 문제라면 수 시간도 걸릴 수 있습니다.
• 검수진들은 보통 하나의 대회만 검수하지 않습니다.
  • 검수를 깜빡하고 계실 수 있으니 수시로 디스코드 서버 / 슬랙 채널에 멘션을 날려주는 것을 적극 권장합니다.
  • 너무 남발하면 멘션 알림을 꺼놓을 수 있으니 주의 바랍니다.

 

 

 

 

 

 

 

마무리

요즘 부쩍 알고리즘 대회 사이트들에 DDoS 공격이 많아지고 있습니다. 이는 플랫폼 운영자와 참가자들에게 굉장히 폐가 되는 것을 물론이고, 대회를 위해 글에 적은 작업들과 그 외에 많은 것들에 기꺼이 시간을 갈아 넣은 운영진들에게는 정말 못할 짓이라고 생각합니다. 제가 이런 걸 적어봤자 DDoS 공격하는 사람들은 신경도 안 쓰겠지만 제발 이런 일들이 사라졌으면 하네요.
 
아무쪼록 이 글을 보시는 알고리즘 대회 운영진 분들이 계시다면 진심으로 응원합니다!
-끝-