평가, 측정을 넘어 성장의 나침반으로
평가 패러다임의 전환
실무형 인재 양성을 목표로 하는 부스트캠프에게, 수료생이 현업 개발자로서 필요한 지식과 스킬 그리고 태도를 갖추었는지 검증하는 과정은 필수적인 절차입니다. 지난 10년간 부스트캠프는 탄탄한 기본기를 바탕으로 문제를 스스로 정의하고 해결책을 찾아내는 개발자를 원하는 현업의 요구를 반영하여 단 기간 내 밀도 높은 문제 해결 경험을 쌓을 수 있는 환경을 제공해 왔습니다. 최근 3개년 취업률* 73%라는 수치는 이러한 부스트캠프의 교육 설계가 현업의 니즈를 잘 반영했음을 증명하는 객관적 지표입니다.
*취업 현황은 수료 6개월 이후 시점부터 집계하며, 6~8기 대상입니다.
그러나 취업률이라는 사후 결과만으로는 ‘학습자가 부스트캠프에서 어떻게 성장했는지’ 모두 대변할 수 없다는 문제의식이 있었습니다. 학습이란 매우 복합적이고 입체적인 과정입니다. 수료 시점에 최종적으로 어떤 상태에 이르렀는지 확인하는 것을 넘어, 과정 내에서 어떻게 행동하고 실패하며 다시 일어서는지 성장의 경로를 파악해야만 부스트캠프에서의 경험이 학습자에게 유의미한 변화를 미쳤는지 확인하고 앞으로 어떤 경험이 더 강화되어야 하는지 결정할 수 있습니다.
즉 부스트캠프에서는 타인과의 비교나 누군가를 선발하기 위한 목적이 아니라 학습자 개인의 현재 상태를 확인하고 성장을 독려하기 위한 장치로써 평가가 필요했습니다. 다만 우리 사회에서 평가라는 단어가 수반하는 ‘서열화', ‘비교'와 같은 고정 관념이 학습의 본질을 흐리고, 성장이 아닌 점수 획득을 위한 요령에 매몰되게 하는 부작용을 낳을 수 있다는 우려도 컸습니다. 이에 평가의 패러다임을 ‘측정’에서 ‘관찰’로 전환하고,정답 중심의 잣대에서 벗어나 학습자의 맥락을 다각도로 살피기 위한 다양한 시도를 이어왔습니다.
학습자의 맥락을 고려한 평가
학습의 과정과 결과를 학습자 간 관찰하다.
부스트캠프에서는 미션 해결이 종료되면 4~5명의 동료의 산출물을 살펴보는 피어 컴파일(peer compile)을 진행합니다. 이때 학습자가 미션의 핵심 목표 달성 여부를 스스로 점검할 수 있도록 ‘체크포인트’를 제공합니다. 초기 체크포인트는 코드의 정상 동작 여부를 Y/N으로 확인하는 기능적 검증에 집중했습니다. 서로의 코드를 평가한다는 인식이 자칫 동료 간의 심리적 안전감을 해치거나 협력을 저해할 수 있다는 우려 때문에 ‘객관적 동작 여부'로 관찰 범위를 한정한 것입니다.
그러나 이러한 제한은 오히려 코드를 작성한 의도나 결과물이 나오기까지의 고민을 나누는 데 장애물이 되었습니다. 부스트캠프에서 미션 해결의 결과물은 ‘완성된 코드'만을 의미하지 않기 때문입니다. 개발자에게 코드는 문제 해결의 최종적인 산출물이지만, 코드가 나오기까지 어떤 지식을 왜 학습했는지 그리고 왜 그러한 논리적 결론에 도달했는지에 대한 사고의 과정이 반드시 필요합니다. 부스트캠프가 학습정리, PR(Pull Request)* 메시지 등을 활용하여 자신의 사고 과정을 타인이 이해할 수 있는 언어로 기록하고 공유하도록 독려해 온 이유이기도 합니다.
*PR(Pull Request)은 프로젝트에 코드 변경을 반영해 달라는 요청입니다. GitHub의 가장 기본적인 협업 기능으로서, 코드를 실제로 합치기 전에 팀원들과 함께 내용을 검토하고 논의할 수 있도록 돕습니다. 이를 통해 팀은 더 효율적으로 협업하고, 오류를 미리 잡아내며, 전체적인 코드의 질을 높게 유지할 수 있습니다.
이에, 체크포인트를 동작 여부 중심에서 사고의 정교함을 확인하는 다각적인 지표로 바꾸었습니다. 기능 작동 여부를 포함하여, 설계 시 필수 요소를 반영했는지, 학습한 개념을 자신의 언어로 체계화했는지를 포괄적으로 관찰하는 방식입니다. 이는 두 가지 긍정적인 변화로 이어졌습니다. 첫째, 학습자의 과정을 확인할 수 있는 데이터가 확보되었습니다. 둘째, 실시간 화상 회의로 이어지는 피어 피드백의 질(quality)이 향상되었습니다. 학습자들이 코드를 넘어 서로의 문제 해석 과정과 설계 의도를 묻고, 그것이 실제 구현에 어떻게 투영되었는지 확인하게 되었습니다.
여기서 학습자가 체크포인트를 달성했는지 확인하는 주체가 교수자가 아닌 동료 학습자라는 것도 중요합니다. 부스트캠프의 미션은 정해진 정답을 찾아가는 과정이 아닙니다. 핵심 학습 키워드는 존재하지만, 이를 활용하여 미션을 해석하고 풀어나가는 방식은 학습자의 맥락에 따라 달라질 수 있습니다. 만약 교수자가 하나의 정답 코드를 기준으로 이와 유사하게 코드를 짰는지를 확인하는 방식이었다면 학습의 다양성은 위축될 수 있습니다. 부스트캠프는 유사성이 아닌 최소한의 기준(체크포인트)을 중심으로 동료 간 입체적인 관찰과 피드백을 수행하게 함으로써, 정답이 하나라는 고정 관념에서 벗어나 다양한 해결 경로를 스스로 탐색하고 발견하도록 유도했습니다.
이러한 동료간 피드백의 과정은 Zeng과 Ravindran(2025)의 연구에서 이야기하듯, 학습자를 다양한 관점에 노출시킬 수 있고, 피드백을 주고 받는 대화 속에서 자연스럽게 비판적 사고를 향상시키는 데 도움이 됩니다(링크). 실제로 부스트캠프에서 매주 3명 이상의 다양한 문제 해결 경험을 살펴보는 것 자체가 학습자에게는 자신의 문제 해결 과정을 회고하고 되짚어 보는 동기가 되었고, 결과적으로 서로에 대한 관찰이 단순한 평가를 넘어 학습의 과정 그 자체로 연결되는 선순환을 만들었습니다
이렇게 축적된 데이터는 전체 학습 현황을 파악하는 데 유용하게 활용됩니다. 마스터는 학습자가 놓치고 있는 지점, 오개념을 바로잡고 적절한 힌트과 가이드를 제공할 수 있습니다. 또한 운영진은 개별 학습자의 학습 경로를 모니터링하며, 학습 지연이나 어려움을 겪는 이들을 찾고 개별적인 면담을 통해 도움을 줄 수 있습니다.
커뮤니케이션과 협력 경험을 관찰하다.
부스트캠프는 기술적인 전문성 외에도 협력과 커뮤니케이션에 주목했습니다. 개발자는 기술적 지식과 스킬은 기본이고, 자신이 아는 바를 설명하고 동료들과 상호 작용하며 더 나은 방안을 찾아내는 협력이 반드시 필요합니다. 부스트캠프가 자기주도적인 학습에 그치지 않고 동료학습과 커뮤니티 학습을 지향하는 이유도 여기에 있습니다. 이러한 가치들이 실제 과정 내에서 어떻게 발현되는지, 그리고 학습 공동체 내에서 긍정적인 영향력이 어떻게 전파되는지 확인하기 위해 세 가지 층위의 관찰을 시도했습니다.
실시간으로 서로의 문제 해결 경험을 공유하는 피어세션이 끝나는 시점마다 Pulse Survey*를 통해 [동료의 이야기를 경청하여 깊이 있는 논의를 이끌어 내거나 기술적 고민을 논리적으로 공유한 사례]를 수집했습니다. 이는 개발자로서 자신의 문제 해결 경험을 소통하는 태도를 확인하기 위함입니다. *Pulse Survey는 짧은 주기로 시행하는 설문조사입니다.
주단위로 진행하는 자기 회고 설문에서 [한 주간 나의 학습과 성장에 가장 도움이 된 동료와 그 이유]를 받았습니다. 한 순간 눈에 띄는 활약을 넘어, 커뮤니티 내에서 긍정적인 학습 분위기를 조성하는 데 기여하는 학습자를 찾고자 했습니다. 나아가 해당 질문에 응답하며 함께 학습환경을 구축하기 위해 개개인의 기여가 중요함을 지속적으로 커뮤니티에 소통했습니다.
페어프로그래밍이나 팀프로젝트와 같이 밀도있는 협력을 통해 공동의 산출물까지 만들어 내는 경우, 동료 피드백을 통해 학습자 개인에 대해 강점과 보완점을 작성하여 교환했습니다. 학습자들은 동료의 객관적인 시선을 통해 자신의 협력 방식을 교정할 기회를 얻었으며, 운영진은 이를 통해 개별 학습자의 실질적인 협력 경험을 파악하는 구체적인 데이터를 확보할 수 있었습니다.
다양한 시점에 누적한 데이터들을 분석한 결과, 부스트캠프는 동료 간 협력의 우수 사례를 구체화하는 근거를 마련할 수 있었습니다. 이는 정성적이고 추상적으로만 여겨지던 협력 경험이 무엇인지, 앞으로 이를 더 확인하기 위해 무엇이 필요한지 파악하는 데 매우 유용한 데이터가 되었습니다. 또한 커뮤니티 내부에서 지식과 경험이 어떻게 전파되는지 영향력의 경로를 유추할 수 있었습니다.
성장 가능성을 관찰하다.
부스트캠프의 모든 활동은 '회고'로 마무리됩니다. 학습자가 지식을 습득하는 행위만큼이나, 그 과정을 스스로 정의하고 성찰하는 자기 객관화 과정을 중요하게 여기기 때문입니다. 그래서 주간 회고를 통해 한 주간의 학습 목표 달성 여부와 아쉬운 점을 정리하고, 다음 단계를 위한 새로운 전략을 스스로 찾도록 독려해 왔습니다.
학습자의 성찰을 돕는 핵심 질문을 제공하지만 형식과 분량의 제약을 두지 않기 때문에 회고 데이터는 매우 방대한 양의 서술형 텍스트로 축적됩니다. 이는 학습자의 솔직한 학습 맥락을 파악할 수 있는 소중한 자산이지만, 비정형 데이터의 특성상 정량적으로 분석하는 데에는 한계가 있었습니다. 특히 베이직과 같이 1,000명의 이상의 학습자가 참여하는 과정에서는 회고 데이터로 학습자의 맥락을 파악하는 게 불가능에 가까웠습니다. 이에, 부스트캠프는 이러한 비정형 데이터에서 성장의 신호를 찾고 그 결과를 확인하기 위해 생성형 AI(chatGPT)를 활용한 텍스트 분석을 시도했습니다.
위와 같은 평가 항목을 기준으로 회고를 분석한 결과, 회고와 성장 가능성 간 유의미한 상관관계를 확인했습니다. 특히 가설 검증을 위해 베이직 과정에서 현재 기술적 지식이나 경험은 부족하지만 베이직에 성실하게 임하며 '회고의 질'이 최상위권인 학습자들을 선별하여 추가 합격시킨 후, 이들의 후속 성장 경로를 추적했습니다. 추가 합격자들은 챌린지 입과 초기에는 미션 해결 결과 하위 5%에 머물렀으나, 불과 4주 만에 상위 50% 이내로 진입하는 폭발적인 성장을 보였습니다. 또한 이들 중 다음 단계인 멤버십 과정까지 최종 입과할 정도로 높은 성취를 거둔 학습자는 78%에 달했습니다.
이는 자신의 현재 상황을 객관적으로 직시하고, 부족함을 채우기 위한 새로운 시도를 멈추지 않는 '메타인지'가 뛰어난 학습자일수록 비약적인 성장을 이뤄낸다는 점을 보여주는 결과로서, Onodipe, Romanow, & Robbins (2025)의 연구에서 성찰적 글쓰기 과제에 노력(단어 수로 측정)이 많을 수록 실제 시험과 퀴즈에서 더 높은 점수를 받았다는 결론과도 유사합니다(링크). 또한 Chou, & Chang (2011)의 연구에서 성찰의 품질이 높은 학습자 그룹이 낮은 그룹에 피해 시험, 과제물 점수, 학습태도에서 유의미하게 더 높은 점수를 기록했다는 결론과도 유사합니다(링크). 이처럼 부스트캠프는 분석 데이터를 통해 그동안 가설로만 존재했던 ‘성장 가능성’과 ‘러닝 커브(Learning Curve)’라는 추상적인 가치를 실질적인 데이터로 증명할 수 있었습니다.
정답이 없는 평가, 어떻게 신뢰를 확보할 수 있을까?
부스트캠프가 관찰하고자 했던 학습 과정에서의 변화, 협력 경험, 메타인지 등은 단일 시점의 단편적인 평가자 한 명으로는 파악할 수 없었습니다. 학습자마다 고유한 맥락과 성장의 경로가 다르기 때문입니다. 이에 부스트캠프는 학습의 전 과정에 걸쳐 복수의 관찰자를 배치하고, 관찰과 피드백이 실시간 데이터로 축적되는 구조를 설계했습니다.
혹자는 주관적인 관찰 데이터에 의존하는 방식의 신뢰성에 의문을 품을 수도 있습니다. 그러나 우리가 익숙하다고 생각했던 객관식 시험이나 정답이 있는 테스트가 정말 학습자의 현재 상태를 온전하게 보여 주고 있는지를 되물어야 합니다. O’Connor & Townsley(2025)는 흔히 주관성이 객관성보다 나쁜 것이라고 생각하는 경우가 많지만, 모든 인간의 판단은 본질적으로 주관적이며, 평가에서 인간적 요소는 두려워할 것이 아니라 불가피한 것이고, 따라서 목표는 주관성을 없애는 것이 아니라 일관성을 확보하는 것이어야 한다고 말합니다(링크). 학습자가 스스로 의미를 구성하고 적용하는 능동적인 학습을 지향한다면, 평가 역시 학습자가 지식을 어떻게 이해하고 해석하여 실제 상황에 적용했는지를 반영해야 합니다.
관찰자의 주관성을 완전히 배제하는 것은 어렵습니다. 관찰의 기준을 제공하더라도 이에 대한 개개인의 해석과 판단은 조금씩 다를 수 있기 때문입니다. 그래서 부스트캠프는 다양한 시점에 복수의 관찰자를 배치하는 방식을 선택했습니다. 학습자 1명에 대해 약 6개월간 동료 학습자 60여 명의 관찰 데이터를 누적하는 방식입니다. 여기에 기술 교육 전문가인 마스터, 현업의 시선으로 코드를 살피는 리뷰어, 테크 리더급 개발자라는 다층적인 관찰을 더했습니다. 이러한 다면적인 관찰의 누적은 주관적 관찰의 신뢰도를 형성하는 기반이 됩니다.
신뢰도 확보를 위해서는 정량적인 지표로의 환원도 병행했습니다. 협력이라는 추상적인 경험을 다양한 질문을 통해 지표화하여 커뮤니티 영향력을 산정하거나, 생성형 AI를 통해 회고의 질(quality)을 정량화하려는 시도가 대표적입니다. 그러나 이 과정에서 역설적으로 데이터와 수치로 환원하는 것만이 능사가 아니라는 점 또한 명확하게 깨달았습니다. 키워드 중심의 기계적인 매칭이나 단순 지표화는 오히려 원본 관찰 데이터 속에 담긴 학습자, 관찰자의 맥락을 완벽히 담아 낼 수 없기 때문입니다. 결국 축적된 데이터를 해석하고 학습자의 상태를 최종적으로 판단하는 주체는 여전히 사람이어야 합니다. 예를 들어 AI가 분류한 기초 데이터를 바탕으로 마스터와 운영진의 교육적 해석이 더해질 때, 비로소 학습자에게 어떤 개입과 가이드가 필요한지에 대한 올바른 의사결정이 가능해집니다.
이러한 부스트캠프의 접근은 전문직 역량 평가의 프레임워크인 밀러의 피라미드를 활용해서도 설명할 수 있습니다. Vikr와 Joshi(2020)의 연구에 따르면 실제 의학분야에서는 학습자가 지식을 아는 단계(Know)를 넘어 실제 현장에서 이를 수행하는 최상위 단계인 행함(Does)의 영역을 평가하기 위해서는 전문가의 관찰과 주관적 판단이 필수적입니다. 그리고 주관성이 가지는 한계는 다양한 맥락에서 복수의 평가자가 참여하는 삼각측량(Triangulation)을 통해 극복될 수 있습니다(링크).
AI시대 우리에게 필요한 평가는 무엇일까?
AI 기술의 비약적인 발전으로, 단순히 기술 지식을 암기하고 주어진 명세를 그대로 구현하는 능력은 더 이상 개발자로서 차별화된 경쟁력이 되지 못합니다. 이제 개발 교육의 본질은 학습자가 지식을 능동적으로 소화하고 자신만의 관점으로 문제를 재구성하는 힘을 기르는 데 집중되어야 합니다. 부스트캠프는 지난 10년간 이러한 교육 철학을 실제 경험으로 구현하고 정교화해왔습니다. 그리고 그 과정에서 성장의 맥락을 고려한 평가가 필요함을 확인했습니다. 앞으로 우리에게 필요한 평가는 단편적인 결과 확인이 아니라, 학습 과정의 다각적인 스냅샷을 연결하여 학습자 고유의 성장 경로를 그려내는 일일 것입니다.
기술의 변화에 따라 우리가 관찰해야 할 경험에 대한 정의도 변할 수 있습니다. 그러나 '다양한 시선으로 맥락을 포착하여 성장을 지원한다'는 부스트캠프의 평가 원리는 AI 시대에도 변함없이 유효합니다. 부스트캠프는 앞으로도 변화하는 시대가 요구하는 개발자의 역량을 정교하게 정의하고, 이를 실천할 수 있는 학습 경험을 설계하며, 그 여정이 학습자의 실제 성장으로 이어지고 있는지 끊임없이 관찰하고 증명해 나갈 것입니다.
Last updated