AI 가 수십에서 수십만까지 정리할 때

OpenKnock Culture Ladder 의 진단은 수십 명의 작은 회사에서도, 수십만 명의 대기업에서도 같은 수준으로 떨어져야 합니다. 그런데 수십만 명의 답을 한 사람이 일일이 읽을 수는 없습니다. 그 응답을 사람이 다시 읽을 수 있는 모양으로 묶어주는 자리에 AI 가 들어가 있고, 그 AI 가 자기 영역을 한 발만 벗어나면 묶어낸 모든 의미가 망가집니다.

AI 가 응답을 회사의 정확한 자리에 묶어주는가, 아니면 어디든 둘 수 있는 일반론으로 흩어버리는가. 답은 한 자리에서 갈립니다. AI 가 안전문화 측정 이라는 자기 영역 안에서 말하느냐, 그 밖에서 말하느냐. 우리는 AI 가 머물러야 할 이 영역을 도메인 이라고 부릅니다.

도메인 안에서 말하면, 응답 한 줄이 회사의 어느 Theme · 어느 단계에 떨어지는지가 정확히 잡힙니다. 한 발 밖으로 나가면, 같은 한 줄이 구성원 간 소통이 부족합니다, 워크샵이 필요합니다 같은 어느 회사에 갖다 붙여도 되는 일반론으로 흩어집니다. 안전문화 진단에서 AI 의 모든 가치는 한 약속에서 나옵니다. AI 의 입이 도메인 안에서만 열린다는 약속.

AI 는 읽는 사람을 대체하지 않습니다. 읽을 수 없던 양을 읽을 수 있게 만들어 줄 뿐입니다.

프로그램의 기반은 사람의 손에서 나왔습니다. OpenKnock 을 함께 짓는 전문 안전 컨설턴트들이 측정의 설계 알고리즘부터 다섯 단계의 기준값 데이터까지 손수 만든 결과 위에 프로그램이 서 있습니다. AI 가 측정의 기준을 정하지 않고, 측정의 의미를 해석하지도 않습니다. 그 자리는 사람의 자리입니다.

그렇다면 AI 는 어디에 박혀 있는가. 수십만 명이 참여하는 한 번의 설문조사가 만들어내는 수천억 개의 응답 데이터. 예전이라면 분석이 불가능했거나, 엄청난 인건비를 들여야 겨우 손에 잡을 수 있었던 양. 그 양을 사람이 진짜로 읽을 수 있게 묶어주는 자리에서, 우리가 만든 AI agent 의 집합, workflow 가 일을 시작합니다. 이 프로그램의 특이점이 정확히 이 자리입니다.

이 한 줄을 프로그램의 입장에서 다시 읽으면, AI 의 일은 해석 이 아니라 축약 이고, 사람의 일은 그 축약을 받아 다시 판단하는 자리입니다. 회사가 50 명이든 50,000 명이든 응답이 그만큼 늘어나도, 결국 사람이 읽을 수 있는 한 자릿수의 주제로 묶여야 합니다. 그 10 개 안팎을 어떻게 판단할지는 여전히 사람의 몫입니다.

OpenKnock Culture Ladder 의 분석은 한 자리에서 끝나지 않습니다. 한 번의 설문조사가 여러 기준 과 여러 각도 가 교차하는 수많은 자리에서 동시에 분석됩니다.

먼저 세 가지 기준 으로 갈라집니다. 가장 큰 범주인 Theme (“정보의 흐름”, “학습”, “리더십”), 그 안의 세부 영역인 SubTheme (“정보의 흐름” 아래의 “위험 보고”), 그리고 측정 가능한 가장 작은 행동 한 줄인 Behavior (“위험을 발견하면 윗선에 보고한다”). 같은 응답이 세 기준의 자리마다 따로 한 번씩 분석됩니다.

그리고 또 세 가지 각도 로 갈라집니다. 사업장 별로 (어느 공장 · 어느 부서의 풍경인가), 응답대상자 별로 (누가 답했는가, 임원이, 리더가, 작업자가), 분석대상자 별로 (누구에 관한 평가인가, 임원진, 리더, 동료, 자기 자신). 같은 기준의 자리도 누가 어디서 누구를 평가했는지에 따라 풍경이 다르니까요.

세 기준 × 세 각도가 교차하면, 한 번의 진단이 결과 화면에서는 수백 자리의 분석으로 펼쳐집니다. “A 공장 × 작업자가 답함 × 임원진을 평가” 의 자리에서 보이는 풍경과 “B 공장 × 임원이 답함 × 자기 자신을 평가” 의 자리에서 보이는 풍경은, 같은 한 줄짜리 응답에서 출발해도 다른 그림이 됩니다.

이 모든 자리를, 수백 개에 이를 수도 있는 자리들을, OpenKnock 의 sLLM 이 한 자리씩 받아 같은 분석을 돌립니다. 먼저 그 자리의 단계 점수가 잡히고, 회사가 정해 둔 목표 단계에 닿았는지를 충족 / 미달 로 판정합니다. 그 위에 자리를 한 문단으로 정리한 총평과 강점·약점이 따라오고, 마지막으로 미달의 자리에는 어디부터 손볼지의 개선점이, 충족의 자리에는 다음 단계로 어떻게 뛸지의 도약 가이드가 대신 붙습니다.

한 번의 진단을 수백 자리에서 동시에 본다. 그것이 OpenKnock Culture Ladder 의 분석이 가진 깊이입니다.

수십만 명의 응답을 AI 가 정리한다는 약속이 무게를 가지려면, AI 가 자기 도메인 밖으로 한 발도 나가지 않는다는 약속이 같이 박혀 있어야 합니다. 모델 하나에 모두 맡기는 방식으로는 그 약속을 지킬 수 없었습니다.

그래서 우리는 두 가지 모델을 하나의 workflow 안에서 결합 했습니다. 안전·조직문화 도메인의 어휘와 결을 받는 자리에는 우리가 직접 트레이닝한 도메인 특화 모델 (sLLM) 을 두고, 그 위의 일반적인 언어 해석, 응답자가 의도한 뉘앙스, 문장 사이의 관계, 한국어 / 영어 / 일본어 같은 다국어 처리는 검증된 범용 LLM API 가 받게 두었습니다. 두 결을 하나의 흐름 안에서 조합해, 모델의 입이 도메인 안에서만 열리도록 최적화해 둔 셈입니다.

예를 들어 응답자가 “소통이 잘 안 됨” 이라고 적었을 때 범용 API 만 쓰면 “커뮤니케이션 부재” 같은 일반적인 키워드로 흩어져 버립니다. 같은 한 줄이 우리 sLLM 을 한 번 거치면, 그것이 “정보의 흐름 / 위험 보고” 의 SubTheme 으로 정확히 매핑됩니다. 응답이 회사의 어느 자리에 떨어지느냐는 이 두 모델이 어떻게 결합되어 있느냐에 따라 완전히 갈립니다.

AI 가 수십만 명의 응답을 정리할 수 있게 되는 자리는, AI 가 그 모두를 평탄하게 가려 버릴 수 있게 되는 자리이기도 합니다.

다음 편은 시리즈의 마지막. AI 가 펼쳐 둔 약점과 개선점이 PDF 폴더에서 사라지지 않고 Action 모듈로 넘어가 다음 설문조사의 재측정으로 이어지는 자리, 측정에서 변화로의 닫힌 고리입니다.