고객 480만 명의 리뷰를 AI로 분석하여
"공동창출가치"를 측정하는 새로운 척도를 만들다
바리스타 카페에서 "아메리카노 주세요"라고만 하면 그냥 커피를 받습니다. 하지만 "에티오피아 원두로 약하게 내려주세요"라고 하면, 바리스타와 대화하면서 나만의 커피를 함께 만들게 됩니다. 이때 느끼는 "함께 만들어서 더 의미 있다"는 느낌이 바로 공동창출가치(CCV)입니다.
고객과 서비스 제공자가 함께 가치를 만들어내는 것 — 이것을 어떻게 숫자로 측정할 수 있을까요?
문헌 검토 + 전문가 인터뷰 + 설문
→ 연구자와 전문가의 언어로만 문항 생성
한계: 전문가 8명의 관점에 의존
기존 방법 + AI 텍스트 마이닝
→ 고객이 실제로 사용하는 언어를 AI로 포착
추가: 고객 480만 명의 목소리를 AI로 분석
전통적 방법이 "전문가 8명에게 물어본 것"이라면, 텍스트 마이닝은 "고객 480만 명의 목소리를 AI로 한꺼번에 들은 것"입니다. 두 가지를 결합하여 더 풍부하고 정확한 측정 문항을 만들었습니다.
"키"는 줄자로, "몸무게"는 체중계로 측정합니다. 그런데 "공동창출가치"처럼 눈에 보이지 않는 심리적 개념은 어떻게 측정할까요?
설문 문항(예: "이 호텔 서비스를 이용한 것이 나에게 유익했다" — 1점~5점)을 만들어서 측정합니다. 이 설문 문항을 체계적으로 만들고 검증하는 과정이 바로 "척도 개발"입니다.
이 논문은 4단계(Phase 1~4)에 걸쳐 최종 15개 문항의 척도를 개발했습니다.
서비스를 사용하는 과정에서 느끼는 혜택
예: "이 호텔 서비스 이용이 나에게 유익했다"
서비스 직원과의 소통과 교감에서 느끼는 의미
예: "직원과 대화하는 것이 즐거웠다"
고객이 적극적으로 참여하면서 느끼는 의미
예: "적극 참여해서 경험이 더 의미 있었다"
고객의 주관적이고 개인적인 경험에서 느끼는 의미
예: "개인적으로 경험한 서비스는 기억에 남는다"
척도 개발에서 가장 흔한 실수는 "무엇을 측정하는지 불명확한 상태에서 문항을 만드는 것"입니다. 집을 지을 때 설계도 없이 벽돌부터 쌓으면 안 되듯이, Phase 1에서 개념의 경계를 명확히 해야 이후 단계가 의미 있습니다.
이 과정에서 '자원 통합(resource integration)'이라는 기준을 적용하여 CCV의 4개 하위 차원을 도출했습니다. "대면 서비스 접점에서 고객과 서비스 제공자가 자원을 결합하는 과정"으로 범위를 한정했습니다.
호텔·레스토랑 프론트라인 서비스 직원 8명
(3년 이상 경력)
반구조화 심층 인터뷰미리 준비한 질문 목록은 있지만, 대화 흐름에 따라 유연하게 추가 질문을 하는 인터뷰 방식. 설문조사처럼 딱딱하지 않으면서도, 핵심 주제를 빠뜨리지 않습니다.
각 30~50분 소요
서비스 현장에서 CCV가 실제로 어떻게 발생하는지에 대한 질적 통찰을 수집합니다.
Word2VecWord to Vector. 단어를 숫자 벡터(좌표)로 변환하는 AI 알고리즘. 비슷한 맥락에서 사용되는 단어들은 비슷한 좌표를 갖게 됩니다. Google에서 2013년에 개발했으며, 자연어 처리의 기본 도구입니다.은 "단어의 친구 관계"를 학습하는 알고리즘입니다.
"맛있는"이라는 단어 옆에 항상 "음식", "요리", "레스토랑"이 나타난다면, 이 단어들은 서로 "친구"입니다. Word2Vec은 480만 건의 리뷰에서 이런 친구 관계를 모두 학습합니다.
그런 다음, 연구자가 "interaction의 친구는 누구?"라고 물으면, "communication", "banter", "enthusiastic" 같은 단어들이 나옵니다. 이것이 측정 문항의 핵심 소재가 됩니다.
S-D Logic 문헌 217편에서 빈출 키워드를 추출 → 4개 시드 워드 선정
"이 단어의 친구를 찾아줘"라고 AI에게 던지는 출발점 단어입니다. 마치 지도에서 "여기서부터 반경 1km의 식당을 찾아줘"라고 할 때의 "여기"와 같습니다.
480만 건 리뷰를 토큰화Tokenization. 문장을 개별 단어(토큰) 단위로 쪼개는 작업. "I love this hotel" → ["I", "love", "this", "hotel"] → 불용어 제거 → 소문자 변환 → 표제어 추출Lemmatization. "running", "runs", "ran"을 원형 "run"으로 통일. 같은 의미의 다른 형태를 하나로 모읍니다.
전처리된 480만 건의 텍스트로 AI 모델을 훈련. 모든 단어 사이의 "친구 관계(의미적 유사도)"를 학습합니다.
설정: 윈도우 크기 5, 벡터 차원 300 (Python gensim)
시드 워드와 코사인 유사도Cosine Similarity. 두 단어의 벡터가 가리키는 방향이 얼마나 비슷한지를 측정. 1에 가까울수록 의미가 비슷하고, 0에 가까울수록 관련 없습니다.가 높은 관련 단어 300개를 추출
t-SNEt-Distributed Stochastic Neighbor Embedding. 고차원 데이터(300차원)를 사람이 볼 수 있는 2차원 지도로 축소. 비슷한 단어끼리 가까이 모이도록 배치합니다.로 300개 단어를 2차원 지도에 시각화 → 의미적 군집 확인 → CCV 맥락에 맞는 단어만 선별
인터뷰 + 텍스트 마이닝 결과를 결합하여 50개 예비 문항을 생성한 후, 박사과정생 6명이 각 문항을 평가. 80% 이상 긍정 평가를 받은 문항만 유지 → 43개 후보 문항 확보
고객 설문 223명
Prolific 플랫폼, 5점 리커트 척도
최근 6개월 내 호텔/레스토랑 이용자
EFA (탐색적 요인분석)Exploratory Factor Analysis. 여러 설문 문항에 대한 응답 패턴을 분석하여, "비슷하게 답한 문항끼리 묶는" 통계 기법. 아직 구조를 모를 때 "탐색"하는 용도입니다.
R 3.6
43개 문항에 대한 223명의 응답 패턴을 분석하여, "비슷하게 답한 문항끼리 묶는" 작업입니다.
예를 들어, "서비스 이용이 유익했다"와 "서비스 이용이 의미 있었다"에 비슷하게 답한 사람이 많다면, 이 두 문항은 같은 요인(CCV-in-use)으로 묶입니다. 어디에도 잘 묶이지 않는 애매한 문항 23개는 제거합니다.
데이터가 정규분포를 따르지 않으므로 → 비정규 데이터에 강한 주축 추출법 선택
요인 간 상관을 허용하는 사각 회전(Oblimin)요인들이 서로 완전히 독립이라 가정하지 않고, 어느 정도 상관이 있을 수 있다고 허용하는 회전 방법. 심리적 요인들은 서로 연관되는 것이 자연스러우므로 현실적입니다. 적용
스크리 도표Scree Plot. 요인 번호별 고유값을 그린 그래프. "팔꿈치"처럼 꺾이는 지점 이전까지의 요인 수를 채택합니다. + 고유값 기준 → 4개 요인 결정
요인에 잘 묶이지 않는 문항 23개 제거 → 20개 문항 확보
고객 설문 248명 (Phase 3과 완전히 다른 사람들)
CFAConfirmatory Factor Analysis (확인적 요인분석). EFA에서 "탐색"한 요인 구조를 새 데이터에서 "확인"하는 분석. "4개 요인에 이 문항들이 묶인다"고 미리 지정한 뒤 맞는지 검증. + SEMStructural Equation Modeling (구조방정식). 여러 변수들 사이의 인과관계를 동시에 분석하는 통계 기법. 여기서는 CCV가 고객 만족도를 예측하는지 확인합니다. (Mplus 7.4)
Phase 3의 EFA는 "데이터에서 구조를 찾는" 작업이므로, 같은 데이터에 맞게 최적화됩니다. 다른 사람들에게도 같은 구조가 나타나야 진짜 잘 만든 척도입니다. 새 약을 개발할 때 한 그룹에서만 효과를 보는 건 불충분하고, 다른 그룹에서도 효과가 재현되어야 하는 것과 같습니다.
"같은 요인에 속한 문항들이 서로 높은 상관을 보이는가?" — 같은 팀원끼리 호흡이 잘 맞는지 보는 것
→ 이 과정에서 문항 5개 추가 제거 → 최종 15개 문항 확정
"다른 요인끼리는 서로 구별되는가?" — 다른 팀과는 확실히 다른지 보는 것
"이 척도가 기존에 잘 알려진 개념(고객 만족도)을 예측할 수 있는가?" — 새 체온계가 실제 열을 잘 감지하는지 기존 체온계와 비교
480만 건의 온라인 리뷰에 Word2Vec을 적용하여, 전문가가 아닌 고객이 실제로 사용하는 언어를 체계적으로 포착하여 측정 문항에 반영했습니다.
텍스트 마이닝으로 문항을 생성하고, EFA → CFA/SEM으로 검증하는 "AI 생성 + 통계 검증" 하이브리드 구조를 보여줍니다.
개념 설정 → 문항 생성 → 정제(EFA) → 검증(CFA/SEM)이라는 정통 척도 개발 절차에 AI를 유기적으로 결합했습니다.
| 단계 | 도구 | 쉽게 말하면 | 답하는 질문 |
|---|---|---|---|
| Phase 1 | 문헌 검토 | 기존 이론을 체계적으로 정리 | "무엇을 측정할 것인가?" |
| Phase 2 | 심층 인터뷰 | 현장 전문가에게 직접 물어봄 | "현장에서 CCV가 어떻게 나타나나?" |
| Phase 2 | Word2Vec + t-SNE | 480만 리뷰에서 유사 단어를 AI가 자동 추출 | "고객은 실제로 어떤 언어를 쓰나?" |
| Phase 3 | EFA | 비슷하게 답한 문항끼리 묶어 요인 탐색 | "4개 요인으로 묶이나?" |
| Phase 4 | CFA + SEM | 새 표본에서 요인 구조 재확인 + 관계 검증 | "이 척도가 진짜 작동하나?" |
많은 텍스트 마이닝 연구들이 "리뷰에서 이런 주제가 나왔다" 수준에 머무릅니다. 이 논문은 거기서 한 발 더 나아가:
① 이론(S-D Logic)에 기반하여 측정할 개념을 설정하고
② AI(Word2Vec)로 고객의 실제 언어를 포착하고
③ 전통 질적 방법(인터뷰)과 AI를 결합하여 문항을 생성하고
④ 전통 양적 방법(EFA → CFA → SEM)으로 단계적으로 검증합니다.
"이론 → AI + 질적 연구 → 양적 검증"이라는 완결된 구조가, AI를 활용하여 새로운 측정 도구를 만드는 연구의 이상적인 본보기를 보여줍니다.