본문으로 건너뛰기
Sales Strategies

지도 학습: 리드 스코어링 모델을 학습시키는 7단계

CRM 데이터 준비부터 특성 엔지니어링, 모델 학습·평가·배포·모니터링까지, 지도 학습 기반 리드 스코어링을 구축하는 7단계 가이드입니다.

15분 분량
지도 학습: 리드 스코어링 모델을 학습시키는 7단계
TL;DR

CRM 데이터 준비부터 특성 엔지니어링, 모델 학습·평가·배포·모니터링까지, 지도 학습 기반 리드 스코어링을 구축하는 7단계 가이드입니다.

핵심 요점
  • 데이터 준비 및 라벨링: 12~24개월치 CRM 데이터를 수집하고 품질을 확보한 뒤 리드를 "won", "lost", "SQL"로 라벨링합니다.

  • 데이터 탐색: 패턴을 분석하고 불균형을 보정하며 전환과 연관된 핵심 특성을 식별합니다.

  • 특성 엔지니어링: 인게이지먼트 벨로시티나 점수 감쇠 같은 새로운 지표를 만들어 예측 정확도를 높입니다.

  • 데이터 분할 및 알고리즘 선택: 데이터를 학습·검증·테스트 세트로 나눕니다. 로지스틱 회귀로 시작한 뒤 XGBoost 같은 고급 모델을 시도합니다.

목차

지도 학습: 리드 스코어링 모델을 학습시키는 7단계

영업 생산성을 80% 높이고 미검증 리드에 낭비되는 시간을 줄이고 싶으십니까? 리드 스코어링 모델은 그 해답이 될 수 있습니다. 지도 학습은 과거 CRM 데이터를 분석해 예측 리드 스코어링으로 전환 가능성이 가장 높은 리드를 예측합니다. 전체 프로세스를 간단히 정리하면 다음과 같습니다.

  • 데이터 준비 및 라벨링: 12~24개월치 CRM 데이터를 수집하고 품질을 확보한 뒤 리드를 "won", "lost", "SQL"로 라벨링합니다.
  • 데이터 탐색: 패턴을 분석하고 불균형을 보정하며 전환과 연관된 핵심 특성을 식별합니다.
  • 특성 엔지니어링: 인게이지먼트 벨로시티나 점수 감쇠 같은 새로운 지표를 만들어 예측 정확도를 높입니다.
  • 데이터 분할 및 알고리즘 선택: 데이터를 학습·검증·테스트 세트로 나눕니다. 로지스틱 회귀로 시작한 뒤 XGBoost 같은 고급 모델을 시도합니다.
  • 학습 및 튜닝: 모델을 학습시키고 하이퍼파라미터를 미세 조정해 성능을 개선합니다.
  • 성능 평가: precision, recall, AUC-ROC 같은 지표로 정확도를 평가합니다.
  • 배포 및 모니터링: CRM에 통합하고 지표를 모니터링하며 정기적으로 재학습해 효과를 유지합니다.

핵심 요점: 잘 구축된 리드 스코어링 모델은 시간을 절약하고 효율을 높이며 ROI를 끌어올립니다. 더 깊이 알아보실 준비가 되셨습니까? 이제 단계별로 하나씩 살펴보겠습니다.

지도 학습으로 리드 스코어링 모델을 학습시키는 7단계

Python과 머신러닝으로 리드 스코어링 모델 구축하기

1단계: 학습 데이터 준비 및 라벨링

모델의 정확도는 학습 데이터의 품질에 크게 좌우됩니다. 실제로 낮은 데이터 품질은 조직에 연평균 1,290만 달러의 비용을 초래합니다 [7]. 그렇기 때문에 준비 과정을 제대로 수행하는 것이 무엇보다 중요합니다.

과거 CRM 데이터 수집

먼저 CRM 시스템에서 12~24개월치 리드 데이터를 확보하는 것부터 시작합니다 [6]. 이상적으로는 5,000행 규모의 데이터셋을 목표로 하십시오. 여의치 않다면 최소 2,000개의 리드에 20%의 양성 전환율이 확보된 데이터셋을 갖추어야 합니다 [6].

데이터셋에는 두 가지 주요 유형의 데이터가 포함되어야 합니다.

본격적으로 시작하기에 앞서, 웹사이트 폼과 트래킹 스크립트를 점검해 필요한 기준을 모두 수집하고 있는지 확인하십시오 [5].

전환 결과로 데이터 라벨링하기

각 레코드에는 최종 결과인 “won”, “lost”, “SQL”(Sales Qualified Lead)이 라벨로 부여되어야 합니다 [6]. 이 라벨링은 모델이 학습 시 기준으로 삼는 정답 데이터(ground truth) 역할을 합니다 [8]. “거짓 음성(false negative)”으로 인한 왜곡된 결과를 방지하려면, 아직 시스템에 머문 기간이 짧아 확정적인 결과에 도달하지 못한 리드는 제외하십시오. 일반적으로 이는 최근 3~6개월 이내에 추가된 리드를 필터링하는 것을 의미합니다 [15,16].

보다 세밀한 스코어링을 원한다면 가치 기반 버킷팅(value-based bucketing)을 고려해 보십시오. 단순한 이진 라벨 대신, 총 주문 금액이나 생애 가치 같은 지표를 기준으로 리드를 Bronze, Silver, Gold와 같은 등급으로 세분화하는 방식입니다 [9]. 이를 통해 모델은 고가치 리드를 보다 효과적으로 우선순위화할 수 있습니다.

데이터 정제 및 형식 통일

다음 단계는 데이터 정제입니다. 여기에는 중복 제거, 결측된 수치값을 중앙값으로 채우기, 형식 표준화가 포함됩니다 [6]. 실제 사례를 보면, 한 IT 서비스 제공업체는 데이터를 정제하는 것만으로 단 3개월 만에 리드 스코어링 정확도를 43%에서 76%로 끌어올렸습니다 [12].

Clearbit 같은 세일즈 인텔리전스 도구는 산업이나 매출 정보처럼 누락된 세부 정보를 채우는 데 도움이 됩니다 [6]. 또한 이름, 주소, 전화번호 같은 신원 정보를 매칭해 서로 다른 소스에 흩어진 리드 및 고객 레코드를 통합하십시오 [10].

"쓰레기를 넣으면 쓰레기가 나옵니다. 데이터의 정확성과 일관성을 확보하십시오" [11]

  • Shivang Gupta, AI & Data Strategy Consultant

데이터가 제대로 준비되고 라벨링되었다면, 다음 단계는 탐색적 데이터 분석을 수행해 핵심 패턴을 파악하는 것입니다.

2단계: 탐색적 데이터 분석 수행

데이터가 준비되고 라벨링되었다면, 다음 단계는 탐색적 데이터 분석(EDA)입니다. 이 단계는 모델을 크게 개선할 수 있는 패턴과 추세를 발견하는 데 필수적입니다. 데이터 과학자 Akash Sharma는 이렇게 말합니다. "제대로 된 EDA 없이는 어떤 머신러닝 모델도 완성되지 않습니다. EDA는 특성 추출 및 삭제에 도움을 주고, 모델을 개발할 최적의 알고리즘을 결정하기 때문입니다" [13].

특성 분포 분석

먼저 데이터셋 특성의 분포를 살펴보는 것부터 시작합니다. "웹사이트 체류 시간" 같은 연속형 변수의 경우, 히스토그램, KDE 플롯, 박스플롯 같은 도구로 왜도와 이상치를 파악할 수 있습니다 [13]. "직책"이나 "산업" 같은 범주형 특성의 경우, 값 빈도(value counts)와 카운트 플롯으로 어떤 범주가 우세한지 확인할 수 있습니다 [13]. 더 깊이 들어가려면 각 특성을 타깃 변수("Converted")와 대응시켜 보십시오. 이러한 이변량 분석은 어떤 속성이 전환 성공과 연관되는지 식별하는 데 도움이 됩니다. 예를 들어 "직장인"이 "학생"보다 더 높은 전환율을 보일 수 있습니다.

"Select" 같은 플레이스홀더 값은 결과 왜곡을 방지하기 위해 NaN으로 대체하십시오 [13]. 우측으로 치우친(right-skewed) 지표가 보인다면, 데이터를 정규화하는 변환을 적용해 모델 성능을 높일 수 있습니다 [13].

데이터 불균형 식별 및 보정

전환율을 면밀히 살펴보십시오. 데이터셋이 미전환 리드 쪽으로 크게 치우쳐 있으면, 모델이 다수 클래스에 편향되어 고가치 잠재고객을 식별하는 능력이 떨어질 수 있습니다 [6][4]. Yashashri Shiral은 이 문제를 이렇게 강조합니다. "이 불균형 데이터셋을 무시할 수 없는 이유는, 소수 클래스, 즉 고객이 전환된 경우(yes/1)에서 성능이 저하되기 때문입니다" [4].

이를 해결하기 위해, SMOTE 같은 오버샘플링 기법으로 소수 클래스의 합성 예시를 생성해 볼 수 있습니다 [4]. 또는 다수 클래스를 언더샘플링하거나, 알고리즘의 가중치를 조정해 소수 클래스에 더 집중하도록 하는 방법도 도움이 됩니다 [6].

특성 상관관계 평가

특성이 전환과 어떻게 연관되는지 이해하는 것은 특성 선택에 매우 중요합니다. 연속형 변수에는 Pearson 상관계수를, 범주형 변수에는 카이제곱(Chi-Square) 검정을 사용하는 것이 더 적합합니다 [13][4]. 다중공선성(특성 간 중첩이 지나친 경우)을 식별하려면 모든 수치형 특성에 대해 분산팽창계수(VIF)를 계산하십시오. VIF가 5를 초과하는 특성은 중복과 과적합을 피하기 위해 제거를 검토해야 할 수 있습니다 [4].

상관관계 히트맵은 특성 간 관계를 빠르게 시각화하는 방법입니다 [13][4]. 인구통계 데이터보다 행동 신호에 주목하십시오. 연구에 따르면 리드가 누구인가보다 무엇을 하는가가 전환을 더 효과적으로 예측하는 경우가 많습니다 [5]. 예를 들어 가격 페이지 방문 같은 행동은 직책 같은 정적 속성보다 전환을 더 강하게 예측하는 신호인 경우가 많습니다. 성사된 거래(closed-won)와 과거 상관관계가 가장 강한 특성이 스코어링 모델에서 우선순위를 차지해야 합니다 [5].

이처럼 데이터를 세밀하게 이해하면 다음 단계에서 특성을 선택하고 다듬는 데 큰 도움이 됩니다.

3단계: 특성 선택 및 엔지니어링

탐색적 데이터 분석을 마무리했다면, 이제 모델을 이끌 특성을 결정하고 중요한 패턴을 부각하는 새로운 특성을 만들 차례입니다. BizAI GPT의 CEO 겸 창립자 Lucas Correia는 이렇게 말합니다. "모델 성능 향상의 80%는 이 단계의 특성 엔지니어링에서 나옵니다. 첫 접촉까지의 일수(days-to-first-touch), 인게이지먼트 벨로시티(주당 접촉 수) 같은 파생 신호를 추가하십시오." [6] 어떤 특성을 선택하느냐가 모든 차이를 만들며, 평범한 모델을 어떤 리드가 전환될지 정확히 예측하는 모델로 바꿔 놓습니다. 핵심 특성을 식별한 다음에는, 리드의 미묘한 행동을 포착하는 파생 속성을 설계하는 단계로 넘어갑니다.

관련성 높은 특성 선택

탐색적 분석에서 얻은 인사이트를 활용해 전환을 가장 잘 예측하는 특성에 집중하십시오. 과거 CRM 데이터를 깊이 파고들어 성공적으로 전환된 리드의 추세를 발견하십시오 [6]. 영업팀과 협업해 거래 성사를 시사하는 특성과 행동을 정확히 짚어내십시오. 예를 들어 기업 규모 같은 정적 데이터보다 가격 페이지 방문 같은 행동 지표를 우선하십시오 [5][6].

특성 집합을 다듬으려면 재귀적 특성 제거(RFE)를 적용해 예측력이 낮은 변수를 걸러내십시오 [4]. VIF 임계값 같은 도구로 중복된 특성을 식별하고 제거하십시오 [4]. 영향력이 큰 행동에 집중하는 한편, 개인 이메일 주소나 "student" 같은 직책처럼 낮은 품질의 리드를 나타내는 속성에는 페널티를 부여하십시오 [5].

새로운 특성 엔지니어링

이제 원시 데이터를 실시간 인게이지먼트를 반영하는 동적 지표로 만들어 실행 가능한 인사이트로 전환하십시오. 파생 특성은 원시 데이터를 전환 확률로 번역하는 데 도움이 됩니다. 예를 들어 총 상호작용 수 대신 주당 접촉 수를 측정하는 인게이지먼트 벨로시티를 계산해 모멘텀을 얻고 있는 리드를 포착하십시오 [6]. 지수 감쇠 함수를 사용해 최근 상호작용에는 더 큰 가중치를 부여하고 오래된 상호작용의 비중은 낮추십시오 [6]. "demo now"나 "pricing" 같은 키워드를 커뮤니케이션에서 추출해 이진 특성으로 변환함으로써 의도를 식별하십시오 [6].

웹 활동을 가격 페이지에서의 스크롤 깊이나 다운로드 빈도 같은 의미 있는 지표로 변환할 수도 있습니다. 수치형 firmographic 데이터의 경우, 매출을 구간으로 묶거나 임직원 수 같은 지표에 로그 스케일을 적용해 넓은 편차를 처리하는 것을 고려하십시오 [6]. 또한 점수 감쇠(score decay)를 구현하십시오. 예를 들어 비활성 상태가 지속된 매월마다 리드 점수에서 5~10점을 차감하는 방식입니다 [5]. 이처럼 맞춤형 예측 모델을 사용하는 기업은 일반적인 방식에 의존하는 기업 대비 2.5배 높은 영업 생산성74% 짧아진 영업 주기를 경험하는 경우가 많습니다 [6].

4단계: 데이터 분할 및 알고리즘 선택

특성 엔지니어링을 마쳤다면, 이제 데이터를 분할하고 알맞은 알고리즘을 선택할 차례입니다. 데이터를 분할하면 모델이 단순히 데이터를 암기하는 대신 의미 있는 패턴을 학습하게 됩니다. 한편 적합한 알고리즘을 선택하면 리드 스코어링을 위한 예측 분석을 활용해 영업 데이터에 숨은 미묘한 신호를 발견할 수 있습니다.

데이터를 학습·검증·테스트 세트로 분할

데이터셋을 세 부분으로 나눕니다. 학습(보통 60~80%), 검증(10~20%), 테스트(10~20%)입니다 [14][15]. 학습 세트는 모델에 패턴을 가르치고, 검증 세트는 하이퍼파라미터를 미세 조정하고 과적합을 포착하는 데 도움을 주며, 최종 평가 전까지 분리해 두는 테스트 세트는 모델이 실제 환경에서 얼마나 잘 작동하는지에 대한 편향 없는 척도를 제공합니다 [14][15]. 흔히 사용되는 분할 비율로는 70/15/15, 80/10/10, 60/20/20 등이 있습니다 [15].

전환이 드문 리드 스코어링에서는 계층적 분할(stratified splitting)이 필수적입니다. 이 방법은 모든 분할에서 전환 비율을 유지해 학습과 테스트에 균형 잡힌 데이터를 보장합니다 [14][15]. 데이터셋에 동일한 리드나 기업에 대한 여러 레코드가 있다면, 데이터 누수를 방지하기 위해 이들을 같은 분할 안에 함께 묶으십시오 [15]. 시간에 따라 변하는 리드 행동처럼 시간에 민감한 데이터를 다룰 때는 시간 기반 분할(time-based splitting)이 더 나은 선택입니다. 오래된 데이터를 학습에, 최신 데이터를 테스트에 사용해 실제 예측 상황을 모사하십시오 [15].

전처리, 특성 엔지니어링, 데이터 증강을 수행하기 전에 반드시 테스트 세트를 분리해 두십시오. 이 단계는 학습 과정에 정보가 누출되어 모델 성능이 부풀려지는 것을 방지하는 데 도움이 됩니다 [15]. 데이터를 증강한다면 분할 이후 학습 세트에만 적용하십시오. 그렇지 않으면 학습 세트와 검증 세트 양쪽에 중복 샘플이 유입되어 지나치게 낙관적인 결과로 이어질 수 있습니다 [15].

데이터가 제대로 분할되면, 이제 영업 데이터의 패턴을 가장 잘 포착할 알고리즘을 선택할 준비가 된 것입니다.

분류 알고리즘 선택

탐색적 데이터 분석에서 얻은 인사이트를 바탕으로, 선형 및 비선형 관계를 모두 처리할 수 있는 알고리즘을 선택하십시오. 우선 로지스틱 회귀를 베이스라인 모델로 삼아 단순하게 시작하십시오. 그다음 XGBoostLightGBM처럼 영업 데이터의 비선형 패턴을 식별하는 데 매우 효과적인 고급 옵션을 탐색하십시오. 이러한 알고리즘은 단순한 모델보다 성능이 뛰어난 경우가 많으며, 맞춤형 모델은 0.92를 넘는 AUC 점수를 달성하기도 합니다 [6].

데이터셋이 불균형한 경우, 즉 "won" 결과가 "lost"보다 훨씬 드문 경우에는 그러한 상황에 맞게 설계된 알고리즘이나 기법을 고려하십시오. 예를 들어 SMOTE(Synthetic Minority Oversampling Technique)를 사용해 클래스 균형을 맞추십시오. 높은 정확도(AUC 0.92 이상)를 달성하려면 맞춤형 모델은 일반적으로 최소 5,000~10,000개의 리드를 필요로 합니다 [6]. 또한 모델 스태킹(stacking)은 AUC를 최대 15%까지 개선할 수 있습니다 [6].

끝으로, 데이터 드리프트에 대응하고 시간이 지나도 효과를 유지하기 위해 모델을 매월 재학습해야 한다는 점을 잊지 마십시오 [6].

5단계: 모델 학습 및 튜닝

데이터를 분할하고 알고리즘을 선택했다면, 이제 모델을 학습시키고 설정을 미세 조정할 차례입니다. 바로 이 지점에서 알고리즘은 기본 골격에서 고가치 리드를 예측할 수 있는 도구로 발전합니다.

라벨링된 데이터로 모델 학습

먼저 model.fit(X_train, y_train)으로 알고리즘을 학습시키는 것부터 시작합니다 [6]. 이 과정을 통해 모델은 리드 특성과 전환 결과를 연관 짓는 법을 학습합니다. 이 과정을 확장하기 위해, 팀은 학습을 시작하기 전에 AI 리드 파인더를 활용해 고품질 잠재고객 발굴을 자동화하는 경우가 많습니다. 단순한 베이스라인 모델로 시작한 뒤, 필요에 따라 XGBoost나 LightGBM 같은 고급 알고리즘으로 넘어가십시오 [6].

데이터가 불균형하다면(예: 전환보다 실패가 훨씬 많은 경우), 균형화 기법을 적용해 모델이 실패 예측 쪽으로 과도하게 치우치지 않도록 하십시오.

하이퍼파라미터 최적화

학습률, 트리 개수, 최대 깊이 같은 하이퍼파라미터는 모델이 학습하는 방식을 결정하며 학습 중에는 일정하게 유지됩니다 [16][17]. 그리드 서치(GridSearchCV 같은 도구 사용)로 가능한 모든 파라미터 조합을 테스트하거나, 더 빠른 샘플링을 위해 랜덤 서치를 시도하십시오 [16]. 더 복잡한 모델의 경우, Optuna 같은 베이지안 최적화 도구가 파라미터 공간을 더 효율적으로 탐색해 강력한 결과를 찾는 데 필요한 평가 횟수를 줄여주는 경우가 많습니다 [16].

그래디언트 부스팅 모델의 n_estimatorsmax_depth처럼 영향이 가장 큰 파라미터의 튜닝에 집중하십시오 [16]. 하이퍼파라미터 튜닝을 교차 검증과 결합해 서로 다른 데이터 하위 집합에서도 모델이 안정적으로 작동하도록 하십시오 [16]. 예측 모델을 맞춤화하는 기업은 기본 설정을 사용하는 기업보다 2.5배 높은 영업 생산성을 보고하는 경우가 많습니다 [6].

모델 성능 검증

학습 후에는 모델을 검증 세트에서 테스트해 처음 보는 데이터에서도 잘 작동하는지 확인하십시오 [6]. 이 단계는 모델이 실제로 패턴을 학습했는지, 아니면 단순히 학습 데이터를 암기했는지를 판단하는 데 도움이 됩니다. ROC-AUCprecision@85(85점을 초과한 리드 중 실제로 전환된 비율을 측정) 같은 지표를 평가하십시오 [6]. AUC 점수가 0.85 아래로 떨어진다면, 잠재적인 드리프트에 대응하기 위해 최신 데이터로 모델을 재학습하는 것을 검토하십시오 [6].

또한 모델의 예측을 실제 전환 결과와 비교해 스코어링이 실제 영업 성과와 부합하는지 검증하십시오 [2]. 영업팀과 모델 사이에 피드백 루프를 구축한 기업은 MQL-투-오퍼튜니티 전환율이 2.3배 더 높은 경우가 많습니다 [2].

"AI 기반 리드 스코어링 모델은 학습에 사용된 데이터만큼만 우수합니다" [7].

  • Jon Miller

지표를 검증했다면, 이제 6단계에서 모델의 전반적인 성능을 평가하는 단계로 넘어갈 준비가 된 것입니다.

6단계: 모델 성능 평가

모델을 학습하고 검증했다면, 이제 고가치 리드를 식별하는 데 얼마나 잘 작동하는지 확인할 차례입니다. 이 단계에서는 특정 지표를 사용해 모델의 효과를 측정하고, SalesMind AI의 리드 자동화 프로세스에 통합할 준비가 되었는지 확인합니다.

분류 지표 활용

먼저 예측을 네 그룹, 즉 True Positive(TP), True Negative(TN), False Positive(FP), False Negative(FN)로 분류하는 혼동 행렬(confusion matrix)을 분석하십시오 [19][4]. 각 범주는 모델의 강점과 약점에 대한 인사이트를 제공합니다. 예를 들어 False Positive는 영업 리소스를 낭비하게 만들 수 있고, False Negative는 유망한 기회를 놓치게 할 수 있습니다 [19].

precision, recall, F1-score 같은 핵심 지표는 모델이 전환을 얼마나 정확히 예측하는지 파악하고, 잘못된 리드와 놓친 기회 사이의 트레이드오프를 균형 잡는 데 필수적입니다 [4][19]. 또한 AUC-ROC(Area Under the Curve) 지표는 모델이 양성 리드를 음성 리드보다 얼마나 잘 상위에 순위화하는지를 측정합니다 [18][19]. 1.0 점수는 완벽한 순위화를, 0.5는 모델이 무작위 추측보다 나을 것이 없음을 의미합니다 [18].

모델을 미세 조정하려면 리드 스코어링 임계값, 즉 리드를 "검증됨(qualified)"으로 간주하는 기준점을 조정하십시오. 이 임계값을 최적화하면 효율성과 리드 물량 사이의 균형을 맞추면서 F1 점수를 극대화할 수 있습니다 [19]. 5-Fold 교차 검증을 사용해 모델이 학습 세트에 과적합되지 않고 처음 보는 데이터에도 잘 일반화되도록 하십시오 [18].

이러한 지표는 리드 선별 프로세스에 가장 신뢰할 만한 모델을 식별하는 데 도움이 됩니다.

여러 모델 비교

여러 모델이나 구성을 나란히 놓고 평가하는 것이 중요합니다. 이 비교에는 테스트 데이터셋, 일반적으로 가장 최근 20%의 데이터를 사용하십시오 [19]. 모든 후보 모델에 동일한 평가 지표를 적용해 최고 성능의 모델을 식별하십시오. 각 모델이 핵심 요인에 어떻게 우선순위를 부여하는지 이해하려면 모델 계수를 분석해 특성 중요도를 검토하십시오 [18].

전면 배포에 앞서 파일럿 테스트를 진행하십시오. 이 단계에서는 새 모델이 기존 프로세스와 병행 운영되어, 실제 환경에서 정확도를 검증할 수 있습니다 [5]. 영업 수용률(sales acceptance rate), 즉 영업 담당자가 고품질이라고 동의한 리드의 비율에 주목하십시오. 수용률이 낮다면 모델이 지나치게 관대해 임계값 조정이 필요하다는 신호일 수 있습니다 [5]. 예를 들어 영업팀의 업무가 과중하다면 SQL 임계값을 60에서 70으로 높여 리드 물량을 줄일 수 있습니다 [5].

이상치(outlier)를 조사해 모델을 한층 더 정교하게 다듬으십시오. 높은 점수를 받았으나 전환되지 않은 리드와, 낮은 점수를 받았으나 전환된 리드를 살펴보십시오. 이러한 사례는 모델에서 누락된 특성이나 잠재적 편향을 드러낼 수 있습니다 [5]. 또한 스코어링이 오래된 상호작용이 아니라 현재의 인게이지먼트를 반영하도록 하십시오 [5].

"모델 성능은 단순히 정확도만의 문제가 아닙니다. 우리는 precision, recall, F1 점수, ROC AUC를 더 깊이 들여다봤습니다." - TechKene [18]

7단계: 모델 배포 및 모니터링

모델 성능을 평가했다면, 이제 배포와 지속적인 모니터링에 집중할 차례입니다.

모델을 SalesMind AI에 통합하기

SalesMind AI

학습된 모델을 SalesMind AI에 배포해 실시간 리드 스코어링을 구현하십시오. CRM 및 마케팅 자동화 도구와 원활하게 통합되도록 하여 데이터가 끊김 없이 흐르게 하십시오. 이를 통해 새로운 정보가 확보될 때마다 리드 점수가 자동으로 업데이트됩니다.

영업팀의 신뢰를 얻으려면 각 리드 점수에 대해 명확하고 투명한 설명을 제공하십시오. 영업 담당자가 점수의 근거를 이해하면 시스템을 더 신뢰하고 의존하게 됩니다. 또한 이러한 투명성은 잠재적인 문제를 프로세스 초기에 식별하고 해결하는 데 도움이 됩니다.

통합이 완료되면, 모델의 정확도와 효과를 유지하기 위해 지속적인 모니터링과 주기적인 재학습으로 관심을 옮기십시오.

모니터링 및 재학습 체계 구축

핵심 성능 지표를 추적하기 위한 지속적인 모니터링 체계를 마련하십시오. 다음 항목에 특히 주목하십시오.

  • MQL(Marketing Qualified Lead)-투-SQL(Sales Qualified Lead) 전환율, 이상적으로는 25%를 초과해야 합니다 [21].
  • 거래 속도(deal velocity), 점수가 높은 리드일수록 더 빨리 거래를 성사시키도록 합니다 [21].
  • 검증된 리드당 비용, 시간이 지날수록 꾸준히 감소하는 것을 목표로 합니다 [21].

모델을 지속적으로 개선하려면, 실제 전환 결과를 활용해 행동 기반 스코어링으로 예측을 정교화하는 피드백 루프를 만드십시오. 새로 배포한 경우, 30일마다 성능을 검토해 스코어링의 불일치를 식별하십시오 [22]. CRM 데이터를 정기적으로 감사해 직책, 산업 같은 필수 필드가 완전한지 확인하십시오. 데이터 누락은 정확도에 큰 영향을 줄 수 있기 때문입니다 [20]. 승패 분석에서 False Positive나 False Negative가 지나치게 많이 나타난다면, 이러한 문제를 해결하기 위해 최신 데이터로 모델을 재학습하십시오 [21][22].

결론

이 일곱 단계는 추측을 예측 리드 스코어링과 전통적 방식의 비교로 대체해 측정 가능한 데이터 기반 성과를 제공하는 리드 스코어링 모델의 토대를 마련합니다. 리드 스코어링을 도입한 기업은 리드 창출 ROI 77% 향상영업 생산성 80% 증가를 경험하는 경우가 많습니다 [3]. 그러나 진정한 도전은 시스템이 가동된 이후에 시작됩니다.

일단 배포되면, 모델은 거의 즉시 정확도를 잃기 시작합니다 [12]. 시장 변화, 새로운 경쟁사, 구매자 행동의 변화 같은 요인이 그 효과를 빠르게 떨어뜨릴 수 있습니다. 예를 들어 한 IT 제공업체는 경쟁사가 구매 패턴을 뒤흔든 이후 단 두 달 만에 모델 precision이 76%에서 68%로 하락했습니다 [12].

이에 대응하려면 지속적인 모니터링과 정기적인 업데이트가 필수적입니다. 새로운 전환 데이터를 매주 모델에 공급해 최근 추세에 적응하도록 하십시오 [12]. precision, recall, 점수 분포 같은 지표를 매월 평가해 문제를 조기에 식별하십시오 [12]. 영업팀과 마케팅팀은 높은 점수를 받은 리드가 전환되지 않았거나 낮은 점수를 받은 리드가 전환된 사례를 함께 검토해야 합니다 [5][1]. 이러한 이례적인 사례는 흔히 새롭게 간과되었던 예측 요인을 시사합니다.

House of MarTech가 적절히 지적하듯, "예측 스코어링은 프로젝트가 아니라 프로세스입니다" [12]. 진화하는 고객 기반에 모델을 계속 맞추려면 정기적인 조정이 필요합니다. 점수값과 스코어링 기준은 분기마다 업데이트하되, 그 영향을 효과적으로 측정할 수 있도록 한 번에 한두 개의 변수만 변경하도록 제한하십시오 [1]. 이러한 지속적인 정교화 과정을 통해 리드 스코어링 모델은 계속 유효성을 유지하며 시간이 지나도 성과를 제공합니다.

자주 묻는 질문(FAQ)

CRM 데이터가 불완전하거나 지저분하다면 어떻게 해야 하나요?

CRM 데이터가 뒤죽박죽이거나 핵심 정보가 빠져 있다면, 첫 단계는 데이터를 정리하는 것입니다. 리드 스코어링 모델 구축에 착수하기 전에 데이터가 정확하고, 일관되며, 체계적으로 정리되어 있는지 확인하십시오. 데이터를 정기적으로 최신 상태로 유지하고 다듬으면, 리드 우선순위화 노력이 정확히 목표에 도달하고 더 나은 성과를 내는 데 도움이 됩니다.

SQL을 위한 적절한 리드 점수 컷오프는 어떻게 정하나요?

Sales Qualified Lead(SQL)을 식별하기 위한 최적의 리드 점수 컷오프를 정하려면 데이터 분석과 전략적 조정을 함께 활용해야 합니다. 목표는 전환율과 영업 효율을 모두 끌어올리는 임계값을 정확히 짚어내는 것입니다.

먼저 전환율, 투자수익률(ROI), 영업 주기 길이 같은 핵심 지표를 깊이 들여다보는 것부터 시작하십시오. 과거 데이터는 이 지점에서 보물창고가 될 수 있습니다. 리드가 전환될 가능성이 가장 높은 지점을 보여주는 패턴을 찾아보십시오. 이는 과거의 성공과 부합하는 초기 컷오프 지점을 설정하는 데 도움이 됩니다.

하지만 여기서 멈추지 마십시오. 지속적인 테스트로 임계값을 계속 다듬으십시오. 머신러닝 도구도 큰 역할을 할 수 있으며, 영업 목표가 진화하고 시장 상황이 변함에 따라 스코어링 모델을 적응시키는 데 도움을 줍니다. 이러한 분석과 유연성의 결합이 리드 스코어링 모델을 오랫동안 효과적으로 유지해 줍니다.

리드 스코어링 모델은 얼마나 자주 재학습해야 하나요?

리드 스코어링 모델을 정기적으로 재학습하는 것은 정확성과 유효성을 유지하는 데 핵심입니다. 이 과정은 예측 정확도 하락, 새로운 데이터의 확보, 또는 시장 상황의 변화에 의해 촉발되어야 합니다. 재학습 주기에 정해진 규칙은 없지만, 몇 주 또는 몇 달마다 모델을 업데이트하는 것이 좋은 관행입니다. 이렇게 하면 변화하는 리드 행동에 모델을 맞추고 과적합이나 과소적합 같은 문제를 방지할 수 있습니다. 이를 통해 고가치 리드를 일관되게 식별하고 효과적으로 우선순위화할 수 있습니다.

관련 블로그 글

매주 AI 세일즈 인사이트 받기

5,000명 이상의 세일즈 리더와 함께 실행 가능한 AI 세일즈 전략을 받은편지함으로 받아보세요.

세일즈 파이프라인을 자동화할 준비가 되셨나요?

SalesMind AI가 오토파일럿으로 검증된 미팅을 만들어내는 방식을 확인해 보세요.