[번역] Week 26 - Learning from Experiments: A Superpower for Successful Product Management

원문 출처 : https://sidsaladi.substack.com/p/week-26-learning-from-experiments

 

26주차 - 실험을 통한 학습: 성공적인 제품 관리를 위한 슈퍼파워

"실험은 훌륭한 제품의 잠재력을 발휘하는 열쇠이며, 훌륭한 제품 관리자는 계산된 위험과 데이터 기반 의사 결정의 균형을 맞추는 방법을 알고 있습니다."

 

실험을 통해 배우기: 성공적인 제품 관리를 위한 슈퍼파워

제품 관리자는 제품 관리자로 내린 의사 결정에 대해 지속적으로 평가하고 배운 내용을 바탕으로 변경하는 것이 중요합니다. 이를 위한 가장 효과적인 방법 중 하나는 실험을 수행하는 것입니다. 실험을 통해 가정을 검증하고, 새로운 아이디어를 테스트하고, 데이터에 기반한 제품 관련 의사 결정을 내릴 수 있습니다. 이 블로그 게시물에서는 실험 수행의 이점, 실행할 수 있는 다양한 유형의 실험, 실험 설계 및 분석을 위한 모범 사례에 대해 살펴봅니다.

 

실험 수행의 이점

• 가설 검증
• 새로운 아이디어 테스트
• 데이터 기반 의사 결정

 

가설 검증

실험을 통해 제품 및 사용자 행동에 대한 가정을 검증할 수 있습니다. 이를 통해 비용이 많이 드는 실수를 방지하고 정보에 입각한 의사 결정을 내릴 수 있습니다.

새로운 아이디어 테스트

실험을 통해 새로운 아이디어와 기능을 완전히 적용하기 전에 테스트할 수 있습니다. 이를 통해 위험을 최소화하고 제품에 올바른 투자를 하고 있는지 확인할 수 있습니다.

데이터 기반 의사 결정

실험은 제품에 대한 정보에 입각한 결정을 내리는 데 사용할 수 있는 귀중한 데이터를 제공합니다. 이 데이터는 기능의 우선순위를 정하고, 사용자 행동을 이해하고, 제품 방향에 대한 전략적 결정을 내리는 데 도움이 될 수 있습니다.

 

실험 유형

• A/B 테스트
• 다변량 테스트
• 사용성 테스트
• 설문조사
• 프로토타이핑

 

A/B 테스트 

A/B 테스트는 제품 관리에서 가장 일반적인 유형의 실험입니다. 사용자 집단을 무작위로 현재 제품을 보는 그룹(대조군)과 새로운 변형을 보는 그룹(치료군)으로 나눕니다. A/B 테스트의 목표는 두 그룹의 성과를 비교하고 변경 사항이 사용자 행동에 긍정적인 영향을 미쳤는지 확인하는 것입니다. 예를 들어 한 회사에서 새 웹사이트를 개발하면서 서로 다른 페이지 레이아웃이 사용자 참여에 미치는 영향을 테스트하려고 한다고 가정해 보겠습니다. 홈페이지의 두 가지 버전인 A와 B를 만들고 각 버전을 사용자 샘플에게 무작위로 보여줄 수 있습니다. 그런 다음 클릭률 또는 특정 버튼을 클릭하는 사용자 수를 측정하여 어떤 버전이 더 효과적인지 확인합니다.

다변량 테스트

다변량 테스트는 A/B 테스트와 유사하지만 제품의 여러 변형을 동시에 테스트합니다. 이 유형의 실험은 어떤 변경 사항이 사용자 행동에 가장 큰 영향을 미칠지에 대한 여러 가설이 있을 때 유용합니다. 홈페이지를 새롭게 디자인하면 사용자 참여와 전환이 증가할 것이라는 가설이 있다고 가정해 보겠습니다. 그러나 어떤 조합이 가장 큰 영향을 미치는지 확인하기 위해 동시에 테스트할 몇 가지 디자인 요소가 있습니다. 이러한 요소에는 다음이 포함될 수 있습니다

• 눈에 잘 띄는 콜투액션 버튼의 배치
• 페이지에 사용된 색 구성표
• 제품을 표현하는 데 사용되는 이미지 유형

이러한 가설을 테스트하기 위해 세 가지 요소를 동시에 변경하고 사용자 참여 및 전환에 미치는 영향을 측정하는 다변량 테스트를 실행할 수 있습니다. 이를 통해 어떤 디자인 요소 조합이 원하는 행동을 유도하는 데 가장 효과적인지 확인할 수 있습니다. 이 경우 다변량 테스트를 통해 제품의 여러 변경 사항을 한 번에 테스트할 수 있으므로 사용자 행동을 유도하는 요소를 보다 포괄적으로 파악하고 제품 디자인에 대한 데이터 기반 의사 결정을 내릴 수 있습니다.

사용성 테스트 

사용성 테스트는 제품의 사용자 경험을 평가하는 데 중점을 둔 실험입니다. 사용성 테스트에는 사용자가 제품과 상호 작용하는 모습을 관찰하고 개선이 필요한 부분에 대한 피드백을 수집하는 것이 포함됩니다. 이커머스 플랫폼의 새로운 기능을 개발했는데 대중에게 공개하기 전에 사용성을 평가하고 싶다고 가정해 봅시다. 이를 위해 소수의 대표 사용자 그룹에게 새 기능을 사용하여 특정 작업을 수행하도록 요청하는 사용성 테스트를 수행할 수 있습니다. 사용성 테스트의 모습은 다음과 같습니다:

1. 참가자를 모집합니다: 타겟 고객과 일치하는 소수의 대표 사용자를 모집하여 테스트에 참여하도록 요청합니다.
2. 테스트 환경을 설정합니다: 사용자가 플랫폼에서 새로운 기능과 상호작용할 수 있는 통제된 환경을 설정합니다.
3. 명확한 지침을 제공합니다: 사용자에게 수행해야 하는 작업과 원하는 피드백에 대한 명확한 지침을 제공합니다.
4. 관찰 및 피드백 수집: 사용자가 새로운 기능을 사용하는 모습을 관찰하고 개선이 필요한 부분에 대한 피드백을 수집합니다. 여기에는 사용자 인터페이스에 대한 혼동부터 새로운 기능에 대한 제안까지 모든 것이 포함될 수 있습니다.
5. 결과를 분석합니다: 피드백을 수집한 후 결과를 분석하여 공통된 주제와 개선이 필요한 영역을 파악합니다.

사용성 테스트를 실시하여 새로운 기능의 개선이 필요한 부분을 파악하고 대중에게 공개하기 전에 필요한 변경을 수행할 수 있습니다. 이를 통해 제품이 사용자 친화적이고 사용자에게 좋은 경험을 제공할 수 있도록 보장할 수 있습니다.

설문조사

설문조사는 사용자 행동과 의견에 대한 데이터를 수집하는 데 사용할 수 있는 정성적 연구의 한 형태입니다. 설문조사는 온라인 또는 오프라인으로 실시할 수 있으며, 가정을 검증하고 새로운 아이디어를 테스트하거나 제품의 특정 측면에 대한 피드백을 수집하는 데 사용할 수 있습니다. 예를 들어, 새로운 음식 배달 앱을 개발하는 회사에서 사용자의 선호도와 피드백을 파악하기 위해 설문조사를 실시할 수 있습니다. 설문조사에는 "앱에서 어떤 종류의 음식을 보고 싶습니까?" 또는 "배달 프로세스를 더 편리하게 만들 수 있는 방법은 무엇입니까?" 등의 질문이 포함될 수 있습니다. 이러한 질문에 대한 응답은 향후 제품 결정을 안내하고 사용자 경험을 개선하는 데 사용될 수 있습니다.

프로토타이핑

프로토타이핑은 기업이 새로운 제품이나 기능을 제작하기 전에 그 실현 가능성과 사용성을 테스트할 수 있는 실험입니다. 예를 들어, 새로운 스마트 홈 디바이스를 개발 중인 회사는 카드보드 모델이나 간단한 와이어프레임과 같은 저충실도 프로토타입을 만들어 디바이스의 기본 기능을 테스트할 수 있습니다. 이렇게 하면 본격적인 개발 프로젝트에 착수하기 전에 잠재적인 문제를 파악할 수 있으므로 장기적으로 시간과 리소스를 절약할 수 있습니다. 실험을 통해 배우는 것은 제품 관리의 중요한 측면입니다. 제품 관리자는 실험을 통해 가정을 검증하고, 새로운 아이디어를 테스트하고, 데이터에 기반한 의사 결정을 내릴 수 있습니다. 제품 관리자는 실험을 통해 학습함으로써 빠르게 반복하고, 정보에 입각한 제품 결정을 내리고, 제품이 사용자에게 가치를 제공할 수 있도록 보장할 수 있습니다.

 

실험 수행을 위한 모범 사례

• 명확한 문제와 가설 정의하기
• 올바른 메트릭 선택
• 올바른 실험 방법 선택하기
• 실험 계획 세우기
• 실험 수행하기
• 결과 분석하기
• 결과 전달하기
• 결과를 제품 개발에 통합하기

 

명확한 문제와 가설 정의하기

실험을 진행하기 전에 해결하고자 하는 문제를 명확하게 정의하는 것이 중요합니다. 사용자 경험 개선부터 전환율 증대 또는 이탈률 감소에 이르기까지 다양한 문제가 있을 수 있습니다. 문제를 정의했다면 이제 가설을 세울 차례입니다. 가설은 실험의 결과에 대한 교육적인 추측 또는 예측입니다. 가설은 구체적이고 측정 가능하며 테스트할 수 있어야 합니다.

예시

예를 들어 여러 단계를 거치면서 어떻게 변하는지 살펴보겠습니다.

문제: 웹사이트의 낮은 사용자 참여도 가설: "웹사이트에 게임화 요소를 추가하면 사용자 참여도가 30% 증가할 것이다."

올바른 지표 선택

실험을 수행할 때는 성공을 측정할 수 있는 올바른 지표를 선택하는 것이 중요합니다. 선택한 지표는 가설과 직접적으로 연결되어 있어야 하며 변경 사항의 영향을 반영해야 합니다.

예시

지표: 사용자 참여도(사이트 체류 시간, 페이지 조회 수, 상호작용 수로 측정)

올바른 실험 방법 선택하기

제품 관리자가 사용할 수 있는 실험 방법에는 A/B 테스트, 사용성 테스트, 다변량 테스트 등 여러 가지가 있습니다. 어떤 방법을 선택할지는 해결하려는 문제와 수집해야 하는 데이터 유형에 따라 달라집니다. 예를 들어, 새로운 기능을 테스트하려는 경우 A/B 테스트가 좋은 옵션입니다. 디자인을 검증하려는 경우 사용성 테스트가 좋은 선택입니다.

예시

실험 방법: A/B 테스트(웹사이트의 한 버전에는 게임화 요소가 있고 다른 버전에는 게임화 요소가 없는 경우)

실험 계획하기

실험 방법을 선택했다면 이제 실험을 계획할 차례입니다. 여기에는 실험 목표 정의, 대상 고객 선정, 실험 기간 결정, 데이터 수집 및 분석 계획 수립 등이 포함됩니다. 실험의 위험과 이점을 고려하고 우발 상황에 대비하는 것도 중요합니다.

예시

• 실험 목표를 정의합니다: 게임화 요소를 추가하면 사용자 참여도가 높아지는지 확인하려면 다음과 같이 하세요.
• 대상 고객을 선택합니다: 텍사스 지역에 거주하는 젊은 전문가 등
• 실험 기간 결정: 2주
• 데이터 수집 및 분석 계획을 수립합니다: Google 애널리틱스를 사용하여 사용자 참여 지표를 추적하고 두 그룹 간의 결과를 비교합니다.

실험 수행하기

실험 계획이 수립되었으면 이제 실험을 진행할 차례입니다. 여기에는 실험 설정, 참가자 모집, 데이터 수집이 포함됩니다. 계획에 충실하고 실험 중에 변경하지 않는 것이 중요합니다.

예시

• 실험을 설정합니다: 게임화 요소가 있는 웹사이트와 없는 웹사이트의 두 가지 버전을 만듭니다.
• 참가자를 모집합니다: 참여에 동의한 타겟 고객 중에서 무작위로 사용자를 선정합니다.
• 데이터 수집: Google 애널리틱스를 사용하여 사용자 참여 지표 추적

결과 분석

실험이 완료되면 결과를 분석할 차례입니다. 여기에는 데이터를 살펴보고, 결과를 가설과 비교하고, 실험의 성공 여부를 판단하는 작업이 포함됩니다. 가설이 뒷받침되었다면 결과에 따라 조치를 취해야 합니다. 가설이 뒷받침되지 않았다면 다시 평가하고 다른 실험을 수행하는 것을 고려해야 합니다.

예시

• 데이터를 살펴봅니다: 두 그룹 간의 사용자 참여 지표를 비교합니다.
• 결과를 가설과 비교합니다: 가설이 지지된다면, 게이미피케이션 요소가 있는 그룹의 사용자 참여도는 그렇지 않은 그룹보다 30% 더 높아야 합니다.
• 실험의 성공 여부를 결정합니다: 사용자 참여도가 30% 이상 증가하면 실험이 성공한 것으로 간주할 수 있습니다.

결과 전달

실험 결과를 알리는 것은 중요한 단계입니다. 여기에는 팀, 이해관계자 및 고객과 결과를 공유하는 것이 포함됩니다. 이를 통해 투명성과 신뢰를 구축하고 모두가 같은 정보를 공유할 수 있습니다. 또한 성공을 축하하고 실패로부터 배울 수 있는 기회이기도 합니다.

결과를 제품 개발에 통합하기

마지막으로 실험 결과를 제품 개발에 통합하는 것이 중요합니다. 여기에는 제품 변경, 로드맵 업데이트 또는 제품 비전 조정이 포함될 수 있습니다. 제품 관리자는 실험 결과를 통합하여 정보에 입각한 제품 결정을 내리고 제품이 사용자에게 가치를 제공할 수 있도록 보장할 수 있습니다.

 

결론

실험을 통해 배우는 것은 제품 관리의 필수적인 측면입니다. 제품 관리자는 실험을 수행하고 실험을 통해 학습하는 모범 사례를 따라 가정을 검증하고, 새로운 아이디어를 테스트하고, 데이터 기반 의사 결정을 내릴 수 있습니다. 이를 통해 빠르게 반복하고, 정보에 입각한 제품 결정을 내리고, 제품이 사용자에게 가치를 제공할 수 있도록 보장할 수 있습니다.