추적을 시작하는 데 필요한 10가지 모바일 앱 성능 지표

모바일 팀이 더 나은 사용자 경험을 제공할 수 있도록 모바일 앱에서 추적해야 하는 주요 성능 지표에 대해 알아보세요.

최고의 경험을 구축하려면 엔지니어에게 최고의 데이터가 필요합니다.

모바일은 장치 유형, 다양한 운영 체제, 연결 등의 변수를 사용하여 이러한 과제를 더욱 복잡하게 만듭니다.

모바일 앱의 상태, 성능 및 안정성에 대한 다양한 수준의 가시성을 제공하는 도구의 수가 증가함에 따라 추적해야 할 측정항목이 무엇인지 정확히 아는 것이 어려울 수 있습니다.

이 게시물에서는 추적해야 할 가장 중요한 성능 지표와 이를 통해 문제의 근본 원인을 보다 신속하게 파악하여 더 나은 모바일 환경을 구축하는 데 어떻게 도움이 되는지 간략하게 설명합니다.

1. 시작 시간

모바일 사용자는 일반적으로 이동 중에 앱을 확인하고 즉각적인 결과에 익숙합니다. 따라서 그들은 가만히 앉아서 앱이 로드될 때까지 기다리지 않습니다. 예를 들어 Uber 앱을 로드하는 데 시간이 너무 오래 걸리면 사용자는 대신 Lyft 앱으로 전환할 가능성이 높습니다. 또한, Uber 앱에서 좋지 않은 경험을 하고 Lyft 앱에서 괜찮은 경험을 한 사용자는 Lyft 충성도가 높은 사용자가 될 가능성이 훨씬 더 높습니다.

이제 해당 사용자 세션에서 수익이 손실되었을 뿐만 아니라 특정 고객이 회사에 가져올 수 있는 LTV는 말할 것도 없고 획득당 비용 및 이탈도 증가했습니다.

따라서 앱의 시작 시간이 사용자 기대를 충족하는지 확인하는 것이 성공에 필수적입니다.

그러나 모바일 팀이 평균 시작 시간 에만 액세스할 수 있다면 주요 변경 사항을 놓치고 사전 대응이 아닌 대응적으로 대응할 가능성이 높습니다.

예를 들어, 회사가 새로운 시장에 앱을 출시했는데 전반적인 피드백이 부정적이라고 가정해 보겠습니다. 평균 시작 시간을 보면 앱이 출시 전보다 몇 밀리초 길어졌음을 알 수 있지만, 출시 중에 앱 속도가 급격히 느려졌다는 의미는 아닙니다. 그럼 또 다른 문제가 있겠지?

불행하게도 새로운 시장의 사용자 비율은 전체 사용자 기반의 일부에 불과하기 때문에 새로운 시장의 시작 시간이 너무 길더라도 전체 사용자 기반의 시작 시간에는 최소한의 영향만 미치는 것이 합리적입니다.

대신 팀은 시작 시간이 비즈니스에 어떤 영향을 미치는지 더 잘 이해하기 위해 데이터를 분할할 수 있어야 합니다.

예를 들어, 가치가 높은 사용자는 느린 시작으로 인해 어떤 어려움을 겪고 있습니까? 새로운 시장의 사용자가 더 낮은 성능을 경험하고 있나요? 특정 장치의 시작 속도가 느려지나요?

이 데이터를 통해 회사는 다시 상황을 통제할 수 있으며 수익에 영향을 미치는 시간에 민감한 시나리오에서 추측을 생략할 수 있습니다.

자세한 내용은 모바일 앱 시작 시간을 개선하는 방법 에 대한 eBook을 확인하세요.

2. 충돌률

충돌은 고객을 화나게 하는 확실한 방법이며 그럴 만한 이유가 있습니다! 이는 본질적으로 고객이 오프라인 매장에 들어가 쇼핑을 하는 중간에 직원이 고객을 쫓아내는 것과 같습니다.

이는 다음 두 가지 이유로 회사 브랜드의 주요 문제입니다.

1. 고객이 자신의 시간을 무시한다고 느끼면 브랜드의 명성이 손상됩니다 .

2. 고객이 즉각적인 거래를 완료할 수 없기 때문에 수익에 타격을 주고, 고객이 경쟁업체로 전환하기로 결정하면 해당 고객의 평생 가치를 잃게 됩니다.

   
   

다음은 충돌이 직접적으로 수익 손실로 이어지는 다양한 산업의 몇 가지 예입니다.

• 전자상거래 앱: 결제 중에 전자상거래 앱이 충돌하면 고객은 구매할 수 없으며 다시 돌아오지 않을 가능성이 높습니다.

• POS 시스템 : 라이브 이벤트 중에 POS 시스템이 충돌하는 경우 해당 라이브 고객 중 누구도 구매를 하거나 행사장에 입장할 수 없습니다.

• 스마트 기기 앱 : 칫솔 등의 스마트 기기가 설정 과정에서 충돌이 발생하면 고객이 제품을 반품할 가능성이 매우 높습니다.

  
  

그러나 평균 충돌 발생률을 추적하는 것은 좋은 시작이지만 충돌이 비즈니스에 어떤 영향을 미치는지 이해하는 것만으로는 충분하지 않습니다 .

예를 들어, 현재 충돌률이 0.5%에 불과하다면 더 깊이 드릴 필요가 없을 수도 있습니다. 하지만 발생하는 모든 충돌이 결제 화면에서 발생한다면 어떻게 될까요? 그 작은 비율은 상당한 수익에서 사업을 속일 수 있습니다.

따라서 주요 지표 수치를 살펴보는 것 외에도 충돌 발생률의 패턴을 보여주는 데이터를 보유하는 것도 중요합니다. 구체적으로 앱의 다양한 고가치 영역이 어떻게 작동하고 있나요? 충돌이 가장 많이 발생하는 경향이 있는 장치는 무엇입니까? 고가치 사용자를 대상으로 한 앱의 성능은 어떻습니까? 특히 충돌 발생률이 낮은 지역이 있나요? 그렇다면 해당 지역에서 앱을 수정해야 할까요, 아니면 제거해야 할까요?

충돌 세부 정보를 분류하면 팀에서 문제 해결 우선순위를 더 잘 정할 수 있습니다.

3. ANR 비율

ANR(애플리케이션 응답 없음) 오류는 일반적으로 정지 또는 결함으로 설명됩니다.

기본적으로 메인 스레드가 차단되면 애플리케이션이 효과적으로 실행될 수 없습니다. 따라서 사용자가 계속 진행할 수 없으며 이는 비즈니스에 큰 영향을 미칠 수 있습니다.

예를 들어, 우리와 협력한 소매업체에는 ANR 문제가 있었습니다. 이 문제로 인해 시작 시간이 거의 60% 증가하여 연간 650만 달러의 수익 손실이 예상되었습니다. 올바른 데이터를 통해 엔지니어링 팀은 문제를 신속하게 해결하고 손실된 수익을 회수할 수 있었습니다.

ANR은 수익 외에도 Google Play 스토어의 앱 순위에 부정적인 영향을 미치고 신규 고객에게 앱이 덜 눈에 띄게 만들 수도 있습니다.

ANR을 효과적으로 추적하려면 스택 추적을 보고 사용자가 문제에 어떻게 대응했는지 확인할 수 있습니다.

여기에서 모바일 팀은 다양한 임계값에 도달한 사람 수, 고부가가치 사용자가 가장 큰 영향을 받는 위치, ANR의 영향을 가장 많이 받는 장치 유형 및 화면을 기준으로 가장 먼저 수정할 항목의 우선순위를 정할 수 있습니다.

자세히 알아보려면 ANR과 같은 Android 충돌 조사에 대한 이 게시물을 확인하세요.

4. 지역 지표

지역마다 사용자가 서로 다른 장치와 연결성을 갖고 있으므로 추적 지역 측정항목도 매우 중요합니다.

이는 여러 가지 이유로 비즈니스에 큰 영향을 미칠 수 있습니다.

첫째, 지역마다 비즈니스 수익에 미치는 중요성이 다릅니다.

예를 들어 사용자 중 일부만이 싱가포르에 있을 수 있지만 총 연간 수익의 상당 부분을 차지할 수 있습니다. 따라서 세부적인 수준에서 지역 측정항목을 확인하면 특히 고가치 사용자의 경우 앱을 개선할 수 있는 기회가 강조됩니다.

새로운 지역을 출시할 때 분할된 지역 측정항목을 추적하는 것도 필수적입니다.

예를 들어 호주로 확장했지만 해당 지역이 출시 당시 전체 사용자의 5%만 차지한다고 가정해 보겠습니다. 이 경우 팀이 성과를 효과적으로 추적할 수 있을 만큼 중앙값/평균 측정항목에 영향을 미치지 않습니다.

문화적 차이를 고려하는 것도 중요하며, 지역별 측정항목을 제공하는 도구를 사용하여 팀은 해당 지역에 대한 앱의 특정 측면을 테스트할 수 있습니다.

예를 들어, 미국에서는 전환율이 높은 전자상거래 결제 화면이 두바이에서는 전환율이 높지 않을 수 있습니다.

또한 세분화된 지역 측정항목을 통해 새로운 기능을 천천히 출시하기가 쉽습니다. 예를 들어 팀은 더 작은 지역에 새로운 기능을 출시하고 그 기능이 어떻게 수행되는지 확인할 수 있습니다. 성능이 좋으면 가치가 높은 사용자가 있는 점점 더 많은 지역에 출시하세요.

이 데이터는 팀이 다음과 같은 중요한 질문에 답하는 데 도움이 될 수 있습니다.

• 이 지역을 위한 새로운 앱을 구축해야 합니까?
• 다른 지역의 출시와 비교하여 이번 신규 출시의 성과는 어떻습니까?
• 가장 문제가 되는 지역은 어디인가요? 그리고 우리는 그들에게 봉사하는 것을 완전히 중단해야 합니까?
• ​​앱의 다양한 중요 영역이 한 지역과 다른 지역에서 어떻게 수행되고 있나요?

5. 세션 기간

주목해야 할 또 다른 주요 지표는 세션 지속 시간입니다. 세션 지속 시간은 사용자가 앱을 사용하는 시간을 알려주기 때문입니다. 평균 세션 시간이 일주일 만에 급격하게 변한다면 앱에 문제가 있다는 꽤 좋은 힌트입니다.

예를 들어 게임 앱이 있고 평균 세션 시간이 15분에서 5분으로 줄어든 경우 사용자 경험이 좋지 않았을 가능성이 높습니다.

이 단서를 사용하여 다음과 같은 질문을 할 수 있습니다.

• 잘못된 릴리스를 출시했습니까?
• 사용자가 앱에 덜 참여하고 있나요?
• 세션 시간의 변화를 설명하는 데 도움이 될 수 있는 다른 측정항목에도 해당 변화가 있나요?

또한 세션 기간을 추적하면 팀은 영향을 받은 개별 세션 간의 패턴을 조사하고 문제의 근본 원인을 발견할 수 있습니다. 모바일 엔지니어는 다른 지표와 병행하여 세션 시간을 분석함으로써 사용자에게 가장 방해가 되는 문제가 무엇인지 더욱 명확하게 파악할 수 있습니다.

예를 들어, 전자 상거래 상점에서는 제품의 기본 스크롤 피드에 짧은 세션 기간과 밀접한 관련이 있는 OOM 문제가 있을 수 있지만, 다른 화면의 느린 네트워크 호출은 세션 기간과 거의 또는 전혀 상관 관계가 없습니다.

따라서 세션 기간 추적은 사용자 참여 감소를 직접적으로 보여주기 때문에 어떤 문제를 먼저 해결해야 하는지 우선순위를 정하는 좋은 방법입니다.

6. 이탈/유지율

현재 고객을 만족시키는 것보다 새로운 고객을 확보하는 데 훨씬 더 많은 비용이 들며, 모바일 앱 사용자 이탈의 주요 원인은 열악한 사용자 경험입니다.

새 앱을 다운로드하는 데는 몇 초 밖에 걸리지 않습니다. 따라서 앱 경험이 사용자에게 몇 초 이상 소요되는 방식으로 방해를 한다면 사용자가 계속 머물 것이라고 기대하지 마세요.

따라서 전체 이탈 및 유지율뿐만 아니라 사용자 기반 세그먼트(장치, 연결, 지역별)의 이탈 및 유지율도 추적하세요.

이를 통해 유지율을 개선하고 우선순위를 정할 수 있는 다양한 기회를 밝힐 것입니다. 예를 들어, 특정 지역에서 이탈률이 매우 높지만 해당 지역에는 고가치 사용자가 거의 없다는 것을 알 수 있습니다. 따라서 더 큰 비즈니스 성과로 이어질 수 있는 다른 곳에 엔지니어링 리소스를 투자하기로 결정할 수도 있습니다.

이탈 및 유지를 추적하는 것은 사용자가 새로운 릴리스와 다양한 실험에 어떻게 반응하는지 이해하는 좋은 방법이기도 합니다. 높은 이탈률과 새로운 기능 업데이트 사이에 상관 관계가 있는 경우 이는 팀이 해당 기능 업데이트를 롤백해야 한다는 강력한 지표입니다.

자세한 데이터를 통해 팀은 업데이트가 출시되는 다양한 세그먼트(예: 특정 지역 또는 장치)의 이탈을 추적할 수 있습니다.

분할된 데이터가 없으면 다양한 기능 업데이트가 소규모 테스트 그룹에 미치는 영향을 확인하기 어려울 것입니다. 따라서 기능이 대규모 사용자 그룹에 출시된 후에야(그리고 아마도 많은 월간 활성 사용자가 이탈하게 된 것으로 추정됨) 기능 출시가 시기상조였다는 것이 분명해질 것입니다.

7. 사용자 종료율

일부 사용자 종료는 사용자가 휴대폰을 정리하는 것에 지나지 않지만 많은 종료는 앱이 정지되어 사용자가 위로 스와이프하여 세션을 종료할 수 밖에 없기 때문에 발생합니다.

물론 강제로 세션을 종료해야 하는 사용자는 불만을 품고 대신 경쟁사의 앱을 선택할 가능성이 높습니다.

이를 방지하기 위해 평균 사용자 종료율을 모니터링하는 것은 다음을 포함하여 이탈로 이어질 수 있는 잠재적인 문제를 나타내는 훌륭한 지표입니다.

• 광고 로드 실패로 인해 정지됨
• 느리거나 손상된 사용자 흐름
• 구매 실패
• 로그인 오류를 일으키는 서버 중단
• 속도 저하를 유발하는 과도한 미디어 로딩

• 
  

평균 사용자 종료율에 대한 개요를 제공하는 것 외에도 모바일 팀은 모든 열악한 사용자 경험의 원인을 알아야 합니다. 따라서 Embrace에 내장된 주요 기능 중 하나는 어떤 화면이 사용자가 앱을 포기하게 만드는지 확인하는 기능입니다.

따라서 엔지니어가 종료가 발생하는 위치를 추측하는 동안 귀중한 시간을 낭비하고 매출 손실을 겪는 대신 모바일 팀은 문제를 최대한 효율적으로 해결할 수 있도록 즉시 문제를 해결합니다.

8. 주요 사용자 작업의 타이밍

앱 내에는 항상 100% 작동해야 하는 몇 가지 사용자 작업이 있을 수 있습니다. 예를 들어, 사무실에서 열쇠 없는 출입을 제공하는 경우 해당 기능은 항상 작동해야 합니다. 그렇지 않으면 추가 지원을 요청하지 않으면 사람들이 사무실에 들어갈 수 없습니다.

따라서 몇 가지 주요 사용자 작업을 선택하고 이를 모바일 팀이 추적하는 성능 지표 목록에 추가하세요.

대부분의 경우 고객 리뷰에는 앱에서 문제가 발생한 위치가 나와 있지 않으므로 특정 사용자 작업을 추적하는 것은 즉각적으로 드러나지 않는 문제를 파악하는 좋은 방법입니다.

이는 다음과 같은 질문에 답하는 데에도 도움이 됩니다.

• 앱의 중요한 영역에서 문제를 경험하는 사용자는 몇 명입니까?

• 앱의 특정 영역의 문제와 이탈 사이에 직접적인 상관관계가 있나요?

• 사용자는 앱을 포기하고 포기하기 전에 얼마나 오랫동안 시도합니까?

  
  

예를 들어, 우리 고객 중 한 명은 모든 구매 시도 중 약 1%가 구매 실패로 이어진다는 사실을 발견했습니다. 그러나 관련된 네트워크 호출이 모두 성공적으로 해결되었으므로 검사해야 할 명백한 오류는 없었습니다.

따라서 그들은 고객이 구매하는 정확한 순간을 추적하기 시작했으며 구매 시도의 1%에서 두 개의 네트워크 호출이 순서대로 발생하지 않아 구매에 실패했다는 사실을 발견했습니다. 고객들은 이 문제에 대해 불만을 토로했지만 모바일 팀은 영향을 받은 세션 내 모든 이벤트의 시기, 결과, 순서를 알지 못해 근본 원인을 정확히 찾아낼 수 없었습니다. 충실도가 높은 사용자 경험 데이터는 전체 매출의 1%를 회수하는 데 매우 중요했습니다. 연간 매출이 천만 달러인 회사의 경우, 그렇지 않으면 매년 손실되는 금액이 100,000달러입니다!

9. 메모리 사용량

잠재적인 메모리 누수를 식별하려면 앱의 메모리 소비를 추적하는 것이 중요합니다. 앱의 메모리 사용 효율성은 사용자 경험의 반응성과 직접적인 관련이 있습니다.

이것이 바로 메모리 사용량을 모니터링하고 최적화하는 것이 원활한 사용자 경험을 제공하는 데 중요한 역할을 하는 이유입니다.

다음을 통해 앱의 메모리 사용 문제를 방지할 수 있습니다.

• 코드베이스를 최적화하고 메모리가 의도치 않게 유지되는 영역을 찾아내면 메모리 사용량이 증가합니다.

• 정기적으로 앱의 메모리 소비를 추적하고 새 릴리스 이후의 변경 사항을 기록합니다.

• 대용량 이미지 로드, 대용량 파일 처리, 비정상적인 급증 또는 지속적인 높은 메모리 사용량에 대한 경고 생성과 같은 메모리 집약적인 작업을 주의 깊게 모니터링합니다.

  
  

앱의 메모리 소비에 관한 세밀한 전략을 통해 사용자가 좋아할 반응성이 뛰어나고 안정적이며 효과적인 앱을 만들 수 있습니다.

10. 연결성

모바일 앱은 3G, 4G, 5G, Wi-Fi를 비롯한 다양한 네트워크 조건 과 때로는 제한되거나 불안정한 연결을 포함하는 다양한 환경에서 작동합니다.

이것이 바로 훌륭한 사용자 경험을 창출하기 위해 이러한 다양한 조건으로 인해 발생하는 과제를 인식하는 것이 중요한 이유입니다. 네트워크 성능이 좋지 않음을 나타내는 지표는 다음과 같습니다.

• 지연 시간과 느린 응답 시간.

• 대역폭 사용량.

• 비효율적인 API 호출.

• 장치별 오프라인 기능.

  
  

예를 들어, Farm Dog는 농부와 농업경제학자가 동료 및 동료와 함께 현장에 있는 동안 발견한 내용을 문서화할 수 있는 농업 앱입니다.

네트워크 응답 시간이 유난히 느리고 장치가 연결되어 있는지 확인할 수 없는 경우 앱이 자주 충돌했습니다. 그들은 Google 지도의 응답 시간이 몇 초에 불과했는데 18~22초 사이에 있다는 사실을 발견했습니다.

적절한 도구가 없으면 잘못된 네트워크 연결을 시뮬레이션하기 위해 프록시를 사용하여 문제를 해결하기 위해 복잡한 해결 방법을 사용해야 합니다. 그러나 정확도가 높은 데이터를 사용하면 다음을 포함하여 사용자가 현장에서 겪고 있는 정확한 조건을 확인할 수 있습니다.

• 장치 유형, 앱 버전, Wi-Fi 및 셀룰러 전반에 걸친 네트워크 통화.

• 공통 도메인 전반의 4xx 및 5xx 오류 추세에 대한 통찰력을 통해 문제가 있는 경로를 식별합니다.

• 사용자가 앱을 시작하거나, 주요 콘텐츠를 로드하거나, 중요한 트랜잭션을 완료하는 것을 방해하는 손상된 엔드포인트입니다.

• 클라이언트 측의 모든 네트워크 호출 기간은 숨겨진 대기 시간 지점을 드러냅니다.

  
  

이 정보를 바탕으로 Farm Dog 팀은 사용자가 직면한 문제를 시뮬레이션하고 문제 상황을 쉽게 식별하여 해결했습니다.

성공을 위한 모바일 팀 구성

모바일 경험에 관심이 있다면 팀이 위에서 언급한 모든 지표를 볼 수 있게 해주는 데이터가 필요합니다.

Embrace는 해당 데이터만 제공하여 더 나은 모바일 환경을 구축하고 엔지니어의 효율성을 높이고 지루한 작업으로 인한 어려움을 덜어줍니다.

Embrace 에 대해 자세히 알아보고 모바일 경험 현황 보고서를 다운로드하여 사용자가 느끼는 주요 앱 불만 사항에 대해 알아보세요.

저자: 콜린 컨트리어리

여기에도 게시되었습니다.