Make the Right Choice. A/B Testing for UX Improvement.

To be or not to be? That is a question which is constantly repeated. People often have to face some choices which are hard to make. Designers’ job is also full of the situations when two solutions seem like right but you need to make a choice and not to stumble. When it happens, a creative team runs tests for both to find out which solution is the best. One of the popular methods is called A/B testing. The article describes the facets of A/B testing methodology and shows how designers apply it for UX improvement.

 

할것인가 말것인가? 이것은 끊임없이 반복되어지는 질문입니다. 사람들은 종종 결정하기 어려운 선택에 직면하게 됩니다. 디자이너의 일은 두가지 해결방법 모두 정답같아 보이지만 선택을 해야하고 휘청거리면 안되는 상황들로 가득차 있습니다. 이런 일이 일어났을 때, 크리에이티브 팀은 무엇이 최선의 해결책인지 알아내기 위해 두가지 모두 테스트를 진행합니다. 가장 유명한 방법 중 하나는 a/b 테스트 입니다. 이 아티클은 a/b 테스트 방법론의 측면을 설명하고 어떻게 디자이너들이 ux를 향상시키기 위해 적용하는지 보여줄 것 입니다. 

 

What is A/B testing?

A/B testing, also known as split testing, is a method of comparing two versions of a digital product in order to find out which one performs better. A creative team divides users into two groups and each of them is shown different variants. One half sees A version, the other — B. Such an approach helps to determine a more profitable solution.

The differences between A and B options can vary from the smallest to the big one. For example, it can be a color of a small element or different placement of all the components. The effectiveness can be measured by different criteria such as page views, clicks, number of subscriptions, or sale-leads. The choice of criteria for measurement depends on the goals a company or a creative team has established. In some cases, it may be good to combine these metrics to achieve deeper insights of all aspects.

 

a/b 테스트란 무엇인가?

a/b 테스트,  분할 테스트라고도 불려지는 것은 어떤것이 더 나은 수행을 하는지 알아내기 위해서 디지털 상품의 두가진 버전을 비교하는 방법이다. 크리에이티브 팀은 사용자를 두가지 그룹으로 나누고 그들은 다른 변화를 보여준다. 절반은 a 버전을 보고ㅡ 다른 그룹은 b를 본다. 이런 접근은 더 수익적인 결론을 결정짓는데 도움을 준다.

a와 b 사이 옵션의 차이는 가장 작은 것 부터 큰 것까지 다양할 수 있다. 예를 들어, 작은 요소의 색깔일 수 도 있고 모든 컴포넌트 요소의 다른 위치 일 수 있다. 효과는 페이지 조회수나 클릭 또는 구독자 수 또는 판매가 많이 되는 것들 같은 것으로. 다른 기준들에 의해 측정될 수 있다. 측정을 위한 기준의 선택은 회사 또는 크리에이티브 팀이 수립한 목표에따라 달라질 수 있다. 경우에 따라 이러한 수치를 결합하여 모든 측면에 대한 보다 심층적인 통찰력을 얻는 것이 좋을 수 있다.

 

How can designers use A/B testing?

UI and UX design for a product is always created to gain certain goals. Experts thoroughly choose as well as plan clear and pleasant interaction and navigation system for effective user experience. However, what once worked well, may not have the same effect after a while. Business goals constantly change during the time a product functions, so the design requires some improvements.

 

A/B testing is an approach helping to make design changes carefully so that users wouldn’t feel inconvenient. The needed data and metrics can be collected while people continue to use an app or website.

 

So, what can you get from A/B testing? First of all, it’s a good way to learn behavior patterns and peculiarities of the target audience. By testing different versions of UI, designers can see what kind of influence each solution has on users and which one performs more effectively. Moreover, A/B testing assists to remove bad design decisions if there were ones and replace them with something more profitable.

 

In addition, A/B testing can reduce conflicts between designers and the clients. It often happens that the opinions of both sides differ and no one wants to step aside. To solve such a kind of conflict, you can run A/B testing for two variants which a creative team and a customer see as the best solution.

 

As we said above, differences between versions A and B can be either small or big. Here is a list of elements which designers often choose for A/B testing.

 

디자이너들은 어떻게 a/b 테스트를 사용할 수 있을까?

상품을 위한 ui 그리고 ux 디자인은 항상 특정한 목표를 얻기 위해 만들어 진다. 전문가들은 효과적인 사용자 경험을 위해 명확하고 쾌적한 인터랙션과 네비게이션 시스템을 계획할 뿐만아니라 철저하게 선택한다. 하지만, 한 때 잘 작동했던 것은 시간이 지나면 같은 효과를 거두지 못할 수도 있다. 제품이 작동하는 동안 비즈니스 목표는 끊임없이 변화하므로 설계에 약간의 개선이 필요로 한다.

 

a/b 테스트는 사용자들이 불편함을 느끼지 않도록 디자인을 조심스럽게 바꾸도록 돕는 접근이다. 필요한 정보와 계량은 앱 또는 웹사이트를 계속 사용하는 동안 모아질 수 있다.

 

그렇다면 a/b 테스트에서 무엇을 얻을 수 있을까? 첫째로, 타켓 사용자의 행동 패턴과 특성을 배우기 좋은 방법이다. ui의 다른 버전을 테스트 함으로써, 디자이너는 각각의 해결방법에 사용자에게 어떤 영향을 끼치는지 확인할 수 있고 무엇이 더 효과적으로 수행할 수 있는지 알 수 있다. 또한 A/B 테스트는 잘못된 설계 결정이 있을 경우 이를 제거하고 수익성이 더 높은 것으로 대체하는 데 도움이 된다.

 

게다가, a/b 테스트는 디자이너와 클라이언트 사이의 갈등을 줄일 수 있다. 양쪽 모두 의견이 달라서 누구도 물러서고 싶지 않은 상황이 종종 발생한다. 이런 갈등을 해결하기 위해서, 크리에이티브 팀과 클라이언트가 가장 적합한 솔루션이라고 생각하는 두 가지 다른 타입에 대해 A/B 테스트를 실행할 수 있다.

 

위에서 말했듯이, a 와 b 버전 사이의 차이는 작거나 클 수 있다. 여기 a/b 테스트를 위해서 디자이너들이 종종 선택해야하는 요소들의 목록이 있다.

 

• CTA buttons (their placement, size, color or copy);
• Headings and subheaders;
• Images on landing pages;
• Presentation of clients’ form on websites;
• Copy (length, placement and content);
• Offer display;
• Videos (presence or absence).

A/B testing is not a one-time operation. Designers can test different elements one by one and then combine gathered information to check which of their solutions is more user-friendly and goal-oriented.

 

• cta 버튼 ( 그들의 위치, 크기, 색상 또는 문구)
• 제목과 부제목
• 랜딩 페이지의 이미지
• 웹사이트에 클라이언트 양식 표기
• 문구 (길이, 위치와 컨텐츠)
• 디스플레이를 제공하는것
• 동영상( 존재 유 무)

a/b 테스트는 한 번만 하는 것이 아니다. 디자이너들은 다른 요소들로 하나씩 테스트 할 수 있고 정보들을 합쳐서 어떤 해결방법이 더 사용자 친화적이고 목표 지향적인지 확인 할 수 있다.

 

 

A/B testing process

If you never tried A/B testing before, it’s never too late to experiment. Besides, experimenting with new approaches can help to open new opportunities. Moreover, A/B testing is not a complicated method. It can be accomplished easily if you take the following steps.

 

a/b 테스트 과정

만약 당신이 a/b 테스트를 이전에 해본적이 없다면, 실험하기 늦지 않았다. 게다가, 새로운 접근을 가지고 실험하는 것은 새로운 기회를 여는데 도움을 준다. 게다가, a/b 테스트는 복잡한 도구가 아니다. 당신이 몇가지 스텝만 따라한다면 쉽게 완수 할 수 있다.

Step 1. Gather data and rates.

The first aim of A/B testing is optimization. It can be revenue optimization, user experience improvements or just a product upgrade as a whole. That is why the first step before you run A/B testing should be data collecting. Analytics results can help to understand what aspect needs the optimization the most. Pages with low conversion rates or CTA buttons with a small amount of clicks can be the first targets.

 

스텝1. 데이터와 비율을 수집해라.

a/b 테스트의 첫번째 목표는 최적화 하는 것이다. 수익 최적활 일수도 있고, 사용자 경험을 향상시킬 수 있고 또는 상품을 전체적으로 업그레이드 하는 것일 수 있다. 그렇기 때문에 a/b 테스트를 실행하기 전 첫번째 단계는 정보를 모으는 것이다. 분석결과는 어떤 측면이 가장 최적화 하는데 필요로 하는지 이해하는데 도움을 줄 수 있다. 낮은 전환율의 페이지 또는 낮은 양의 클릭수의 cta 버튼은 첫번째 타켓이다.

Step 2. Set the goals.

To make the improvements work right, designers need to determine what they expect to gain from them. For example, it can be more subscribers for a blog, more time spent on a website, or more clicks on CTA buttons. Setting the goals you can track the effectiveness of your decisions.

 

스텝2. 목표를 정해라.

개선을 올바르게 하기 위해서는, 디자이너는 개선을 통해 무엇을 기대하는지 결정할 필요가 있다. 예를 들어, 블로그에서 더 많은 구독자 일 수 있고, 웹사이트에 더 시간을 보내거나 cta 버튼을 더 많이 클릭하는 것일 수 있다. 목표를 설정하여 결정의 효과를 추적할 수 있다.

 

Step 3. Build a hypothesis.

This step is needed so that designers could use the gathered information for the future improvements. After the goals are set, you need to think of the reasons why the new solutions will work better. A research on the target audience helps to generate some hypotheses about what can improve the current version. It will guide designers when the testing ends and will give deep insights on the target audience preferences.

 

스텝3. 가설을 설정해라.

디자이너는 나중에 개선을 위해서 수집된 정보 사용을 필요로 한다. 목표를 설정한 다음, 왜 새로운 해결책이 더 효과적인지 이유를 생각할 필요가 있다. 타켓 사용자에 대한 조사는 현재 버전에서 무엇이 개선되어 질 수 있는지에 대한 몇개의 가설들을 만들어내는데 도움을 준다. 그것은 테스트가 끝날때 디자이너에게 도움을 줄 것이고 타켓 사용자 선호에 대한 깊은 인사이트를 줄 수 있다.

Step 4. Create A and B versions.

When designers have decided what changes they want to implement, it’s time to bring them to life. There are many free and paid tools helping to divide the users’ stream into two groups. It may be a good idea to QA the testing at the beginning to make sure everything goes as it should be.

 

스텝4. a 와 b 버전을 만들어라.

디자이너들이 어떤 변화를 구현하고 싶은지 결정했을 때, 그것들을 삶 속으로 가져올 때이다. 사용자의 폭을 두가지 그룹으로 나눠주는 무료와 유로 툴이 많이 있다. 모든 것이 제대로 진행되는지 확인하기 위해 초기에 QA에 테스트하는 것이 좋을 수 있다.

Step 5. Go testing.

It is the most pleasant part of A/B testing for a creative team because it’s time for users to work. People use an application or visit a website and everything they do is measured and transformed into useful data.

 

스텝5. 테스트하기.

크리에이티브 팀에게 a/b 테스트의 가장 즐거운 부분이다. 왜냐하면 사용자에게 작동하기 위한 때이기 때문이다. 사람들은 앱을 사용하거나 웹사이트를 방문한다 그리고 그들이 하는 모든 것은 의미있는 데이터로 측정되고 변환된다.

 

Step 6. Analyze results.

The experiment lasts for certain time and when it’s complete designers work on results. All the data and metrics from two versions are gathered and compared. Based on the results designers decide which variant performed better and is capable of accomplishing the goals that have been set at the start.

 

스텝6. 결과 분석하기.

실험은 일정 시간 지속되고 끝났을 때 디자이너는 결과를 가지고 작업한다. 두가지 버전으로 부터 모든 데이터와 계량은 수집되어지고 비교되어진다. 결과에 근거하여 디자이너들은 어떤 타입이 더 나은 수행을 했고 어떤 타입이 시작할때 정했던 목표를 달성 할 수 있는지 결정한다.

 

Benefits and limitations of A/B testing

There is no perfect methodology which would suit any situation. However, each approach is unique and brings certain advantages which others can’t. Let’s see what A/B testing can offer to designers and what are its limitations.

 

a/b 테스트의 베네핏과 한계.

어떤 상황에서도 딱 맞는 완벽한 방법론은 없다. 그러나, 각각의 접근은 독특하고 다른 것들은 할 수 없는 특정한 이점을 가지고 온다. a/b테스트가 디자이너에게 무엇을 제공할 수 있고 그것들의 한계는 무엇인지 확인해보자.

Benefits

It measures the actual user behavior. People use a product without knowing they are a part of the experiment now. That’s why they act naturally which helps to identify the model of their behavior quite accurately.

It is a cheap method. A/B testing doesn’t require applying expensive tools and hiring people who’d like to test a product. All you need is two versions of the experiment and a software which would randomly divide users into groups.

Quality content. A/B testing is a good way to find out what content is valuable and works best for a product.

User-centered design. A/B testing is absolutely oriented on users’ needs and their behavior patterns. After the experiment designers get the data helping to make a product even more user-friendly.

Fast and easy analysis. A/B testing is usually focused on a few certain metrics. So when the results are delivered, it’s not that hard to determine which version performed better.

Everything can be tested. Not all the approaches allow testing really small things such as buttons color, fonts or headings placement. However, even such little elements can have a great impact on users’ behavior and their perception of the design.

Reduced risks. Some mistakes may cost a lot if they are made at the important stages. A/B testing can reduce the risks of losing money because of the wrong design decisions. By testing several versions of design at the early stages, designers make sure UI elements work well.

 

이점.

사용자의 실제 행동을 측정한다. 사람들은 실험의 일부분인지 모르고 프로덕트를 사용한다. 그것이 사람들이 자연스럽게 행동하는 이유이고 그것은 꽤 정확하게 그들의 행동 모델을 확인하는데 도움을 준다.

저렴한 방법이다. a/b 테스트는 값비싼 툴에 적용하는 것을 요구하지 않고 프로덕트 테스트 하기를 원하는 사람을 고용하지도 않는다. 당신이 필요한 것은 실험의 두가지 버전과 사용자를 그룹으로 랜덤하게 나눠주는 소프트 웨어 뿐이다.

콘텐츠의 퀄리티. a/b 테스트는 어떤 컨텐츠가 가치있고 상품에 가장 효과적으로 작동하는지 알아내는데 좋은 방법이다.

사용자 중심의 디자인. a/b 테스트는 완전히 사용자의 필요와 그들의 행동패턴을 지향합니다. 실험후에 디자이너는 상품을 훨씬 더 사용자 친화적으로 만드는데 도움을 주는 데이터를 가지게 됩니다.

빠르고 쉬운 분석. a/b 테스트는 주로 몇가지의 특정한 수치에 집중됩니다. 따라서 결과가 나왔을때, 어떤 버전이 더 나은 실행을 하는지 결정하는데 어렵지 않습니다.

모든것은 테스트 되어질 수 있습니다. 모든 접근이 버튼 색깔, 폰트 또는 제목 위치와 같은 정말 작은 테스트를 할 수 있는 것은 아닙니다. 그러나, 그런 작은 요소가 사용자의 행동과 디자인의 견해에 큰 영향을 끼칠 수 있습니다.

리스크를 줄입니다. 몇몇의 실수들이 중요한단계에서 만들어진다면 많은 비용이 들 것입니다. a/b 테스트는 잘못된 디자인 결정으로 인한 손실 비용 리스크를 줄일 수 있습니다. 초기단계에서 몇개의 디자인 버전을 테스트 함으로써, 디자이너는 ui 요소들이 잘 작동하는 것을 확인할 수 있습니다.

Limitations

A/B testing works only for fully implemented design. You can’t test just CTA buttons in UI without copy content or any other component because the results won’t be the same. Everything should be as a fully accomplished product ready for the usage.

It doesn’t tell you why. A/B testing is an effective method of gathering certain data and metrics showing what works well or not. But if you are looking for the answers why it is so, you need to do user research which will go deeper into the peculiarities of the target audience.

It can’t tell you what is wrong. Continuing the point above, we need to add that A/B testing isn’t meant to identify the problems in design. It only can show which improvements work effectively.

If design goes into real usage without proper testing, there is a high risk of its low effectiveness. That’s why designers are recommended to make testing an essential part of UX process. The choice of approach is a matter of circumstances and designers’ preferences. Stay tuned!

 

한계

a/b 테스트는 완전히 구현된 디자인에서만 효과가 있다. 문구 컨테츠나 다른 컴포넌트 없이 ui에서 cta만 가지고 테스트 할 수는 없다. 왜냐하면 결과가 같지 않기 때문이다. 모든것은 사용하기에 완전히 준비가 된 프로덕트여야 한다. 

그것은 당신에게 이유를 말해주지 않는다. a/b 테스트는 무엇이 효과적이고 그렇지 않은지 보여주는 데이터와 수치를 모아주는 효과적인 방법이다. 그러나 당신이 왜 그런지 대답을 기대한다면, 타켓 사용자의 특성을 더 깊게 파고들 사용자 조사를 해야만 한다. 

그것은 무엇이 틀렸는지 알려주지 않는다. 위에 말을 이어서, 디자인에서 문제를 확인하는 것이 a/b 테스트를 의미하는 것은 아니라는 것이 추가로 필요 하다. 어떤 개선 사항이 효과적으로 작동하는지 보여줄 수 있을 뿐이다.

만약 디자인이 적절한 테스트 없이 실제로 사용되어 진다면, 설계의 효율성이 떨어질 위험이 높다. 그것이 왜 디자이너들이 ux 과정에서 중요한 부분으로 테스트를 추천하는 이유이다. 접근에 대한 선택은 상황의 문제이고 디자이너의 기호이다. 채널고정~~

 

 

 

 

 

 

 

원문 출처:

https://uxplanet.org/make-the-right-choice-a-b-testing-for-ux-improvement-a832cbbb1a28

Make the Right Choice. A/B Testing for UX Improvement.

해석에 의역과 오역이 있을 수 있습니다.

수정할 부분은 댓글로 알려주세요!