摘要：移動(dòng)測(cè)試就是指把這個(gè)試驗(yàn)用來(lái)對(duì)比優(yōu)化移動(dòng)應(yīng)用。移動(dòng)端測(cè)試應(yīng)該測(cè)試什么對(duì)于移動(dòng)端，幾乎所有都可以并應(yīng)該進(jìn)行測(cè)試。對(duì)消極和積極影響的權(quán)衡評(píng)估會(huì)是優(yōu)秀測(cè)試平臺(tái)的重要組成部分。那么，準(zhǔn)備好開始你的第一個(gè)移動(dòng)端測(cè)試了嗎本文作者吆喝科技

做A/B測(cè)試的理由很多，F(xiàn)acebook、Google、BAT、滴滴、美團(tuán)……大公司都在做。但知道它們?yōu)槭裁醋?？怎么做？A/B測(cè)試有哪些方法論來(lái)指導(dǎo)最近實(shí)踐，讓我們來(lái)看點(diǎn)干的。

什么是移動(dòng)端A/B測(cè)試？

A/B測(cè)試簡(jiǎn)單講，就是我們同時(shí)對(duì)同一個(gè)網(wǎng)站的兩個(gè)版本進(jìn)行試驗(yàn)，測(cè)量關(guān)鍵指標(biāo)，選出最優(yōu)版本。移動(dòng)A/B測(cè)試就是指把這個(gè)試驗(yàn)用來(lái)對(duì)比優(yōu)化移動(dòng)應(yīng)用。

通常為了將變量與測(cè)試結(jié)果相關(guān)聯(lián)，A/B測(cè)試一次只改變一個(gè)變量。同時(shí)改變多個(gè)變量的A/B測(cè)試我們把它叫多變量測(cè)試，或 MVT 。這些測(cè)試對(duì)于測(cè)量同一個(gè)頁(yè)面上的不同變量之間的相互作用是有用的，但必須精心設(shè)計(jì)，以找到有意義的相關(guān)性。

移動(dòng)端A/B測(cè)試應(yīng)該測(cè)試什么？

對(duì)于移動(dòng)端，幾乎所有都可以（并應(yīng)該）進(jìn)行A/B測(cè)試。許多人認(rèn)為只是粗淺的以為A/B測(cè)試只能用在設(shè)計(jì)變化上，比如調(diào)整登陸按鈕顏色等，這是不對(duì)的。理想情況下，A/B測(cè)試過(guò)程囊括比用戶界面元素多得多的內(nèi)容。通常來(lái)說(shuō)，移動(dòng)端可進(jìn)行A/B測(cè)試的包括：

對(duì)于 App 擁有者來(lái)說(shuō)，如果你想優(yōu)化轉(zhuǎn)化和內(nèi)容，對(duì)每個(gè)變量進(jìn)行測(cè)試都是有意義的。

從移動(dòng)端A/B測(cè)試中能得到什么？

除了轉(zhuǎn)化率的明顯提升，關(guān)于為什么要對(duì)你的 App 進(jìn)行A/B測(cè)試有一個(gè)很大的原因在于，A/B測(cè)試是確保你所做的更改不會(huì)意外的讓用戶體驗(yàn)更糟糕的唯一方法。

我們從案例研究發(fā)現(xiàn)，比起提升轉(zhuǎn)化率企業(yè)應(yīng)用更擔(dān)心的是產(chǎn)品崩潰等迭代風(fēng)險(xiǎn)。一個(gè)流行應(yīng)用程序的A/B測(cè)試務(wù)必要確保必要的變化（如更新和升級(jí)）不對(duì)用戶體驗(yàn)造成負(fù)面影響。這也是一款A(yù)/B測(cè)試工具好壞的評(píng)判標(biāo)準(zhǔn)。

對(duì)消極和積極影響的權(quán)衡評(píng)估會(huì)是優(yōu)秀A/B測(cè)試平臺(tái)的重要組成部分。如果能提供雙邊測(cè)試，對(duì)A/B測(cè)試?yán)锓e極的改變跟消極的改變同時(shí)觀測(cè)。比如，不必?fù)?dān)心一個(gè)推送通知增加了你的打開率，但同時(shí)也增加了應(yīng)用的卸載率。具有雙邊測(cè)試功能的A/B測(cè)試會(huì)根據(jù)得到的全面的 App 表現(xiàn)來(lái)權(quán)衡決策。

在理想的情況下，我們可以認(rèn)為一個(gè)改變能提升轉(zhuǎn)化，沒(méi)有任何后果，但在現(xiàn)實(shí)中，每一個(gè)變化都是權(quán)衡折中的結(jié)果。不知道你放棄了什么，是做不出好的優(yōu)化決策的。

怎么做好A/B測(cè)試？

決定為你的產(chǎn)品進(jìn)行A/B測(cè)試是朝正確方向邁出的第一步，但不是最后一步。還需要設(shè)計(jì)一個(gè)有效的測(cè)試，讓分析軟件來(lái)幫你分析。

通常，A/B測(cè)試應(yīng)該是徹底的，花時(shí)間為你能想到的每個(gè)有意義的變量設(shè)計(jì)測(cè)試。優(yōu)秀A/B測(cè)試平臺(tái)設(shè)計(jì)哲學(xué)的一部分是：發(fā)現(xiàn)你不知道你不知道的（通常來(lái)說(shuō)知識(shí)或信息有四種類型，你知道你知道的、你知道你不知道的、你不知道你知道的、你不知道你不知道的，你不知道你不知道的對(duì)我們的價(jià)值可能是最大的）。所以需要平臺(tái)能顯示用戶在A/B測(cè)試中所有的統(tǒng)計(jì)顯著場(chǎng)景。即使一個(gè)變量對(duì)你似乎不重要，數(shù)據(jù)也可能會(huì)告訴你一個(gè)不同的故事，而這就是好的A/B測(cè)試工具的價(jià)值。

一旦開始A/B測(cè)試，就不得不考慮測(cè)試用戶群體細(xì)分，這取決于你的測(cè)試目的是什么。

如果打算發(fā)布一個(gè)新功能，最好把這個(gè)功能先發(fā)布給最忠實(shí)的用戶。你可以給這些忠實(shí)用戶發(fā)一些消息宣布新功能，并提供反饋渠道。他們更容易理解新功能，并能提供有價(jià)值的使用數(shù)據(jù)。

測(cè)試了部分用戶的反應(yīng)之后，準(zhǔn)備推出這個(gè)功能給全部用戶，這時(shí)候就可以給全部用戶發(fā)送更新消息。
另外，如果你正在做一個(gè)小的布局更改，你可以根據(jù)用戶使用頻次把他們放到不同的類別里，也許是不活躍的用戶對(duì)更新感到困惑（或反之亦然）。如果兩類用戶集中在一起的，你可能不會(huì)得到一個(gè)有意義的結(jié)果，因?yàn)樗粫?huì)告訴你布局變化的好壞。事實(shí)上，所有用戶雜糅在一起，導(dǎo)致即使我們做了A/B測(cè)試，也得不出有效結(jié)果。所以，我們需要按用戶群體細(xì)分去做A/B測(cè)試，高質(zhì)量用戶、留存用戶、低質(zhì)量用戶、不活躍用戶，它們的行為是怎么的？這才是有效A/B測(cè)試的關(guān)鍵。

分類發(fā)現(xiàn)區(qū)別，區(qū)別找到差異，差異引爆增長(zhǎng)，事實(shí)上 Facebook 、 Twitter 、Dropbox 等公司就是通過(guò)這種方式發(fā)現(xiàn)增長(zhǎng)密碼的。這里可能會(huì)引出同期群分析相關(guān)的概念及實(shí)踐，感興趣可以參看我們的這篇文章：找到產(chǎn)品中的Aha moment，像Facebook一樣增長(zhǎng)。

那么，準(zhǔn)備好開始你的第一個(gè)移動(dòng)端A/B測(cè)試了嗎？

本文作者：Zoran @ 吆喝科技