Katsomalla Play Kaupan / App Storen puhelinta paljastaa, että useimmissa asennetuissa sovelluksissa on päivityksiä julkaistu viime viikolla. Muutaman viikon kuluttua käyty verkkosivustokäynti saattaa näyttää muutoksia asettelussa, käyttökokemuksessa tai kopiossa.

Nykyään ohjelmistotuotteet toimitetaan iteraatioina vahvistamaan oletuksia ja hypoteeseja siitä, mikä tekee tuotekokemuksesta paremman käyttäjille. Kulloinkin yritykset, kuten booking.com (missä työskentelin aiemmin), suorittavat satoja A / B-testejä sivustoillaan juuri tähän tarkoitukseen.

Internetin kautta toimitetuissa sovelluksissa ei tarvitse päättää tuotteen ulkoasusta 12–18 kuukautta etukäteen, sitten rakentaa ja lopulta toimittaa se. Sen sijaan on täysin käytännöllistä vapauttaa pienet muutokset, jotka tuottavat arvoa käyttäjille niiden toteutuessa, mikä poistaa tarpeen tehdä oletuksia käyttäjän mieltymyksistä ja ihanteellisista ratkaisuista - jokainen oletus ja hypoteesi voidaan vahvistaa suunnittelemalla testi eristämään vaikutus jokaisesta muutoksesta.

Sen lisäksi, että tämä lähestymistapa tuottaa jatkuvaa arvoa parannusten avulla, tuoteryhmä voi kerätä jatkuvaa palautetta käyttäjiltä ja korjata kurssin tarvittaessa. Hypoteesien luominen ja testaaminen parin viikon välein on halvempi ja helpompi tapa rakentaa kurssikorjaava ja iteratiivinen lähestymistapa luomiseen tuotteen arvo .

Mikä on hypoteesitestaus?

Toimitettaessa ominaisuutta käyttäjille on välttämätöntä vahvistaa suunnittelua ja ominaisuuksia koskevat oletukset, jotta ymmärretään niiden vaikutus tosielämässä.

Tämä validointi tehdään perinteisesti tuotehypoteesitestauksella, jonka aikana kokeilija hahmottaa muutoksen hypoteesin ja määrittelee sitten menestyksen. Esimerkiksi, jos a tietojen tuotepäällikkö Amazonilla on hypoteesi, että suurempien tuotekuvien näyttäminen nostaa tulosprosentteja, ja menestys määritetään korkeammilla muuntokerroilla.

Yksi hypoteesitestauksen keskeisistä näkökohdista on erilaisten muuttujien eristäminen tuotekokemuksessa, jotta onnistumiseksi (tai epäonnistumiseksi) voidaan osoittaa tehdyt muutokset. Joten jos Amazon-tuotepäällikkömme saisi uuden hypoteesin, jonka mukaan asiakasarvostelujen näyttäminen tuotekuvien vieressä parantaisi muuntamista, molempia hypoteeseja ei olisi mahdollista testata samanaikaisesti. Se johtaisi syiden ja seurausten virheellisen määrittelemiseen; siksi nämä kaksi muutosta on eristettävä ja testattava erikseen.

Ominaisuuksia koskevat tuotepäätökset tulisi siis tukea hypoteesitestauksella ominaisuuksien suorituskyvyn vahvistamiseksi.

Erilaiset hypoteesien testaustyypit

A / B-testaus

Yleisimmät käyttötapaukset voidaan vahvistaa satunnaistetulla A / B-testillä, jossa muutos tai ominaisuus vapautetaan satunnaisesti puolelle käyttäjistä (A) ja pidätetään toiselle puolelle (B). Palataksemme hypoteesiin suuremmista tuotekuvista, jotka parantavat muuntamista Amazonissa, puolet käyttäjistä näyttää muutoksen, kun taas toinen puoli näkee verkkosivuston sellaisena kuin se oli aiemmin. Konversio mitataan sitten kullekin ryhmälle (A ja B) ja verrataan. Jos muunnos lisääntyy merkittävästi suurempien tuotekuvien ryhmässä, johtopäätös olisi, että alkuperäinen hypoteesi oli oikea ja muutos voidaan ottaa käyttöön kaikille käyttäjille.

Monimuuttujatestaus

Ihannetapauksessa kukin muuttuja tulisi eristää ja testata erikseen muutosten määrittelemiseksi lopullisesti. Tällainen peräkkäinen lähestymistapa testaukseen voi kuitenkin olla hyvin hidasta, varsinkin kun testattavia versioita on useita. Jatkamalla esimerkkiä, hypoteesissa, jonka mukaan isommat tuotekuvat johtavat korkeampiin muuntokursseihin Amazonissa, 'isompi' on subjektiivinen, ja useat 'isojen' versiot (esim. 1,1x, 1,3x ja 1,5x) saattavat joutua testattava.

Sen sijaan, että testataan tällaisia ​​tapauksia peräkkäin, voidaan hyväksyä monivaihtotesti, jossa käyttäjiä ei jaeta kahtia, vaan useaan varianttiin. Esimerkiksi neljä ryhmää (A, B, C, D) muodostavat kumpikin 25% käyttäjistä, joissa A-ryhmän käyttäjät eivät näe muutoksia, kun taas muunnelmien B, C ja D ryhmät näkevät suuremmat kuvat 1,1x, 1,3x ja 1,5x. Tässä testissä useita variantteja testataan samanaikaisesti tuotteen nykyiseen versioon nähden parhaan vaihtoehdon tunnistamiseksi.

Ennen / jälkeen testauksen

Joskus käyttäjiä ei ole mahdollista jakaa kahteen osaan (tai useampaan muunnokseen), koska siinä saattaa olla verkkovaikutuksia. Esimerkiksi, jos testissä määritetään, onko yksi logiikka Uber-hintojen nousuhintojen muotoilemiseksi parempi kuin toinen, ajureita ei voida jakaa eri muunnelmiin, koska logiikassa otetaan huomioon koko kaupungin kysynnän ja tarjonnan epäsuhta. Tällöin testissä on vertailtava vaikutuksia ennen muutosta ja muutoksen jälkeen johtopäätöksen tekemiseksi.

Rajoitus on kuitenkin kyvyttömyys eristää kausiluonteisuuden ja ulkoisuuden vaikutukset, jotka voivat eri tavalla vaikuttaa testi- ja kontrollijaksoihin. Oletetaan, että muutos logiikkaan, joka määrittää uber-hinnan nousun, tehdään kerrallaan t , siten että logiikkaa A käytetään ennen ja logiikkaa B käytetään sen jälkeen. Vaikka vaikutukset ennen ja jälkeen ajan t voidaan verrata, ei voida taata, että vaikutukset johtuvat yksinomaan logiikan muutoksesta. Kahden ajanjakson välillä olisi voinut olla eroa kysynnässä tai muissa tekijöissä, mikä johti eroon näiden kahden välillä.

Aikaperusteinen On / Off -testaus

Ennen / jälkeen testauksen haittapuolet voidaan voittaa suurelta osin ottamalla käyttöön aikaperusteista / pois-testausta, jossa muutos otetaan käyttöön kaikille käyttäjille tietyksi ajaksi, sammutetaan samaksi ajaksi ja sitten toistetaan pidempään.

Esimerkiksi Uberin käyttötapauksessa muutos voidaan näyttää kuljettajille maanantaina, peruuttaa tiistaina, näyttää jälleen keskiviikkona ja niin edelleen.

Vaikka tämä menetelmä ei poista täysin kausiluonteisuuden ja ulkoisuuden vaikutuksia, se vähentää niitä merkittävästi, mikä tekee tällaisista testeistä vakaampia.

Testisuunnittelu

Oikean testin valitseminen käytetylle käyttötapaukselle on olennainen askel hypoteesin vahvistamiseksi nopeimmin ja luotettavammin. Kun valinta on tehty, testisuunnitelman yksityiskohdat voidaan hahmottaa.

Testisuunnitelma on yksinkertaisesti yhtenäinen hahmotelma:

• Testattava hypoteesi: Suurempien tuotekuvien näyttäminen käyttäjille johtaa heitä ostamaan lisää tuotteita.
• Testin menestystiedot: Asiakkaan muuntaminen
• Testin päätöksentekokriteerit: Testi vahvistaa hypoteesin, jonka mukaan variantin käyttäjillä on korkeampi tulosprosentti kuin kontrolliryhmässä.
• Mittarit, jotka on instrumentoitava oppimaan testistä: Asiakkaan muuntaminen, klikkaamalla tuotekuvia

Hypoteesin mukaan suuremmat tuotekuvat johtavat parempaan muuntamiseen Amazonissa, menestysmittari on muuntaminen ja päätöksentekokriteerit ovat parannus konversiossa.

Kun oikea testi on valittu ja suunniteltu ja onnistumisen kriteerit ja mittarit on tunnistettu, tulokset on analysoitava. Tätä varten tarvitaan joitain tilastollisia käsitteitä.

Näytteenotto

Testejä suoritettaessa on tärkeää varmistaa, että testille valituilla kahdella muunnoksella (A ja B) ei ole ennakkoluuloja menestymismittariin nähden. Esimerkiksi, jos variantti, joka näkee isommat kuvat, on jo korkeampi muunnos kuin variantti, joka ei näe muutosta, testi on puolueellinen ja voi johtaa vääriin johtopäätöksiin.

Jotta näytteenotossa ei olisi ennakkoluuloja, voidaan havaita menestysmittarin keskiarvo ja varianssi ennen muutoksen käyttöönottoa.

Merkitys ja voima

Kun ero kahden variantin välillä on havaittu, on tärkeää päätellä, että havaittu muutos on todellinen eikä satunnainen. Tämä voidaan tehdä laskemalla onnistumismittarin muutoksen merkitys.

Maallikon termien mukaan merkitys mittaa taajuutta, jolla testi osoittaa, että suuremmat kuvat johtavat korkeampaan muunnokseen, kun ne eivät todellakaan ole. Teho mittaa taajuutta, jolla testi kertoo meille, että isommat kuvat johtavat suurempaan muunnokseen, kun ne todella tekevät.

Joten testeillä on oltava korkea tehoarvo ja pieni merkitsevyys tarkempien tulosten saavuttamiseksi.

---

Tuotehypoteesien testaukseen liittyvien tilastollisten käsitteiden perusteellinen tutkiminen ei kuulu tässä soveltamisalaan, mutta suositellaan seuraavia toimia tämän roolin tuntemuksen lisäämiseksi:

• Data-analyytikot ja tietotekniikan suunnittelijat osaavat yleensä tunnistaa oikeat testisuunnitelmat ja voivat ohjata tuotepäälliköitä, joten varmista, että hyödynnät heidän asiantuntemustaan ​​prosessin alkuvaiheessa.
• On olemassa lukuisia online-kursseja hypoteesitestauksesta, A / B-testauksesta ja niihin liittyvistä tilastollisista käsitteistä, kuten Udemy , Udacity ja Coursera .
• Työkalujen, kuten Googlen Firebase ja Optimizely, käyttäminen voi tehdä prosessista helpompaa, koska oikeiden testien suorittamiseen tarvitaan paljon valmiita ominaisuuksia.

Hypoteesitestauksen käyttäminen onnistuneeseen tuotehallintaan

Jotta voisimme jatkuvasti tuottaa arvoa käyttäjille, on välttämätöntä testata erilaisia ​​hypoteeseja, joita varten voidaan käyttää useita erilaisia ​​tuotehypoteesien testauksia. Jokaisella hypoteesilla on oltava mukana oleva testisuunnitelma, kuten edellä on kuvattu, sen validoimiseksi tai mitätöimiseksi.

Tämä lähestymistapa auttaa määrittelemään uusien muutosten ja ominaisuuksien tuottamaa arvoa, keskittymään arvokkaimpiin ominaisuuksiin ja tuottamaan inkrementaalisia iteraatioita.

Perustietojen ymmärtäminen

Mikä on tuotehypoteesi?

Tuotehypoteesi on oletus, että jonkinlainen parannus tuotteessa lisää tärkeitä mittareita, kuten tuloja tai tuotteen käyttöä koskevia tilastoja.

Mitkä ovat hypoteesin kolme vaadittavaa osaa?

Hypoteesin kolme vaadittua osaa ovat oletus, ehto ja ennuste.

Miksi teemme A / B-testausta?

Teemme A / B-testejä varmistaaksemme, että kaikki tuotteen parannukset lisäävät seurattavia mittareitamme.

Mihin A / B-testausta käytetään?

A / B-testausta käytetään tarkistamaan, luovatko tuoteparannuksemme halutun muutoksen muutoksiin.

Mikä on A / B-testaus ja monivaihetestaus?

A / B-testaus ja monivaihtotestaus ovat hypoteesitestejä. A / B-testaus tarkistaa, kuinka tärkeät mittarit muuttuvat tuotteeseen tehdyillä muutoksilla ja ilman sitä. Monimuuttujatestauksella voidaan seurata saman tuotekehityksen useita muunnelmia.