Optimizasyon Uzmanlarından A/B Testi Öğütleri ve Hap Bilgiler

ab testi

Kullanıcılarımıza daha iyi bir kullanıcı deneyimi sunabilmek için yaptığımız optimizasyon ile ilgili çalışmaları belli yöntemlerle ve stratejilerle sürdürmekteyiz. Peki uyguladığımız ya da uygulamayı hayal ettiğimiz yöntemler ve stratejiler yeteri kadar etkililer mi? Ya da süreçlerdeki tüm soru işaretlerinizi giderebiliyorlar mı?

Tam bu noktada tecrübe ihtiyacı ortaya çıkıyor. Özellikle A/B testi çalışmaları gibi, yöntemlerin ve stratejilerin henüz belirgin hale gelemediği bakir alanlarda tecrübe ihtiyacı daha fazla hissediliyor. Bu yazıda A/B testi çalışmaları ve optimizasyon yapan uzmanların tecrübelerinden ve önerilerinden faydalanıp özet bir hap bilgi listesine göz atabileceksiniz.

Optimizasyon Uzmanlarından Öneriler

Bir Sayfa İçin Art Arda Birden Fazla Testi Koşmaya Hazırlıklı Olun

Bir varyasyon oluşturdunuz ve onu kontrollü teste soktunuz. Peki ya sonra?

Varyasyonları analiz edin, segment bazlı sonuçlar çıkartın, hipotenizini geliştirin… Sonra tekrar test edin! Oyunun adı tekrarlamalı test. Herbir sayfa için birçok test koşun. Her çözdüğünüz problem bir önceki testinizi daha zayıf hale getirecektir. 10 test ile daha güvenilir ve sağlam bir kazananınız olacaktır.

Test sonuçlarınızı analiz edin, hipotenizini güncelleyin ve tekrar test edin.

(Peep Laja, Conversion XL)

 

Negatif Test Sonucu İyi Birşey Olabilir

Araştırmaya ve hipoteze dayalı her testte izleyici kitleniz hakkında daha fazla bilgi edinirsiniz. Test sonuçlarını her zaman aygıt tipine, tarayıcıya, trafik kaynağına ve yeni/yeniden gelen ziyaretçiye göre segmentlere ayrıştırırım. Ortalamalara bakmak analizin için yeterli olmayabilir. Bazı durumlar bazı segmentlerde farklı sonuçlar verebilir. Dolayısıyla o segment için kazanan farklı olabilir. Siz de bunu görebiliyor olursunuz. Tecrübe ettiğimiz üzere, örneğin tablette kazanan varyasyonları sadece tabletlerde uyguladığımızda büyük bir dönüşüm artışı yakaladığımız oldu.

(Gijs Wierda, Catchi)

 

Sabır, Sabır, Sabır

Sabırlı olun. Sürece,  sonuçlara, kullandığınız platforma ve her şeyden önce kendinize karşı sabırlı davranın.

Hissettiğiniz baskı test süreçlerinde artabilir. Dönüşüm oranlarını fantastik derecede artıran optimizasyon hikayelerini her yerde okuyorsunuzdur. Muhtemelen dönüşüm oranlarının düşük çıktığını gösteren test hikayeleri okumamışsınızdır. Güçlü araştırma, hipotez ve uygulama süreçlerine rağmen dönüşüm oranları dibe çakılabilir. Bunlar olağan şeylerdir.

Sakinliğinizi koruyun, devam edin ve sabırlı olun. Bu hem iş için, hem kariyeriniz için hem de müşterileriniz için daha sağlıklı olacaktır.

Çevrimiçi dünyada dönüşüm oranı optimizasyonu hala emekleme dönemindedir. Bu heyecan verici yolculuğa devam et.

(Keith Lovgren, Elevated.com)

 

Testlerinizi Hedeflerinizin Net Olduğu Yerlerde Koşun

Başarıyı, soru işareti bırakmayacak şekilde ölçüp tanımlayabildiğiniz müddetçe testlerinizle işinize katkı sağlayıp sağlayamadığınızı bilebileceksiniz.

Hedeflerinizi ve hangi sayfalarda test yapacağınızı net bir şekilde belirleyin. Sonrasında mevcut dönüşüm oranınızı hesaplayın ve mevcut dönüşüm oranınızı ne kadar geliştirmek istediğinizi çıkartın.

Bu sizin çoklu ya da karışık hedefleri içerebilecek sayfalardan uzak tutacaktır. (Ana sayfa buna iyi bir örnektir.) Ürün detay sayfaları ve form sayfaları başlamak için ideal sayfalardır. Net gollerinizi kolayca ölçebilirsiniz. Daha fazla bilgi, kanaat ve deneyime sahip olursunuz.

(Nick Doran, Prospects)

 

Varyasyon Dizaynınızda Kalitatif ve Kantitatif Bilgilerinizi Beraber Kullanın

Etkili bir test için 360 derecelik değerlendirme ile kilit noktaları hem kalitatif hem de kantitatif bilgileri göz önünde bulundurarak bulmanız gerekmektedir. Analitik araçlarınızdan kantitatif bilgilere ulaşıp ve nerelerde test yapılması gerektiğini görebilirsiniz fakat kullanıcıların davranışları ile ilgili kısıtlı bilgilere sahip olursunuz. Heatmaps, anketler, kullanıcı testleri ve rekabetçi analizler kalitatif bilgilerle müşterinin sesi olacaktır.

(Khattab Khan,  Optimizely)

 

Bir Testi İhtiyacı Olandan Daha Kompleks Şekilde Kurgulamayın

Teste başladığım zamanlarda testlerden bazılarını agresif kurguluyordum. Prensipte harika görünen, çok sayfada çoklu değişkenlerle kurguladığımız testler oldukça zorlayıcı oluyordu. Genelde bir tıklama hedefi ya da herhangi bir izleme ölçünü uygulanamadığından verileri ayırt etmek ve incelemek de çok zor oluyordu.

Testleri küçük parçalara ayırmak çok daha kolay. Çok daha az trafik ve temiz sonuçlarla çok daha çabuk sonlanırlar. Bunlara ek olarak uygulanmaları da çok daha zaman alır ve daha az hata yaparsınız.

Testlerinizi gerekmedikçe karmaşık şekillerde kurgulamayın.

(Spencer Padway, Sellpoints)

 

Test Sonrası Analiz İçin Zaman Ayırın

Yeni hipotezlere ve varsayımlara ulaşmak için sonuçlarınızı analiz etmeye geniş vakit ayırın. Bir testin kazanması ya da kaybetmesi size bir özelliğin çalıştığından ya da çalışmadığından daha fazlasını söyler. Müşterileriniz hakkında öğreneceğiniz yeni bilgiler harcayacağınız bu efora değer.

(Megan Bush, Blue Acorn)

 

İstatistiksel Bilgi Sağlayacak Kaynakları Kullanmayı Öğrenin

Teste yeni başladığım zamanlarda, 20 dönüşüm sonucunun 8 dönüşüm sonucundan daha iyi olduğunu düşünürdüm. Test istatistiklerinizin kazananı belirleyici olduğundan emin olun.

Örneklem büyüklüğü hesapalama (sample size calculator) gibi bir araç kullanarak kafası karışmış, sonuçları anlamlandıramayan iş arkadaşlarınızın henüz testi kazanan bir sonuca neden ulaşmadığını anlatabilirsiniz.

(Renee Doegar, London Review of Books)

 

Optimizasyon Aksiyonlarınıza Birçok Perspektifi Dahil Edin

Testler için birçok harika fikrin olduğunu düşünebilirsin fakat farklı bakış açılarıyla değerlendirmeyi kaçırıyor olabilirsin.

  • Web yazılımcılarının çevrimiçi satın alma yolunda neyin daha iyi olacağına dair farklı bakış açıları olacaktır.
  • Ürün yöneticileri ürünleri daha iyi hale getirebilecek fikirlere odaklanırlar.
  • Satışcılar kendi süreçlerini iyileştirecek fikirler belirtirler.
  • Tasarımcıların renklerin ve düzenin kullanıcı deneyimini nasıl etkilyeceğine dair fikirleri olacaktır.
  • İçerik editörlerinin hangi alanlarlada hangi içeriklerin/yazıların bulunmasının daha etkili olacağı konusunda fikirleri olacaktır.
  • Stajyerler uzun süredir aynı işle ilgilenmediklerinden dolayı yeni ve farklı bakış açılarıyla fikirler üreteceklerdir.
  • Deneyimli yöneticiler işi geliştirecek vizyonlarıyla sürecinize katkı yapacaklardır.

Liste bu şekilde uzayabilir. Ana fikir nerede çalıştığınız ve kimin ne katkı yapabileceğidir. Optimizasyondan sorumlu kişi olarak yüzlerce fikre sahip olmanız şart değildir. Bu fikirleri çevrenizdeki kişilerden doğru şekillerde toplayabilirsiniz.

(Chris Sonn, Allianz)

 

Rakiplerinizi İzleyin

Rakiplerinizin sizden farklı neler yaptığını araştırın ve sonrasında bu gözlemleriniz ilham kaynağınız olsun. Gözünüz rakiplerinizin üzerinde olsun. İyi iş çıkarttığına inandığınız markaları izleyin ve kullanıcılarınızın tepki vereceğini düşündüğünüz renk, dizayn ve içerik gibi şeyleri kontrol edin. Tabi bunu yaparken markanızın sahip olduğu stil ve dokulara uyarlıyor olmanız gerektiğini unutmayın.

(Lauren Griffin, Webjet)

 

Optimizasyon Testleri İçin Hap Bilgiler

  • Bir optimizasyon realisti her testin kazanmasını beklemez. Unutmayın, testin başaramaması da bir opsiyondur.
  • Testin başaramamasını bir opsiyondan öteye taşıyın. Bu başaramama size ve ekibinize ilham versin, daha çok irdeleyin, yeni şeyler öğrenin ve yanlış yol olduğunu kanıtlayın.
  • Belirli bir hipotezle yaptığınız testlerden her zaman birşeyler öğreneceksinizdir.
  • Testlerinizin sonlanmasını bekleyin. Test sonlanana kadar veriler değişkenlik gösterebilir. Bu inişli çıkışlı verilere bakarak bir yargıya varmayın.
  • Sabır, sabır, sabır… Sabırlı olmak sizin e ekibinizin kalıcı ve sağlam  bir optimizasyon programı kurmanızda yararlı olacaktır.
  • Her testin ölçümü için hedeflerinizi kurun.
  • Daha sonra daha güçlü ve detaylı analizler yapabilmek için test araçlarınızı analitik araçlarınızla entegre hale getirin.
  • Dönüşüm oranlarını kıyaslama konusunda stres yaşamayın. Bunun yerine testleriniz sonucunda yapacağınız iyileştirmelere odaklanın.
  • Optimizasyon çalışmalarınız için markanız, rekabet ortamı ve asıl hedefleriniz konusunda bilgi sahibi olun.
  • Yaptığınız testler diğer ilginç test fikirlerini ortaya çıkarabilir. Koştuğunuz testten sonra atacağınız adımları düşünün.
  • Her şeyin temelinde veri var: Körü körüne başkalarının en iyi test uygulamalarını ve kazanan testlerini koşup aynı sonucu almayı beklemeyin.
  • Yeni test fikirleri üretmek için kalitatif ve kantitatif verileri beraber değerlendirin.
  • Bir testin sonucundaki veriler büyük görünebilirler. Her varyasyon için dönüşüm verileri detaylıca incelendiğinde aradaki fark istatistiksel olarak kayda değer olmayabilir.
  • Testinizi hatalı gerçekleştirme olasılığını minimuma indirin. Örneklem boyutu hesaplama makinası kullanarak testinizi ne kadar kişilik bir örneklem grubuyla gerçekleştirmeniz gerektiğini hesaplayın.
  • Paylaşım ve eğitim ekip/şirket içi test kültürünü inşa etmekte önemli rol oynamaktadır.
  • Haftada bir kez toplantı yapın. Bu toplantılar insanları test aksiyonlarını ivmelendirici ve test süreçlerine katılımda teşvik edici hale getirecektir. Testi işinizin bir parçası haline getirin.
  • Organizasyonunuzdaki çeşitli perpektiflere sahip kişilerle beyin fırtınası toplantıları yapın. Yazılımcılar, tasarımcılar, müşteri destek birimleri vb. her birim size benzersiz bakış açıları sunacaktır.
  • Önereceğimiz en önemli şey: müşterileriniz ile konuşun ve metinlerinizde onların dilinde konuşmaya başlayın.
  • Müşterileriniz ile konuşuyor olsanız dahi, onlara daha iyi sorular sorarak hedefleriniz doğruştusunda daha derinlere inmek için daha fazla çaba gösterin.
  • Rakip ve yandaş firmalar optimizasyon çalışmalarınız için size ilham kaynağı olabilirler.
  • Öncelikle fikirleriniz için bir havuz (backlog), sonra deney fikirlerinizi katalog haline getirip önceliklendirin.
Kaynak: Optimization Survival Guide, Optimizely

Özetle A/B testi operasyonlarınızı yürütürken hedeflerinizi net bir şekilde belirleyin, sabırlı olun, matematiksel uygunluk kontrollerinizi yapın, kalitatif ve kantitatif bilgileri beraber değerlendirin, farklı bakış açılarını toparlayın, sonuçlarınızı değerlendirmeye fazlaca vakit ayırın ve test ettiğiniz şeyleri zaman içerisinde tekrar ve tekrar test edip sürekli bir iyileştirmeyi hedefleyin.

Anıl Öncü

İstanbul Üniversitesi İşletme bölümü mezunu Anıl Öncü yüksek lisansını Galatasaray Üniversite’nde İletişim üzerine yapmıştır. 1998 yılından itibaren kendi web projelerini geliştirmeye başlayan Öncü yazılım geliştirme, server yönetimi ve dijital pazarlama gibi konularda deneyim kazanmıştır. 2008 yılında profesyonel çalışma hayatına başlamıştır. Birçok dijital projenin ürün ve proje yönetimi süreçlerine liderlik eden Öncü Türkiye’de son olarak E-ticaret Şefi unvanıyla Teknosa’nın web, mobil ve in-store kiosk ürün ve proje ekiplerinden sorumlu olarak calışmıştır. Londra’ya taşınan Öncü, kurduğu şirket üzerinden çeşitli ülkelerdeki birçok firmaya finansal teknoloji ve e-ticaret danışmanlığı hizmetleri vermektedir.

Bir cevap bırakın