Atribuční modelování: zkušenosti s převedením do praxe a experimentováním

 

Jistě se shodneme na tom, že bezpodmínečně každý, kdo se zabývá marketingem a investicemi obecně, má mít alespoň základní znalost atribuce.

Převedení tématu „atribuce“ do praxe a následné práce marketingového týmu a managementu jsou ale náročné. Náročnost navíc nezávisí ani tak na tom, jak dobrý matematik nebo filosof (markeťák) jste, ale především na tom, s jakými lidmi pracujete.

Níže uvádím několik „témat“, které je dobré vzít v potaz před tím, než se rozhodnete své vedení, tým nebo klienta přesvědčovat o tom, že musíte bezpodmínečně velkou část svých časových kapacit, priorit a studijního času směřovat právě k atribučníhmu modelování.

Cílem článku je sdílení mých zkušeností se zavedením atribučního modelování do pravidelné práce týmu a poukázat na detaily, které je dobré vzít v potaz před tím, než firemní/klien­tské/vlastní peníze začnete investovat do „vyřešení“ tohoto tématu.

V tomto článku mým cílem nebylo sepsání přehledu aktuálních atribučních modelů (pro porovnání atribučních modelů doporučuji např. článek od Pavla Šímy), případně řešení problematiky datových integrací a nástrojů k nim vhodných.

TIP: Pokud vás zajímají další konkrétní příklady z praxe, jak se dá se zavedením atribuce do exekuce pracovat, přijďte na zářijovou Poslední středu.

 

1. Atribuce je kravina, vůbec ji nemá smysl řešit. Ke splnění našich cílů ji nepotřebujeme.

Označení atribuce jako „nesmyslného“ tématu jsem i od zkušených analytiků slyšel častěji, než jsem očekával.

Většina projektů, se kterými jsem se setkal, kvantifikuje výši revenue pro daný marketingový kanál dle nonMCF reportů v Google Analytics (znáte každý: akvizice > source / medium).

Zde vždy pracujete s atribučním modelem „last nonDirect click“!

 

Pokud někdo tvrdí, že je téma atribuce nesmysl:

• Neříká nic jiného, než že aktuálně pracuje s atribučním modelem „last nonDirect click“.

• Ještě se mu nepodařilo do­počítat přínos marketingové investice ke konverzi jiným atribučním modelem, než je již zmíněný „last nonDirect click“.

 

Nicméně i řízení marketingových investic pomocí „last nonDirect click“ atribuce může být skutečně pro daný projekt byznysově nejpřínosnější „cesta“. Jen ji v tomto případě řídí spíše náhoda (štěstí), než kvalita marketéra.

 

Data, data a zase data. Bez relevantních dat ale těžko uděláte správné obchodní rozhodnutí. Z našich školeních analytiky budete odcházet s jasnou představou, jak správně nastavit Google Analytics a nebo jak si data přehledně vizualizovat v Google Data Studiu.

2. Maturita projektu aneb „konverze neměříme, ale atribuci ano“

Úroveň maturity daného projektu (laicky řečeno „pokročilost” projektu) je naprosto klíčová. Což platí obecně vždy u zavedení jakéhokoliv nového tématu/technologie do procesu, ne pouze pro atribuci.

Jednoduše řečeno se tedy jedná o správné načasování z několika pohledů:

Technologická „zralost” projektu

1. měření webu
2. datové integrace
3. spolehlivost dat

Manažerská připravenost

1. chuť dělat byznysové změny
2. schopnost přiznat si, že nějaký segment investic funguje úplně jinak, než jsme si roky mysleli

Byznysová připravenost

1. vyřešený reporting pro aktuálně využívaný atribuční model
2. vyřešené byznysové/mar­ketingové plánování investic
   
   Experimenty bez dlouhodobého byznysového plánování se provádět zcela jistě dají, správně vyhodnocovat již nikoliv.
3. dostatečný objem konverzí/revenue

 

Z pohledu maturity projektu potřebujete mít jistotu, že:

• máte rozumně měřené konverze,

• vedení (manažerská vrstva) je ochotna přistoupit na jinou „kvantifikaci pravdy“ a řídit dle ní byznysové rozhodování,

• chcete experimentovat a vydržet u toho dlouhodobě.

 

TIP: Nevíte, co je to atribuční koeficient? Jedná se jednoduše o procentuální vyjádření výkonu daného zdroje revenue pro „nově analyzovaný atribuční model“ (např. Shapley) ve vztahu k aktuálně využívanému atribučnímu modelu (většinou last nonDirect click).

Pokud je tedy atribuční koeficient pro Shapleyho model pro vybraný kanál (např. Google Ads) 87 % znamená to, že je výsledné revenue zdroje Google Ads dle Shapleyho DDA modelu v absolutní hodnotě nižší o 13 %, než uvádí atribuční model „last nonDirect click“.

3. Jsou lepší „blackbox“ modely, nebo si to mám raději „napodmínkovat“ sám?

Z mých zkušeností se mi nejvíce osvědčilo nevěřit nikomu, kdo tvrdí, že je jedna věc lepší než druhá. Vždy záleží na úhlu pohledu (a definici časoprostoru :-)).

Jaký atribuční model je tedy nejlepší? Data-driven (Shapley/Markov), nebo nějaký „standardní“ model dle GA (last nonDirect click, weight, linear atd.)?

Zkusme se před odpovědí na problematiku atribuce a cíle jejího zavedení do praxe podívat z druhé strany: „Co je aktuálním high level business cílem vašeho projektu?“

• Růst objemu revenue za „jakoukoliv cenu“.

• Zlepšení ziskovosti (tedy lepší ekonomické fungování).

 

Co další specifika vašeho byznysu?

• Počet zdrojů, které na web vedou návštěvnost/kon­verze.

• Sezónnost a její frekvence.

• Konkurenčnost (aktuální/očekávaná v blízké budoucnosti).

• Plánované změny na úrovni produktu/služby.

• …

 Z filosofického pohledu tedy není možné jednoznačně odpovědět na otázku, jaký atribuční model je pro váš projekt „ten nejlepší“, bez experimentování a vzájemného porovnání jednotlivých modelů.

Klíč pro identifikaci vhodného atribučního modelu pro váš byznys je z mých zkušeností v těchto krocích:

1. Napočítání atribučních koeficientů pro vybrané modely

• Shapley

• Markov 1 a 2

• First click

• Linear

• Dle vlastních podmínek

• …
  
  

 2. Sledování atribučních koeficientů v čase

Časové okno definující konverzní cesty

Je důležité uvědomit si, že vypočtený atribuční koeficient se vždy vztahuje k určitému časovému oknu. Tedy např. výše uvedený atribuční koeficient 87 % pro Shapleyho (Google Ads) se vztahuje k námi definovanému konverznímu oknu (např. 6 týdnů).

Pro výpočet jakéhokoliv DDA modelu je nutné vytvořit „matici“ konverzních a nekonverzních cest, na základě které je následně počítán atribuční koeficient pro všechny touchpointy (zdroje, např. Google Ads) v těchto cestách.

Aby mohla být nějaká cesta označena za „nekonverzní“, musí někdy začít (např. 1. návštěva uživatele na webu) a také někdy skončit (rozmezí časového okna).

Bez časového okna by to prostě celé nemělo vůbec hlavu ani patu :-)

 

Sledování atribučních koeficientů v čase

Z výše uvedeného je zřejmé, že vypočtený Shapley atribuční koeficient 87 % (který říká, že si dle Shapleyho modelu vede Google Ads co do ziskovosti hůře než dle „last nonDirect click“ modelu) platí pro definované časové okno (např. 6 týdnů).

Best practice frekvence výpočtu atribučních koeficientů je týdenní. Je tedy jasné, že vypočtený Shapley atribuční koeficient 87 % pravděpodobně nebude každý týden stejný, ale bude oscilovat kolem nějaké „průměrné“ hodnoty (anebo bude nějaký týden „úplně mimo“).

 

Cílem sledování atribučních koeficientů v čase je tedy:

• Zjistit, jak vysoké odchylky v čase jsou pro jeden vybraný model dle týdnů na úrovni všech kanálů (zdrojů návštěvnosti).

• Zjistit atribuční koeficienty a odchylky pro více atribučních modelů a jejich porovnání mezi sebou.

 

Pokud získáme např. výsledek, který nám pro Google Ads řekne, že:

• Průměrný koeficient pro Shapleyho = 88 % v intervalu 82–93 %.

• Průměrný koeficient pro Markov 1 = 83 % v intervalu 79–85 %.

Dle výsledků výše „víme”, že dle dvou různých DDA „úhlů pohledu“ je výkon Google Ads oproti atribučnímu modelu „last nonDirect click“ horší.

 

Co s výsledkem dál? Provedeme experiment (s řízeným rizikem).

 

4. Experimenty a řízené riziko

Díky výše uvedenému výpočtu jsme získali informaci, že jsou Google Ads s největší pravděpodobností méně přínosné na celkovém počtu konverzí, který náš byznys generuje = Google Ads jsou v aktuálním nastavení přeinvestované.

Definice konkrétního experimentu záleží na struktuře kampaní a logických segmentů kampaní konkrétně ve vašem účtu Google Ads (změna smart bidding strategie, struktury účtu atd.).

Pokud v rámci jednoho Google Ads účtu máte více typů kampaní (paid search, PLA, display) a výše uvedený vypočtený atribuční Shapley koeficient 88 % platí pro celý Google Ads účet bez ohledu na typ kampaně, můžete s výpočtem začít znovu, protože porovnáváte jablka s hruškami :-)

Je klíčové rozdělit atribuční koeficienty jak dle zdrojů návštěvnosti (kanálů), tak případně i konkrétní zdroj návštěvnosti rozpadnout na více typů (tedy mít jasnou definici pro jmenné konvence veškeré vaší návštěvnosti).

 

V našem případě bychom tedy pro Google Ads účet potřebovali atribuční koeficienty pro:

• Google Ads paid search (atribuční koeficient dle Shapleyho 110 %).

• Google Ads PLA (atribuční koeficient dle Shapleyho 120 %).

• Google Ads display (atribuční koeficient dle Shapleyho 60 %).

 

Tip: Při vzájemném využití DDA atribučního koeficientu na omni-channel úrovni a zapnutého DDA modelu v Google Ads není nutné rozpadat atribuční koeficienty dle segmentů kampaní. Google Ads si případný experiment dle vašeho zadání již „odřídí” sám i na úrovni typů kampaní.

Díky rozdělení Google Ads účtu na segmenty dle typů kampaní jsme identifikovali skutečný (problém) Google Ads účtu, kterým je segment kampaní „display“.

Jak konkrétně definovat experiment v tomto modelovém případě? Osobně bych asi začal jednoduše a zvýšil ROAS na daném segmentu kampaní např. na dvojnásobek.

Řízené riziko

Jak lze v tomto případě řídit riziko (tedy reálnou ztrátu na revenue), které experiment již ze své podstaty obsahuje?

V prvním kroku musíme riziko kvantifikovat. V tomto případě bych si s tím opět nelámal příliš hlavu a „řekl”, že vzhledem ke dvojnásobnému ROAS je riziko ztráty na revenue 50 % z dlouhodobého trendu výše revenue dle „last nonDirect click“ atribučního modelu pro vybraný segment kampaní v Google Ads (v našem případě tedy segment „display“).

 

A jak riziko ztráty revenue řídit? Prostě zajdu za šéfem a řeknu mu:

 „Chci udělat experiment, jehož hypotéza je přeinvestovaná část Google Ads účtu, konkrétně segment kampaní „display“. Chci tedy na měsíc snížit investice do tohoto segmentu kampaní.

• V případě úspěšného experimentu (potvrzení hypotézy) je předpoklad zvýšení ziskovosti kampaní přes Google Ads (i celkově).

• Pokud je má hypotéza špatná, můžeme přijít za měsíc, po který experiment poběží, cca o 50 % revenue ze segmentu kampaní „display” z Google Ads.

• (přesná kvantifikace revenue v tomto případě dle last nonDirect click, většinou nemá smysl to více komplikovat :-))

Pokud váš šéf s experimentem nesouhlasí, vraťte se k bodu číslo 2 (Pokud máte pocit, že jste si vybrali nesprávné lidi, se kterými spolupracujete, napište mi, něco vymyslíme :-) ) 

 

5. Hodnota pro firmu

Zde jen krátce, co se mi za dobu, po kterou téma řízení investic řeším, podařilo odpozorovat z pohledu „business ownership“:

1. Pokud se vám celý proces skutečně podaří dotáhnout do konce, zlepšíte znalosti a uvažování nad investicemi celého vašeho týmu. Což má samo o sobě pro firmu obrovskou hodnotu. Prodejte to!

2. Obrovská hodnota projektu s sebou nese jedno velké ALE. Pokud je celý projekt závislý na vás nebo na jedné vybrané technologii (která zároveň není ta největší autorita na světě, jako je např. Google), je to z pohledu majitele firmy extrémně rizikové a investice do celého projektu (váš čas, čas vašich lidí, technologie, ztráta generovaná experimenty) může přijít vniveč.

3. Vždy tedy pracujte tak, abyste byli 100% nahraditelní (vy jako člověk i technologie, kterou využíváte). Je to fér. Chcete jít za pár let do důchodu, ale firma plánuje přežít generace :-).

 

6. Atribuce vyřešena, jdeme na CLV a ML, to je taky hustý

CLV (customer life-time value) a ML (machine learning) jsou jistě jak analyticky, tak byznysově velice zajímavá témata, která dává smysl převést do exekuce (CLV s největší pravděpodobností o dost dříve než DDA atribuci).

Důležité je však k práci a daným otázkám přistupovat tak, jak si žádají.

Výpočtem atribučních koeficientů exekutivní práce spojená s atribucí nekončí, ale naopak začíná. A vlastně „nikdy nekončí”.

Reálně může začít být řízení projektu přes jeden model (Shapley) neefektivní a např. po roce (nebo po změně high level business cíle z maximalizace škály revenue na profitabilitu) je vhodné začít experimentovat s přechodem na jiný atribuční model.

Nepřeskakujte tedy mezi tématy, která vás zajímají, ale tvořte věci koncepčně tak, aby byl výsledek hodnotný především pro lidi, se kterými pracujete.

 

7. Tipy na závěr

• Experimentujte.

• Netvrďte někomu, že je něco nesmysl jen proto, že si sami nevíte rady s řešením.

• Vybírejte si lidi, se kterými pracujete.

• „Svět“ nespasíte sami, více lidí se stejným cílem má vyšší šanci na úspěch.

• Ujistěte se, že možnému přínosu zavedení atribuce do praxe, ale také strastem, které téma atribuce mohou provázet, váš tým i vedení rozumí.

• Váš šéf má chuť experimentovat, když ví, co je v sázce, a nebojí se občas prohrát.

• Úspěšný experiment může být pouze ten, který se realizuje (ne ten s nejpřesnější kvantifikací rizika).

• Nebojte se toho! Za nepodařený experiment vám nikdo hlavu neutrhne (za prokrastinaci ale možná nakope zadek :-).

 

TIP: Chcete získat neomezený přístup do beta verze nástroje pro výpočet DDA atribučního modelu a poznat všechna úskalí atribučního modelování na praktických příkladech?    Pokud ano, doporučujeme navštívit Attribution-academy.cz Milana Merglevského a Marka Kobulského, která jako pilotní projekt vznikla pod záštitou H1.cz.

8. Poděkování za inspiraci a sdílení know-how

• Marek Kobulský

• Martin Průša

• Jan Hornych

• Jan Tichý

• Pavel Šíma

 

9. Další zdroje pro studium

Google Partners Attribution Academy 2018

1. Díl

2. Díl

3. Díl

• Prezentace z Google Attribution Academy ke stažení zde.

   

Video z Poslední středy na téma „kvantifikace inkrementality”