Zdumiewa, ale nie zaskakuje mnie przywiązanie do wskaźników. Zdumiewa ze względu na ignorancję oczywistej prawdy, że wskaźniki pokazują fragmentaryczny obraz eksponując jedne fakty kosztem innych a nie zaskakuje, bo znane jest zjawisko przywiązania do pozornego konkretu, nawet jeśli nie jest pewny.
Nie mam nic przeciwko analizie wskaźnikowej. Znam nawet jej doskonałe przykłady, które doprowadziły do identyfikacji nowych insightów konsumenckich i rynkowych. Ale częściej spotykam się z formułowaniem daleko idących wniosków na podstawie dostępnych wskaźników, które nie pokazują ani pełnego, ani wiarygodnego obrazu zjawiska.
Do napisania tego postu zainspirowało mnie tzw. studio po meczu piłkarskich mistrzostw świata. Wykorzystam więc to, co tam zobaczyłem i usłyszałem jako metaforę szerszego trendu.
Zaskoczyło mnie to, że w niemal każdym statystycznym podsumowaniu meczu kluczowym wskaźnikiem jest czas posiadania piłki przez daną drużynę. Wskaźnik ten był wiodącym kluczem do wydawania ocen bez względu na to, jaką dana drużyna realizowała taktykę. Przecież czas posiadania piłki jest kluczowy tylko wtedy, gdy drużyna stara się nie stracić bramki (bo np. prowadzi), prowokuje przeciwnika do dalszego wyjścia z własnej połowy boiska albo celowo dąży do remisu. Są jednak takie rodzaje taktyki meczowej, gdy ten wskaźnik nie tylko nie jest istotny, ale wręcz wprowadza w błąd. Gdy jedna z drużyn nie ma złudzeń co do swojej względnej siły i raczej się broni przed atakami przeciwnika, albo gdy prowadzi grę opartą na szybkiej kontrze, wtedy jej czas utrzymywania się przy piłce będzie niski, co jednak nie będzie oznaczało, że źle realizuje ona zamierzenia taktyczne. Wręcz przeciwnie.
Z taką samą sytuacją mamy do czynienia w marketingu wtedy, gdy analizuje się stały zbiór wskaźników, które są niedostosowane do realizowanej strategii lub taktyki.
Innym ważnym wskaźnikiem jest liczba fauli, która w zdecydowanej większości interpretacji komentatorów wskazywała poziom zaangażowania danej drużyny. A czy czasem nie wskazuje przede wszystkim poziomu brutalności, który często wynika z poczucia bezsilności? Może to właśnie drużyna lepiej zorganizowana i sprawniej prowadząca grę nie ma powodów, aby sięgać po faule, bo z powodzeniem obchodzi się bez nich? Może niektórzy po prostu grają w piłkę nożną a nie uprawiają sztuki walki?
W marketingu analogiczna sytuacja ma miejsce wtedy, gdy trzymamy się uporczywie jednej, czasami błędnej interpretacji wskaźnika, np. nie zauważamy, że traktujemy NPS jako wskaźnik poziomu rekomendacji a nie poziomu deklaracji hipotetycznej rekomendacji.
Czasami słyszałem komentarze na temat liczby rzutów rożnych, która jest rzekomo wyrazem jakości gry ofensywnej drużyny. A może jest raczej odwrotnie i wskaźnik ten świadczy o jakości gry obronnej drużyny przeciwnej? Przecież mecz wygrywa się liczbą bramek a nie liczbą rzutów rożnych. Najlepszym pomiarem jakości gry ofensywnej byłby zbiór wskaźników złożony z liczby zdobytych bramek, liczby strzałów (w tym strzałów na bramkę) i być może wtedy ten zestaw warto uzupełnić o liczbę rzutów rożnych.
W marketingu też często praktykowana jest analiza wskaźników a nie analiza wskaźnikowa. Bywa, że zupełnie abstrahuje się od wzajemnej współzależności i niezależności wskaźników i po prostu patrzy się na kilka wybranych. Dobra analiza wskaźnikowa to analiza trafnie dobranego do danej sytuacji zestawu wskaźników.
Zabawne wydały mi się uwagi na temat liczby przebiegniętych przez zawodnika kilometrów. Każdy komentarz, jaki słyszałem był oparty na założeniu, że im więcej tych kilometrów tym lepiej. U bramkarza też? Gdy drużyna ciągle kontrataktuje jak szalona, to tych kilometrów faktycznie będzie dużo. Ale gdy prowadzi spokojną grę opartą na stabilności poszczególnych formacji, to przecież liczba wybieganych kilometrów nie jest żadnym wyznacznikiem jakości gry. Trochę to przypomina założenie, że najważniejsze jest to, żeby się naharować niezależnie od celu. A celem jest przecież zdobycie przynajmniej o jedną bramkę więcej niż przeciwnik a nie wybieganie większej liczby kilometrów. Ba, wybiegana większa liczba kilometrów może mieć fatalne skutki dla kolejnego meczu, co w przypadku turnieju ma spore znaczenie.
W marketingu też bywa, że analizuje się coś tu i teraz bez żadnego odniesienia do przyszłości. Byłem kiedyś świadkiem obsesji na punkcie maksymalizacji wskaźników dystrybucji a w niedługim czasie podejmowana była decyzja o zmianie systemu dystrybucyjnego na bardziej selektywny.
Wskaźniki pokazują tylko to, co pokazują, ale nie mówią o tym, jakie to ma znaczenie ani czy pasują do realizowanej strategii. Od tego jest krytyczne myślenie analityka.