119개를 동시에 돌리면 무엇이 다른가

평균값을 보고 portfolio 를 운영하면 portfolio 가 망가집니다.

이 문장을 거칠게 박아두고 글을 시작합니다. 119 개를 동시에 돌리는 운영 방식의 핵심 특성을 한 문장으로 적으라면 이렇게 적게 됩니다. 5 개나 10 개를 돌리는 운영과 119 개를 돌리는 운영은 같은 종류의 일이 아닙니다. 다른 도구이고, 다른 사고 방식이 필요합니다.

5 개를 돌릴 때는 각 사이트의 상태를 머리에 다 담을 수 있습니다. 매주 5 개를 다 확인하고, 평균이 떨어지면 어느 사이트가 떨어뜨렸는지가 즉시 보입니다. 평균에 자기가 끌려가지 않을 수 있는 단계입니다.

119 개에서는 다릅니다.

매주 119 개를 다 확인하는 게 가능하지 않습니다. 한 사이트에 1 분만 써도 두 시간이 사라지는데, 1 분으로 트래픽 모양을 정확히 읽는 건 어렵습니다. 그래서 평균값을 먼저 봅니다. 이게 함정입니다. 평균이 같아 보여도 그 안쪽에서는 양 끝이 동시에 움직이고 있습니다.

지난주의 예를 적어두면 이렇습니다.

portfolio 전체 세션은 지난주와 거의 같았습니다. 0.3% 정도 줄었고, 그 정도는 매주 들쭉날쭉하는 범위입니다. 평균만 보면 변화가 없는 주였습니다. 그 안쪽을 사이트별로 갈라보니, 5 개의 사이트가 합쳐서 세션의 30% 이상을 끌어올렸고, 동시에 다른 8 개의 사이트가 세션의 35% 가까이를 떨어뜨리고 있었습니다. 양쪽이 거의 상쇄되어서 평균이 평평해 보였던 것뿐입니다.

이 상쇄가 portfolio 운영의 가장 어려운 부분입니다.

5 개를 돌릴 때는 한 사이트가 큰 폭으로 떨어지면 평균에 그 폭이 그대로 찍힙니다. 5 개의 평균이니까 한 사이트의 -50% 가 전체 -10% 로 보입니다. 119 개에서는 같은 -50% 가 전체 -0.4% 로 흡수됩니다. 같은 사건이 평균에 다른 모양으로 찍히고, 그래서 같은 사건에 대응하는 시점이 늦어집니다.

평균에 끌려가지 않으려면 분포의 양 끝을 매주 따로 봐야 합니다.

이 작업은 자동화하지 않으면 매주 못 합니다. 119 개를 손으로 정렬해서 위 10 개·아래 10 개를 따로 본다는 건 한 시간 짜리 작업이고, 1 인 운영에서 무겁습니다. 그래서 스크립트를 박아두고, 매주 월요일 아침에 위 10 개·아래 10 개·viral spike·dead site 의 네 묶음을 자동으로 받습니다. 평균값은 그 다음에 봅니다.

여기까지 적고 한 번 비춰봅니다.

이 흐름이 옳다고 적으면, 그러면 왜 119 개를 굳이 돌리느냐 라는 질문이 따라옵니다. 사이트 수를 30 개로 줄이고 평균값만으로 운영하는 게 단순하지 않으냐. 이 반박이 부분적으로 맞습니다. 30 개라면 매주 다 들여다볼 수 있고, 평균만 봐도 충분히 정확합니다. 119 개의 운영은 작은 가설 100 개를 동시에 살려두기 위한 비용이고, 평균을 못 믿게 되는 비용을 감수해야 그 100 개가 동시에 굴러갑니다.

다른 방향에서 한 번 더 비춰봅니다.

분포의 양 끝을 보는 운영이 정착하면 부작용이 따라옵니다. 어떤 사이트가 한 주에 30% 떨어졌다는 신호에 즉시 손을 대게 됩니다. 그 30% 가 한 주 변동성 안에 있을 수도 있는데, 분포 끝의 변화를 매주 보다 보니 그 변화에 비중을 더 두게 됩니다. 평균에 끌려가지 않으려다 끝값에 끌려가는 새로운 함정이 생깁니다.

그래서 한 가지를 정해두기로 했습니다. 분포의 양 끝을 보되, 한 주의 변화로 손을 대지 않습니다. 같은 사이트가 두 주 연속으로 끝값에 잡혀 있으면 그때 살펴봅니다. 한 주는 노이즈가 끼어 있을 수 있고, 두 주 연속은 패턴이 자라기 시작했다는 신호입니다.

이 글의 거친 문장도 한 번 되짚어봅니다. 119 개와 5 개가 다른 종류의 일이라는 명제는 지금 시점의 명제이고, 사이트 수가 늘거나 줄면 같은 명제가 다른 모양이 될 수 있습니다. 300 개로 가면 양 끝을 보는 운영조차 부족할 수 있고, 50 개로 줄이면 평균만으로도 충분할 수 있습니다. 119 부근에서만 유효한 정리입니다.

다만 한 가지는 되짚어봐도 변하지 않습니다. 평균값이 portfolio 의 상태를 정확히 표시한다고 가정하는 한, 분포의 양 끝에서 일어나는 사건들은 매주 시야 밖으로 사라집니다. 그 사건들이 portfolio 의 다음 6 개월을 결정합니다.