Contexto
A Gameram é um app social em que gamers encontram pessoas para jogar, disponível nas Américas. O feed é onde essas conexões começam.
O time de Machine Learning tinha desenvolvido quatro versões novas do algoritmo de recomendação. Métricas técnicas ajudam a comparar modelos, mas não dizem se o resultado faz sentido para quem está do outro lado da tela.
Pergunta de pesquisa: o que torna um feed “bom” para quem usa a Gameram, e qual dos quatro algoritmos chega mais perto disso?
Abordagem
Antes de comparar os algoritmos, era preciso ter uma régua. Por isso o estudo começou definindo critérios a partir das pessoas, e só depois passou à avaliação.
Resultado
O time de ML passou a ter critérios definidos pelos próprios usuários para comparar as versões do feed, além das métricas técnicas. Os resultados foram apresentados em relatórios orientados à decisão para o CPO e o time de ciência de dados.
Alguns detalhes foram omitidos por confidencialidade.