El método Lean Startup

Sin embargo, como Grockit usaba un tipo de indicadores equivocado, la startup no estaba mejorando. Farbood
se sentía frustrado con sus esfuerzos para obtener el feedback de los consumidores. En cada ciclo, el tipo de
indicador en que se centraba su equipo cambiaba: un mes miraban los números generales de uso, otro mes el
número de registros, etc. Estos indicadores aumentaban y disminuían y parecían hacerlo aleatoriamente. No
podían realizar inferencias sobre las relaciones causaefecto. Priorizar correctamente las tareas en este tipo de
contexto es muy difícil.
Farbood podría haber pedido a su analista de datos que investigara una cuestión particular. Por ejemplo,
cuando se lanzó la característica X, ¿afectó al comportamiento del consumidor? Pero esto habría requerido una
enorme cantidad de tiempo y esfuerzo. ¿Cuándo, exactamente, se lanzó la característica X? ¿Qué
consumidores se vieron expuestos a ella? ¿Hubo algo más que se lanzara en el mismo momento? ¿Hubo
factores estacionales que pudieran sesgar los datos? Encontrar estas respuestas habría requerido páginas y
páginas de análisis y datos. La respuesta suele aparecer semanas después de formular la pregunta. Mientras, el
equipo podría haberse reorientado hacia nuevas prioridades y nuevas cuestiones que requirieran atención
urgente.
En comparación con muchas startups, el equipo de Grockit tenía una gran ventaja: eran increíblemente
disciplinados. Un equipo disciplinado puede aplicar una metodología errónea, pero puede cambiar de rumbo
rápidamente cuando descubre su error. Y lo más importante, un equipo disciplinado puede experimentar con
un estilo de trabajo propio y extraer conclusiones importantes.
COHORTES Y SPLIT-TESTS
Grockit cambió de dos formas los indicadores que usaba para evaluar el éxito. En lugar de tener en cuenta los
indicadores generales, Grockit se pasó a los indicadores basados en cohortes y, en lugar de buscar efectos de
causa-efecto a posteriori, Grockit lanzó cada nuevo elemento como un verdadero experimento split-test.
Un experimento split-test es en el que se ofrecen diferentes versiones de un producto al mismo tiempo.
Observando los cambios en el comportamiento de los consumidores entre los dos grupos, se pueden hacer
inferencias sobre el impacto de las diferentes variaciones. La publicidad directa por correo fue pionera en esta
técnica. Por ejemplo, considere una empresa que manda un catálogo a sus consumidores con los productos
que pueden comprar, como por ejemplo Lands’ End o Crate & Barrel. Si quiere probar un diseño de catálogo,
puede mandar la nueva versión al 50 % de los consumidores y mandar el viejo catálogo al otro 50 %. Para
asegurarse de que va a obtener un resultado científico, ambos catálogos deberían contener productos
idénticos; la única diferencia sería el cambio en el diseño. Para descubrir si el nuevo diseño es efectivo, todo lo
que debería hacer es seguir las cifras de ventas para cada grupo de consumidores. (Esta técnica a veces se
llama A/B testing debido a las letras que se suelen asignar a cada variación.) A pesar de que el split-testing suele
considerarse una práctica específica de marketing (o incluso de marketing directo), el método Lean Startup lo
incorpora directamente al desarrollo de productos.
Estos cambios produjeron un efecto inmediato en la comprensión del negocio por parte de Farbood. El splittesting
a menudo revela cosas sorprendentes. Por ejemplo, muchas características que hacen que el producto
sea mejor a los ojos de ingenieros y diseñadores no tienen impacto alguno en el comportamiento de los
consumidores. Éste era el caso de Grockit, igual que lo ha sido en todas las empresas en que yo he visto aplicar
esta técnica. A pesar de que trabajar con split-test parece más difícil —puesto que requiere una contabilidad y
unos indicadores extras para registrar el comportamiento de cada variación—, también ahorra una gran
cantidad de tiempo a largo plazo, ya que elimina trabajo que no es relevante para los consumidores.