更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
近日,在火山引擎数智平台在北京举办的“超话数据:企业产品优化分享”的活动上,抖音策略产品经理分享了抖音产品提升用户生命周期的难点及解决办法。
他提到,抖音产品优化涉及到性能、交互、内容和业务等多方面因素,其优化难点主要受用户规模与活跃度影响。抖音目前DAU超6亿,在如此庞大的用户基数下,抖音的优化难点可以概括到三点:
-
用户规模大,基线高,策略不能一刀切。
-
优化空间在于少数人群,而非大盘。
-
同一个策略、交互,数亿用户的反馈不同。
产品优化的传统方法是通过对整体指标进行优化,来综合提升大盘的用户体验。但面对抖音庞大的用户基数,在实践中对大盘用户有用的方法,对于部分人群来说效果并不达预期。综合难点可以分析获知,抖音团队进行产品优化可以分为明确优化性能及其业务表现、明确优化人群、明确产品优化空间、明确实验核心指标及原则,四个步骤进行。
明确优化性能及其业务表现
不同的用户在使用抖音时的体验不同,会对产品产生不同的负向反馈。如果没有及时解决问题优化用户体验,就可能会使用户对抖音产品的价值感走低。传统的产品优化方法是根据大盘指标进行优化,但实际上对大盘有效的优化对于部分用户不一定有效。因此抖音团队在对抖音进行优化时需要针对部分人群进行优化。而在定位优化人群前,需要先确定优化方向,确认产品性能指标和业务指标具有相关性。
在上述情况下,抖音团队可以用逆向思维倒推,通过已经获得正向收益的AB实验推测哪些性能指标变化会对业务指标造成影响。以针对抖音性能维度的优化为例,抖音团队对产品性能指标和业务指标做了线性相关分析,发现了性能指标和业务指标具有相关性。
打开抖音时的客观耗时为例。一些性能较差的设备启动抖音的耗时可能比预期更长,基于客观的数据,抖音团队做了大量的
A/B
测试和对应实验,使用线性回归的方法,找到性能指标和业务指标的相关性。
打开抖音时的客观耗时为例。一些性能较差的设备启动抖音的耗时可能比预期更长,基于客观的数据,抖音团队做了大量的
A/B
测试和对应实验,使用线性回归的方法,找到性能指标和业务指标的相关性。
据此可以得出对应的结论:在一定条件下,性能指标的提升对业务指标有影响,如打开抖音的速度如果提升1%,用户的生命周期也会获得提升
,
且性能指标的提升受一定社会阈值的影响。因此在实验中,性能指标提升没有达到阈值的话,并不一定是策略错误,也可能是幅度不够高。此外,针对特定的人群,更优策略可能并不是降低启动耗时,对设备性能较好的用户来说,进行整体业务的加载优化反而能让用户有更好抖音体验。
,
且性能指标的提升受一定社会阈值的影响。因此在实验中,性能指标提升没有达到阈值的话,并不一定是策略错误,也可能是幅度不够高。此外,针对特定的人群,更优策略可能并不是降低启动耗时,对设备性能较好的用户来说,进行整体业务的加载优化反而能让用户有更好抖音体验。
在提出假设后需要对其进行验证,对此团队可以选择进行劣化或反转实验。以存储指标为例,抖音团队通过分析推测认为存储空间对主要业务指标及卸载水平有影响,为了验证假设,团队通过
A/B
测试平台做了劣化实验。实验发现,在少于5G时,使用性能配置较低设备的用户对存储的劣化更敏感,会通过卸载释放存储空间。其他相关指标也同理可以验证。
A/B
测试平台做了劣化实验。实验发现,在少于5G时,使用性能配置较低设备的用户对存储的劣化更敏感,会通过卸载释放存储空间。其他相关指标也同理可以验证。
明确优化人群
在明确了性能表现和业务变现的相关性后,抖音团队需要明确在此方面需要优化的人群。这就涉及到了
DataFinder
画像分析。
DataFinder
画像分析。
抖音团队预期找到性能配置较低设备用户增长空间,并基于D/M的机型分数拐点分为两个维度。用户在拐点下的活跃度和意愿显著低于拐点之上。在此基础上,抖音团队对人群进行分析,从数据上进行探索。通过分析进一步挖掘收益空间,发现使用性能配置较低设备的用户和活跃度有非常明确的关联。综合上述,抖音团队
确定了在拐点之下优化的人群。
确定了在拐点之下优化的人群。
明确产品优化空间
结合性能指标和业务指标的相关性以及人群活跃度和设备性能拐点,可以明确针对此类人群的产品优化空间。从数据相关性分析可以得知,性能对用户使用体验影响非常大。优化性能指标可以提升整体消费体验,整体性能指标的提升也会提升整体的消费体验。因此从数据相关性分析可以得出结论,提升整体性能指标能够提升抖音生命周期。而面对使用性能较低设备的群体,抖音团队期望借此提升他们的APP使用体验。
明确实验核心指标及原则
在提升用户生命周期的优化
实践中,抖音团队在进行
A/B
测试时特别明确了核心指标和两个原则。
实践中,抖音团队在进行
A/B
测试时特别明确了核心指标和两个原则。
首先要确定产品优化的核心指标。在定位到服务用户后
,抖音团队明确了首刷耗时以及播放加载时的卡顿情况两项核心指标。并针对二者针对性进行优化。
,抖音团队明确了首刷耗时以及播放加载时的卡顿情况两项核心指标。并针对二者针对性进行优化。
将客观指标定义清楚后,为了优化性能表现需要裁减产品部分功能。针对此,抖音团队制定了两个原则:一是选择对核心指标贡献大,且业务渗低的功能进行降级,降级手段不影响内流消费
;二是进行功能降级后不会造成用户侧明确功能缺陷。
;二是进行功能降级后不会造成用户侧明确功能缺陷。
基于以上核心数据和核心原则,抖音团队制定了
A/B
实验的方案,并通过
A/B
实验确定了产品优化方案,帮助抖音实现了用户生命周期的提升。
A/B
实验的方案,并通过
A/B
实验确定了产品优化方案,帮助抖音实现了用户生命周期的提升。
此次分享以抖音APP提升用户生命周期为案例,详细介绍了抖音团队应用火山引擎进行产品优化方面的经验,为企业产品优化和数据驱动增长提供了有益的思路和经验。通过应用A/B测试和数据驱动的方法论,企业可以更加科学地实现产品优化和业务增长。同时,火山引擎DataTester作为一款可靠灵活的A/B实验平台也将为企业节约成本并提高效率。
点击跳转
火山引擎A/B测试了解更多
火山引擎A/B测试了解更多