1.如何衡量ABtest的效益?我回答用ROI指标,然后追问在他的具体场景下P是什么,I是什么,在ABtest下进行的ROI计算应该是(B 收益- A收益)/(B投入 – A投入) *100%,但因为我不是很理解A投入部分所以没回答上来啊。在发布视频的按钮中进行ABtest,,将原本在显眼位置的动态发布按钮挪到比较不起眼的位置之后,数据显示人均点击率上升了,问实验有没有问题?如果有问题,那么问题在哪? 多年的直觉告诉我这肯定有问题的,但是我找不出问题在哪,我开始怀疑是ABtest的假设出现了问题,但被面试官否定了。那么问题出在哪呢?最后我只能作罢。面试官解释了一下这题目确实有难度,社招面试的难度都不为过。随即解释了一下,人均自然要考虑到分子分母的问题,在将按钮位置变化之后带来的是用户数量的变化,非动态发布爱好者可能根本不发布视频了,而资深视频发布爱好者(所谓粘性用户)自然点击次数多,这样分母减少肯定大于分子的减少,啊,完全没想到这一层。...查看更多