策略产品经理 | 如何做好效果评估

对产品经理来说，尤其是大公司里的策略产品经理，每一次的策略改进都需要拿出实实在在的证据来说明新策略的效果。有时候，新策略有好的效果，这当然是我们希望看到的，但有时候也会失手。但是无论数据是否好看，你都需要拿出准确可信的数据来说明策略的效果，并根据评估效果做出最终决策，效果优则使用，效果劣则改进。而能让你做出靠谱决策的基础，就是靠谱的效果评估。

一个靠谱的效果评估，首先要有明确和合理的评估标准，为了给后续评估相关的工作提供指导，这个标准甚至是在设计策略之前都已经确定了的。评估标准规定的是我们用哪些维度的数据来体现策略的效果，如果说策略的优化是不断的朝着一个方向前进，那么评估标准就是指引前进方向的路标。正是因为评估标准的路标属性，所以明确、合理是对评估标准的基本要求。明确是指方向是唯一的，或者有时候是主要方向是唯一的，这个方向，一般也是和策略改进的方向一致的。比如策略产品常见的策略优化目标点击率、使用率、转化率等等。合理是指评估的数据维度是和策略产品目标高度相关的，如果你的策略优化的是列表的展示顺序，那你就不能把列表召回的内容质量作为评估标准。

评估标准确定之后，后续就是贯穿产品策略上线前后的评估过程，主要包括效果预估、离线评估、线上评估三步。

效果预估是产品经理根据项目的性质，借鉴已有的一些数据，在项目还没有启动之前做的对策略效果的一个大致评估。比如，我们需要对用户搜索A类关键词无结果的情况做优化，这种词的搜索比例是10%，而与A类词相似的B类词的搜索结果到支付的转化率是8%，那么策略上线之后影响范围是10%的搜索次数，再预估A类词搜索结果到支付的转化率也是8%，那么理论上，策略上线之后能够提高10%*8%的转化率。

从性质我们就可以知道，这种预估是不可能完全准确的，但是，无法准确绝对不是不去做效果预估的借口。效果预估的值是一个策略效果的基准线，它能够为策略完成上线之后的效果提供一个对比标准，以直观的说明新策略是否有效，或者更功利的去说，效果预估往往是项目立项的数据支持，甚至会成为你的KPI。

离线评估是策略上线的最后一道检验程序，离线评估效果的好坏决定了策略是否有上线策略测试的机会。

离线评估有两种方式，一种是最原始的人肉检查，一种是机器评估。

人肉检查好理解，这就是凭人眼对策略生效场景一个个（Case By Case）的去验证。以前面说过的搜索策略优化的为例，我们拿A类词去搜索服务上测试，看新的策略下A类词的搜索结果是否符合我们的预期（判断如何算达到预期需要一套合理的评估工具，暂且不表），达到预期才算离线评估通过，否则就需要继续优化。

机器评估的工作原理其实人肉检查一样，只是在某些情况下，机器评估能够覆盖更多的场景，更能从全局场景下来说明效果好坏。

离线评估通过之后，策略就可以上线测试了。为什么一定要进行线上测试呢？如果离线评估确认策略有效，是不是就可以不经过线上测试呢？不行！因为不论你考虑的有多么全面，不论产品和工程师能力有多么强经验有多么足，你也不可能完完全全考虑真实环境的方方面面，总会有你遗漏的地方，所以只有在真实环境下测试有效的策略，才是真正有效的策略，应该说线上测试是检验策略的唯一标准。

效果评估除了验证策略效果优劣之外，还能给深入的策略效果分析、后续改进提供数据支持，甚至能够在新策略线上效果的数据中挖掘出新的有价值数据。

评估内容

前面已经提到，效果评估一般有效果预估、离线评估和线上测试三步，这三个评估从需求最开始启动开始，一直到需求正式上线前结束，就像是流水线上的一系列检验程序，保证最终呈现给用户的是最好的策略。由于这三个评估处于产品设计的不同阶段，作用和目的也不尽相同，因而评估方式和评估维度也存在着或大或小的差异。狼蚁网站SEO优化将对这三种评估做细致的介绍和分析。

1、效果预估

效果预估最主要的作用是评估一个需求的价值，它往往构成需求文档的前半部分，它需要说明某个需求在完成之后预计能解决多少问题，带来多少收益。或许你已经发现了，往实际了说，我们需要用效果预估来说服你的Leader以及合作伙伴，给自己的产品争取足够的资源和支持，如果你恰好是在一个产品经理不那么强势或者资源紧张的公司，其重要性不言而喻。除了这些比较实际的原因，效果预估能够让你对你将要做的事情心里有数，而这个数，会是需求进行中许多重要决策的基础，比如根据需求各细节部分重要程度调整需求开发顺序，设定需求进展里程碑，砍掉部分不重要的需求等等。

效果预估很重要，那么如何才能做好需求预估呢？四字总结：合理类比。在需求正式上线前，需求的效果确实是很难确定的，或许你能掌握一些数据，比如旧策略对多少比例的情境无效，或者旧策略坏的程度如何（根据评估标准来确定），但是新策略能多大程度解决问题，只有先知才能知道。这种情况下，摆在我们面前的能够采用的预估方式也就是拍脑袋和类比，在某些经验丰富的PM哪里，拍脑袋其实是已经在脑子里进行了类比，但是如果你希望你的需求能够顺利推进的话，我们依然谨慎使用这种方式（虽然几乎每个人都会或多或少的拍脑袋），拍脑袋的东西实在太没有说服力了，你不想在Leader和合作伙伴那里留下不靠谱的印象吧？类比是通过和新策略相似的策略在使用情境也相似的情况下的表现，来类比新策略的表现。相似策略在相似情境下的表现数据，一般可以从两种途径获得。一个是自家产品的其他类似策略的效果，比如你要在自家产品上开辟一个新的推荐位置，那么你大概能找到一个类似的位置推荐策略的表现数据，这个数据，就可以用来预估新策略的效果。除了在自家产品上找，你还可以通过某种方式来“窃取”竞对相似策略的效果数据。这个数据的获取看起来很难，但是请相信互联网上啥都有；如果互联网上没有，你身边总有从竞对来的同事吧（这个是最有效的）；如果这些条件你都没有，建议你去了解一下社会工程学（好像进入灰色地带了）。

现在你手里已经有了足够的类比数据，这表示你已经有了足够的资本去说服（忽悠）Leader和合作伙伴了。不过最后还是要提醒一下，由于一些你未知的原因，策略上线之后的效果很可能和你的预估存在差异。

2、离线评估