页面自动生成机制的流程

　　页面自动生成机制的流程

　　关键词导入模块

　　从各种渠道拉出一批行业词根

　　围绕这些词根去挖词

　　挖出的词，过滤掉涉嫌违禁、擦边、敏感、自定义黑名单、重复的词

　　因为各种扩词渠道，扩出的词可能与所属词根，完全不相关。所以需要计算一下扩展词与对应词根的字符串相似度，相似度高的，则为同一类词。

　　好比 “奥迪二手车价格” 的扩展词有 “5万以内二手车

　　” 和 “奔腾二手车价格”;

　　“奥迪二手车价格”与“奔腾二手车”的相似值为：0.71875

　　“奥迪二手车价格”与“5万以内二手车”的相似值为：0.3750

　　相似值>=0.45的为同类词，则“奥迪二手车价格”与“奔腾二手车”是相关的，“奥迪二手车价格”与“5万以内二手车”是不相关的。

　　相关且有搜索量的词，，进入该行业频道的词表，生成的页面给予最大的资源支持;相关但无搜索量的，给予较小的资源支持;不相关但有搜索量的，进入初始搜索词表，该词不归属于任何一个行业;不相关还没搜索量的，直接删除。

　　初始搜索词表中的词，依次通过相似度计算出与该词最相关的N个搜索词，作为“相关保举”板块的链接调用的逻辑。

　　内容获取模块

　　针对行业频道词表的词，依次抓取每个关键词的相关信息，信息来源如抓取各类搜索引擎搜索结果的正文、各类门户搜索结果的正文等等

　　过滤掉涉嫌违禁、擦边、敏感、自定义黑名单、重复的内容

　　剩余内容写入内容数据表

　　页面生成模块

　　差别类型站点，页面自动生成机制的模型差别，本渣渣用过仅是“纯信息展示”类的站点。

　　如果网站是一个多边产品，那在模型的设计上需要考虑更多的因素，好比涉及B端和C端的平台产品，页面的设计上还需要考虑对B端流量分发均衡的情况等。