头条搜索UA介绍

头条搜索的爬虫UA为“Bytespider”首写字母为大写。

例如：

例如：Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 
(KHTML,like Gecko)Chrome/41.0.6633.1032 Mobile Safari/537.36;Bytespider;bytespider@bytedance.com

头条搜索ip字段介绍

头条搜索的ip字段总共涉及6个，具体字段如下：

110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24

基本流程

1.抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（Spider）。爬虫顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

2.处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

3.提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。
 

【2】如何进行网站验证

1.提交网站并验证网站归属后即可使用站长工具。

2.建议您验证所有需要进行分析的子域名，以便更充分地使用站长工具。

验证方法

一、文件验证

1、下载验证文件

2、添加到进行验证的网站域名（如：www.toutiao.com）根目录下。

3、验证成功后的站点，请不要删除删除HTML文件。

二、验证校验

添加完成后可以点击这里进行验证是否添加成功，如果添加成功能够正常打开，不能打开需要重新确定。

三、观察状态

1、验证通过

验证成功的站点会在后台正常展示

2、验证失败

若网站验证失败，请检查是否为以下原因：

• 未正确配置验证文件；

• 爬虫无法访问网站，请确认网站状态已经是否封禁爬虫。

• 已有相同域名的网站通过验证。

 

【3】如何查询收录索引量

• 使用头条流量&展示量查询功能，可以准确的获得站点近一个月内每天从头条搜索获得的流量数据，数据每天更新。

• 对新注册的站点搜索流量展示会存在延时情况，后台会提供近期有数的点击和展示数据

效果图展示

• 近一个周的m.toutiao.com的流量和展示量

• 新注册的站长数据在提取上会存在延时，可以根据时间进行筛选

• • 最近有数：优先给出最近流量展示，了解情况

• • 注册后第二天能够查看更多站点流量信息

 

【6】如何提交sitemap

1.提交sitemap工具可以向头条搜索提交网站的sitemap文件，帮助头条spider更好的抓取您的网站。您可以在此工具下选择已经验证的站点，进行验证站点的sitemap文件提交。

2.sitemap提交后，头条搜索会根据sitemap了解网站中数据情况。

sitemap要求

1.sitemapindex文件要求

sitemapindex文件根节点必须是<sitemapindex>。
sitemapindex文件编码必须为UTF-8，第一行为: <?xml version="1.0" encoding="utf-8" ?>。
sitemapindex文件禁止使用命名空间，禁止使用规定之外的属性。
sitemapindex文件大小不得超过5M，sitemap节点数量不超过5W。
必须保证sitemap中所有URL可访问，且内容符合XML数据文件规范。

2.XML数据文件规范

数据XML文件的根节点必须为<DOCUMENT>。
数据XML文件编码必须为UTF-8，第一行为: <?xml version="1.0" encoding="utf-8" ?>
数据XML文件禁止使用命名空间，禁止使用规定之外的属性。
数据XML单个文件大小不得超过10M(必须满足)，item数目不得超过1W。
item节点中<key>、<display>节点为必需节点。
除根节点之外的其它节点，标签名建议采用英文小写字母及下划线‘_’。
数据节点中包含转义字符，请使用CDATA。
对于数组型的节点，请在只有一个子节点时保证和多个节点时的结构相同。

注意事项

1.提交的sitemap有作弊嫌疑的url，头条将进行严厉的处罚措施并取消相关权限

2.头条spider有自身的爬取规则，sitemap只是帮助头条spider更好的收录您的网站，提交sitemap并不会决定网站收录或者排名。

工具使用方法

1.sitemap索引格式

<?xml version="1.0" encoding="utf-8" ?>

<sitemapindex>

 <sitemap>

 <loc>数据xml地址1</loc>

 <lastmod>对应的最后修改时间</lastmod>

 </sitemap>

 <sitemap>

 <loc>数据xml地址2</loc>

 <lastmod>对应的最后修改时间</lastmod>

 </sitemap>

</sitemapindex>

2.xml格式

<!-- xml 编码必须是utf-8 -->
<DOCUMENT>
<!-- 需要大写，标记整个xml文件的开始和结束 -->
<item>
<display>
<url>
<![CDATA[http://toutiao.com/goods/1.htm?fromurl=JRTTSoyp&detail=detail]]>
</url>
<!-- url为标题点击的目标地址 -->
</display>
</item>

3.提交sitemap

完成sitemap制作后可以使用sitemap提交工具进行提交

（1）提交成功

等待：代表您的sitemap文件已经解析完毕，等待抓取

正常：代表您的sitemap文件在抓取中

异常：代表您的sitemap文件存在问题，不能抓取

（2）提交失败

若在Sitemap提交工具使用中发生错误，请确认是否为以下原因：

• Sitemap文件地址无法访问,请确认提交的地址可正常访问。
• Sitemap文件地址与提交站点不是包含关系，请确认提交的地址属于已验证的站点
• 相同的Sitemap文件地址已经添加过，请勿重新添加。
• 提交的Sitemap格式不规范，请检查该数据格式，修改后重新提交。