当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
友情链接作为网站不可缺少的组件，也是优化中很重要的一部分，全文900字，简单分享一下友情链接的知识
一.友链链接的好处
1.增加用户体验
2.吸引蜘蛛
友情链接本质是A标签，如果对方网站有你的网站友链，蜘蛛在爬取对方网站时会跟随友链爬取自身网站
3.增加知名度
在一些知名网站、博客等地方增加友链，可以在知名网站获取一定的知名度，常见与大型网站或平台
4.增加流量来源
用户访问对方网站会吸引用户访问自身网站
5.增加外链
因为本质是A标签，所以也是属于网站外链的一种
二.交换条件
1.友链不超过30条
友链属于外链，会导出自身网站权重，友链过多会过分导出网站权重，降低友情链接的质量
2.与自身网站相关
与自身网站不仅能增加流量获取度，更能增加搜索引擎对于自己网站的判定，减少网站优化周期
3.权重不低于自身
因为导出权重，如果权重低于自身网站权重太多，获取对方网站权重值并不高
4.更新频率稳定、快照更新7天以内
更新频率影响网站蜘蛛爬虫抓取频率，而快照则是搜索引擎对与网站抓取的最好证明
5.无降权、无被k
降权、被k都会因为友情链接而影响自身网站，严重还会导致自身网站被降权等
6.不要大批量增加、删除友链
2013年百度公布绿萝算法针对网站外链，大批量增加删除有可能会触碰算法，并且因为友链与网站权重息息相关，所以大批量操作会导致网站权重不稳定
三.作弊手段
1.虚假首页
部分网站利于栏目页、专题页优化网站排名，首页只是作为展示，这种网站不会导出太多权重
2.Mate标签不输出
将"nofollow"写在网页上的meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接。
<meta name="robots"content="nofollow" />
3.Robots禁止抓取
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
4.Nofollow禁止爬取
将"nofollow"放在超链接中，告诉搜索引擎不要抓取特定的链接。
<a rel="external nofollow" href="url"><span>内容</span></a>
使用浏览器插件可以显示添加Nofollow标签的链接
5.嵌套IF框架
搜索引擎爬虫无法识别IF框架内的内容
6.JS文件调用
搜索引擎爬虫无法识别JS文件内的内容
某网站使用JS调用切换
7.JS变种格式
搜索引擎爬虫无法识别JS文件内的内容
8.百度快照不抓取
利于JS调用或者代码等无法使爬虫识别抓取
百度快照无法进入友情链接
四.交换方式
1.QQ群
通过QQ群与群友进行友情链接交换
2.换链平台
友情链接交换平台（www.fkwlseo.com）
