错误的robots文件设置对SEO的影响
admin 2024-04-19 02:37 95 浏览 0 评论
对于一个新站来说,搜索引擎爬虫来抓你的网站,他们就跟大爷一样,要好吃好喝的供着,你不能让别人自己端茶倒水,把别人累个半死,你说这样他回去会跟他主子(搜索引擎)说什么好话么?
那怎么让他们吃好喝好呢?其实也简单,就是让他们少做点,我们多做点,对于一个网站,那就是把目录结构尽量扁平话,但是要掌握好一个度,凡事过了就物极必反,蜘蛛来你网站,你肯定要想办法第一时间把最好的文章,最想排名的关键词让它带走,对于站长来说唯一能和蜘蛛交流的办法,就是robots.txt文件了,不知道这个东西?那可以看看这篇文章先《robots.txt文件介绍》
搜索引擎无用的网页
因为SEO小也这个站是使用WordPress搭建的,WordPress默认使用的是一个虚拟的robots.txt文件,内容比较简单,没有屏蔽feed页面,这个页面对搜索引擎来说没什么作用,谷歌也基本不收录
所以把这些文件排除,让搜索引擎蜘蛛只抓取那些对于他们有用的文件,因为蜘蛛来抓取一个网站是有时间限制的,如果把宝贵的时间花在这些没用的内容上,对网站优化来说就太浪费了。
错误的robots.txt规则
因为图省事,我就去网上找了一段robots.txt适用于WordPress的规则,当时也没多想,只直接写入到文件里面,但是没过两天,Google Search Console既然有错误提示?
说我移动设备兼容有问题?不可能啊,我前一段时间刚花了一天时间做了响应式布局的?难道我老了不中用了?响应式写错了?带着这么多疑问,我看了错误提示:
Googlebot blocked by robots.txt
原来我上次的骚操作,把wp-content内部的资源文件屏蔽了,下面是我修改以后完整的robots.txt文件内容,可以作为参考:
User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /*/comment-page-*Disallow: /*?replytocom=*Disallow: /category/*/page/Disallow: /tag/*/page/Disallow: /*/trackbackDisallow: /feedDisallow: /*/feedDisallow: /comments/feedDisallow: /?s=*Disallow: /*/?s=*\Disallow: /attachment/Allow:/wp-content/uploads/Allow:/wp-content/themes/seozen2021/Allow:/wp-content/plugins/Sitemap:https://www.seozen.top/sitemap.xml
上面这些规则简单的介绍下:
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
8、Allow: /wp-content/uploads/
允许搜索引擎抓取资源文件,这个很重要,可以用来判断移动设备兼容性
因为这个操作,导致谷歌对SEO小也的收录不升还降了一点,我重新配置了robots.txt文件,观察一下过几天的情况再看看。
相关推荐
-
- 做网站SEO优化要注意以下三个方面
-
众所周知,网站SEO的目的是让网站的关键词在搜索引擎中排名靠前,但是除了网站的关键词排名之外,还有很多方面需要考虑,...
-
2024-07-02 00:30 admin
-
- 新手站长在SEO过程中会遇到什么问题
-
在SEO的过程中,我们不可避免地会遇到这样或那样的问题,特别是当我们次接触SEO的时候,现在当搜索引擎每天更新800...
-
2024-07-02 00:30 admin
-
- 影响网站排名的五个因素
-
据说影响网站排名的因素有300多个,但对于网站优化来说,把这300个因素考虑进去,使之完善,是不现实的,也是不必要的...
-
2024-07-02 00:30 admin
-
- 为什么网站是稳定更新还没有排名?
-
网站每天更新,没有排名?成都SEO认为很多朋友都遇到过这个问题,那么如何解决这个问题呢?很多朋友认为网站可以通过每天...
-
2024-07-02 00:30 admin
-
- 网站坚持发布原创文章有利于排名吗?
-
网站是否坚持原创文章做好排名?虽然百度现在越来越重视原创文章,但很多SEO网站的站长,特别是一些新手站长认为,只要坚...
-
2024-07-02 00:30 admin
-
- 响应式网站和传统网站有什么区别?
-
传统的网站建设可以说是“过去式”的产物。到目前为止,各行业企业基本告别了传统网站,一小部分企业还停留在传统网站上,这...
-
2024-07-02 00:30 admin
-
- 提高网站目录通过率的建议
-
做SEO的朋友应该熟悉网站目录。网站目录是对收录到的网站按照一定的分类方法进行分类归档。聚合网站目录本身并不主动抓取...
-
2024-07-02 00:30 admin
-
- 增加网站自然流量的方法
-
众所周知,企业网站建设根本的目的就是为企业创造效益,可以是有形的销售,也可以是无形的信誉。因此,仅仅设计一个漂亮的网...
-
2024-07-02 00:29 admin
-
- 如何提高关键词排名
-
在搜索营销中,如何改进和优化关键词将在营销中发挥重要作用。那么,关键词有多重要?例如,我们在百度搜索相关信息时,通常...
-
2024-07-02 00:29 admin
-
- 提高百度排名应注意的几个问题分析
-
很多学生经常想增加我们网站的权重,很多SEO的人整天问这个问题。其实,如何提高网站的权重是很简单的,但很难割舍,因为...
-
2024-07-02 00:29 admin
-
- 网站排名不好的原因分析
-
有人会说我的内容也是原创的,每天都在更新,而且已经做了外链。为什么网站不排名?原因是什么?云客网会给你详细的分析。1...
-
2024-07-02 00:29 admin
-
- 如何促进网站内容收录
-
百度进入网站一直是我们关注的热点话题,特别是对于新网站来说,更渴望被百度尽快进入。因此,今天我们将学习一些技巧,使网...
-
2024-07-02 00:29 admin
-
- 网站建设中的单页优化技术有哪些?
-
对于大多数搜索引擎优化来说,网站首页非常漂亮,但是没有排名,有的在百度主页上只有一两个关键词排名。一般搜索引擎优化,...
-
2024-07-02 00:29 admin
-
- 网站的301重定向跳转是什么意思
-
在介绍网站404页面的产生和功能之前,今天我们先来谈谈网站建设优化中必须少做的301跳转。一、为什么我需要做301页...
-
2024-07-02 00:29 admin
-
- 如何将网站建设与SEO优化结合起来?
-
有很多站长不愿意放弃旧的想法,也一直在建设网站之前优化网站。网站建设的过程和设计是非常重要的,但是网站优化的内容却被...
-
2024-07-02 00:29 admin
你 发表评论:
欢迎- 一周热门