未来赚客服QQ899011
开启辅助访问
切换到窄版
收藏本站
登录
立即注册
快捷导航
30元开通VIP会员
搜索
搜索
首页
创业项目大全
创业项目大全
精品创业项目
精品创业项目
自主创业经验
自主创业经验
虚拟资源网盘
虚拟资源网盘
最新创业资讯
最新创业资讯
互联网创业论坛
互联网创业论坛bbs
AI助手
本版
帖子
用户
未来创
»
互联网创业论坛
›
创业教程大全【免费】
›
网络创业赚钱【好文分享】
›
如何屏蔽搜索引擎抓取?
返回列表
发新帖
如何屏蔽搜索引擎抓取?
[复制链接]
3967
|
4
|
2020-4-19 16:20:05
|
显示全部楼层
|
阅读模式
作网站运营尤其是网站排名优化的时候,我们总想着如何来引导搜索引擎蜘蛛来爬行网页,收录。然而,很多时候一些网站因为所真对的用户群体和目标地区不同,并不希望获得搜索引擎的光顾,这个时候我们要如何来解决呢?今天和笔者小丹一起来研究一下吧!
当我们看到要屏蔽抓取的时候,大多数SEOer想到的都是robots.txt文件。因为在我们的认知中,robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道,虽然这个方式很不错,但是更多时候小丹认为它比较适合于在网站没有完成,为了避免之后的死链或者考察期而存在的。
若单单为了屏蔽某个搜索引擎的抓取,我们大可不必为空间造成负累,只要使用一点简单的代码即可。例如,我们要屏蔽百度蜘蛛的抓取<meta name="Baiduspider" content="noarchive">即可。当然这仅仅是屏蔽百度抓取的方式,如果想要任何一个搜索引擎,只要将Baiduspider更换为改搜索引擎的蜘蛛即可。
常见搜索引擎蜘蛛名称如下:
1、baiduspider 百度的综合索引蜘蛛
2、Googlebot 谷歌蜘蛛
3、Googlebot-Image 专门用来抓取图片的蜘蛛
4、Mediapartners-Google 广告联盟代码的蜘蛛
5、Yahoo Slurp 雅虎蜘蛛
6、Yahoo! Slup China 雅虎中国蜘蛛
7、Yahoo!-AdCrawler 雅虎广告蜘蛛
8、YodaoBot 网易蜘蛛
9、Sosospider 腾讯SOSO综合蜘蛛
10、sogou spider 搜狗综合蜘蛛
11、MSNBot Live 综合蜘蛛
但,如果你要屏蔽所有的搜索引擎,那么就要使用robot文件了:<meta name="robots" content="noarchive">。
到这里很多朋友获取应该明白了,在代码中禁止建立网页快照的命令是noarchive。所以,如果我们对于搜索引擎有限制,就根据自己的禁止快照对象,将代码加在网页的<head>与</head>直接即可;反之,在不要添加任何一条代码,就可以保证各大搜索引擎能够正常访问网站并且建立快照。
(转载请注明转自:笔者小丹,谢谢!珍惜别人的劳动成果,就是在尊重自!)
————————————————
版权声明:本文为CSDN博主「canyueyunlei」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:
https://blog.csdn.net/canyueyunlei/java/article/details/50379434
如何
,
屏蔽
,
搜索引擎
,
抓取
未来赚论坛免责声明:访客及用户必看
下载说明:
点我捐助本站VIP
回复本贴即可获取下载地址
注意:
资源文件夹或视频里有他人联系方式或水印,添加前请谨慎!私下联系交易有损失的,本站不负责!
本文章/资源等转载于网络,版权归原作者所有! 若有疑问请看下面三条详细协议!
①用户协议
②免责声明
③使用条款
相关帖子
•
我是如何在闲鱼卖手机的,日发300单的秘诀是什么?
•
纯小白如何通过玄学项目月入过万保姆级教程
•
23天AI创作特训营,如何利用AI高效生产90分的优质内容(更新)
•
一个人如何利用微信群自动群发引流,一星期装满200个群,日入500+
•
如何制一门·好课:从标题文案 内容 海报,全面手把手保姆级实战教你做课
•
企业如何玩转抖音电商培训班,6大维度,6位老师,线上揭秘抖音商家入局SOP
•
IP师资班,如何做好老师,如何做好课程,高产出课高手带你做好知识付费
•
年赚百万的知识付费网站是如何搭建的(超详细保姆级教程)
•
如何蹭热点一天销售250w+?附引流实操!
•
如何用小红书群聊日引300+精准粉丝【揭秘】
•
如何免费领取一部苹果手机(仅做揭秘)
•
最新6月份《如何设计一套100%赚钱的项目系统》
•
如何利用小红书矩阵化带货,实现两个月营收30万+
•
适合小白的蓝海项目,如何利用PPT模板轻松变现,一部手机简单操作月入过万
•
新号0粉开播,如何高效起号?新号破流量拉精准逻辑与方法,引爆直播间
•
付费 占比高,如何优化?只讲方法,不说废话,高效解决问题
•
抖音涨粉升级新玩法,教你抖音号如何快速涨粉5000+【揭秘】
•
新手小白如何通过卖项目年入50W【揭秘】
•
如何靠游戏租赁业务一个月收入5w+【揭秘】
•
各大自媒体平台如何留微信号,详细实操教学
未来创论坛将为您提供最新、最全面的创业项目、创业资讯,让您在千万创业项目中找到合适自己的项目,在互联网上创造属于自己的一笔财富。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
网络创业项目
精品创业项目【免费学习】
抖音快手短视频
最新活动资讯【每日更新】
文体健康资源
SEO网站优化
淘宝闲鱼电商
办公系列资源
中医养生资源
那点事
1万
主题
1万
帖子
5万
积分
积分
50301
加好友
发消息
回复楼主
返回列表
精品创业项目【免费学习】
最新活动资讯【每日更新】
引流推广技术【每日更新】
网络创业赚钱【好文分享】
编程开发技术【免费学习】
建站SEO技术教程【免费学习】
图文推荐
小红书精准引流,减肥、祛痘、创业粉单人日引100+(附软件)
2023-08-14
新版SEO点对点引流速成课 让你的广告内容当天上首页
2023-08-09
2023最强蓝海项目,闲鱼无货源电商,无风险易上手月赚10000 见效快
2023-08-09
全新儿童特效玩法,引爆流量,月入100000+
2023-08-09
口播类项目拆解,十分钟一条视频,百分百起号
2023-08-03
热门排行