什么是baiduspider?
baiduspider是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页。
baiduspider对一个网站服务器造成的访问压力如何?
* r7 M8 J& k% ?: Q7 h& ^. z! ]baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后,baiduspider会暂停一会,以防止增大服务器的访问压力。所以在一般情况下,baiduspider对您网站的服务器不会造成过大压力。
为什么baiduspider不停的抓取我的网站?
5 K; ~: l; e/ N: i. H7 G对于您网站上新产生的或者持续更新的页面,baiduspider会持续抓取。此外,您也可以检查网站访问日志中baiduspider的访问是否正常,以防止有人恶意冒充baiduspider来频繁抓取您的网站。如果您发现baiduspider非正常抓取您的网站,请反馈至webmaster@baidu.com,并请尽量给出baiduspider对贵站的访问日志,以便于我们跟踪处理。
/ I; Y* Y: }) Q1 Z我不想我的网站被baiduspider访问,我该怎么做?
baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站,或者禁止baiduspider访问您网站上的部分文件。注意:禁止baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看:
3 c h; H1 @/ @! L/ n为什么我的网站已经加了robots.txt,还能在百度搜索出来?
( R7 q: F6 R, s6 @6 f& a因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要二至四周才会清除。另外也请检查您的robots配置是否正确。
百度蜘蛛在robots.txt中的名字是什么?
4 d9 L, e# |* W0 V) q5 I“baiduspider”全部为小写字母。
' h) z2 U+ s+ x$ [) x- @baiduspider多长时间之后会重新抓取我的网页?
百度搜索引擎每周更新,网页视重要性有不同的更新率,频率在几天至一月之间,baiduspider会重新访问和更新一个网页。
9 |& X2 A+ Y* G9 `2 w4 ?知道了什么是百度蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?
, S( R4 S% O0 a% c1 L. o6 F这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的虚拟主机的完整使用日志中有这样的记录:
. B1 @( T4 f8 K220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"这就说明百度蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,我的就查到sogou也来过我的站,IIS日志与Apache的日志是一样的,都可以查到。
各类蜘蛛IP收集,不一定完全准确。
2 _4 L+ P+ @5 w5 d. S0 H! C# v序号 IP 注释
1 202.106.186.* 163蜘蛛
7 ~; p7 h3 T7 ^1 f) K5 T; ?" [" a6 u2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
0 M: E0 E% r( a$ N1 h4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
8 f9 }1 a0 A) C/ Y% [+ ]! ^, j8 _6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
0 ^, b( k! q" G10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
* w" N2 P3 N; o14 202.165.100.* 3721蜘蛛
15 220.181.19.* 百度蜘蛛
16 159.226.50.* 百度蜘蛛
7 g8 e+ N( p% T4 b( }: E+ A6 Z17 202.108.11.* 百度蜘蛛
18 202.108.22.* 百度蜘蛛
19 202.108.23.* 百度蜘蛛
20 202.108.249.* 百度蜘蛛
6 U9 t* }5 o' g3 n# B7 H: P21 202.108.250.* 百度蜘蛛
22 61.135.145.* 百度蜘蛛
23 61.135.146.* 百度蜘蛛
24 64.124.85.* become.com
' I4 |0 Q6 d8 S25 61.151.243.* china蜘蛛
7 l7 l6 T: q2 Q, v& ?9 [: e# L26 202.165.96.* gais.cs.ccu.edu.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
! o K. d1 O3 K5 Y5 q. {, u29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
" ]/ e" U' D" @ p; z# O- G$ e31 216.239.51.* google蜘蛛
2 J: A4 p) B+ ` ]2 Q4 H5 S9 c32 216.239.53.* google蜘蛛
3 j9 U8 o% X2 H: v/ H33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
+ m4 t# t. ^' H) |8 Q35 216.239.59.* google蜘蛛
1 Y6 S" x0 ]$ @/ ]! w) I36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
! Q8 j3 H: G$ ~/ w- G! j38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
2 e8 s; u- y; j$ p* D6 A40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
- n! s+ p q: }. G42 66.249.65.* google蜘蛛
) Q; t, \% T2 u [. Q- @( L1 y43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
3 h: m3 P1 c8 P- z- q" @% b50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
9 N {3 L: d$ W) G9 D% q52 65.54.229.* msn蜘蛛
& f0 j4 u$ |' }/ Q- s53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
: ^2 C; I/ w5 z% n56 220.181.8.* Outfox
. p& S' H" y" F4 x: T3 C57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
/ E4 {# Y- `, t61 202.104.129.* QQ蜘蛛
; n- K2 M# g: V/ b1 Z62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
! B5 T3 k% B, a- i64 219.142.78.* sina蜘蛛
; o. r: q/ i1 S+ Z; o65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
/ w) N' E( m0 y6 c220.181.19.*
67 61.135.158.* tom蜘蛛
& Q7 C3 e8 h' N3 y# a# K68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
0 ]- V, N4 y$ x5 ?: w70 68.142.249.* yahoo蜘蛛
6 V' k0 E1 c% N71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
2 {' n8 g; w4 Z; o) g7 k w73 202.165.102.* yahoo中国蜘蛛
; H% c8 }9 w& B& g' _7 |5 z4 f- p74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
a, q! a1 u% X* t$ U1 @- Y+ Y76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
- s" o; {- _: @* j- E( l6 F87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
1 g8 u( |" {0 L3 K. @. Q91 72.30.135.* yahoo蜘蛛
. m$ I) h1 P; L92 72.30.216.* yahoo蜘蛛
3 D: v/ Y3 G2 ?5 i93 72.30.226.* yahoo蜘蛛
' j5 c. U0 |: \- y# F# T7 u94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
4 i5 Y6 I; @; p% t97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
2 q4 u4 @9 K0 k/ h. E5 u99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
- ~9 U+ m6 ]: j; w: y) \102 202.96.51.* 中搜蜘蛛
% l% C3 z5 I; ?- g _; X103 219.142.53.* 中搜蜘蛛
( L/ J5 v' x6 }+ h序号 IP 注释
1 o6 K \( y3 s! O, c1 202.106.186 163
: Q9 J6 ]) v" m& Z2 202.108.36 163
5 V/ e: X% Y8 d" h4 Q C3 202.108.44 163
4 202.108.45 163
5 202.108.5 163
5 Q6 D9 Z( H8 H! T. X; @4 Z6 202.108.9 163
7 220.181.12 163
! }# A; |4 F# k8 220.181.13 163
A- y% S' ?% Q% {6 T9 220.181.14 163
% }( P3 U, P/ I w! j10 220.181.15 163
0 K0 j9 n7 M4 g: F; S6 i* [11 220.181.28 163
12 220.181.31 163
3 [- t7 S6 k3 n! T: ~13 222.185.245 163
, m6 A8 g _6 z: d1 B14 202.165.100 3721
15 220.181.19 baidu
16 159.226.50 baidu
17 202.108.11 baidu
6 o1 [. v2 o6 d5 Q18 202.108.22 baidu
19 202.108.23 baidu
5 w7 D: I% `5 | @9 R: `20 202.108.249 baidu
( o; O% r+ G1 N; W6 [21 202.108.250 baidu
+ p8 o; g# b* d1 N5 u2 h3 {22 61.135.145 baidu
% m& q% ]# a5 G23 61.135.146 baidu
24 64.124.85 become.com
25 61.151.243 china
26 202.165.96 gais.cs.ccu.edu.tw
$ a1 a. A% A. K/ ^2 _8 e27 216.239.33 google
28 216.239.35 google
3 M+ Y: ~+ F$ A5 }3 p. f9 u29 216.239.37 google
30 216.239.39 google
31 216.239.51 google
% T' W8 f5 q! E9 Y32 216.239.53 google
33 216.239.55 google
34 216.239.57 google
# w, D5 D& [7 r1 A+ a4 _35 216.239.59 google
36 64.233.161 google
37 64.233.189 google
+ X8 u! k0 j+ K, Q2 ? }# l38 66.102.11 google
39 66.102.7 google
40 66.102.9 google
41 66.249.64 google
42 66.249.65 google
43 66.249.66 google
44 66.249.71 google
, v0 f. ^/ X# B* ?9 f- F45 66.249.72 google
8 a# _) D/ x0 p! k5 J46 72.14.207 google
47 61.135.152 iask
* z( |0 o8 w9 s5 h48 65.54.188 msn
6 T3 u' r0 m. _" l49 65.54.225 msn
50 65.54.226 msn
' S5 w! p0 R2 ^; Y3 K51 65.54.228 msn
! ]% |1 {5 ^! \( Y" h+ {52 65.54.229 msn
53 207.46.98 msn
& I! Q6 m7 L" X9 D0 y54 207.68.157 msn
55 194.224.199 noxtrumbot
6 H, m1 J0 N1 a- D+ U. \! x! q56 220.181.8 Outfox
57 221.239.209 Outfox
0 s3 p' v5 [! X+ a2 r58 217.212.224 psbot
59 219.133.40 QQ
60 202.96.170 QQ
' m7 V0 d2 Z- C61 202.104.129 QQ
62 61.135.157 QQ
% f8 }( \( |/ u63 219.142.118 sina
64 219.142.78 sina
65 61.135.132 sohu
66 220.181.26 sohu
67 61.135.158 tom
68 66.196.90 yahoo
. F1 c7 o' |0 {& m- S' G& k: f69 66.196.91 yahoo
$ u/ A$ \. x v/ `70 68.142.249 yahoo
71 68.142.250 yahoo
72 68.142.251 yahoo
73 202.165.102 yahoo
74 202.160.178 yahoo
b! f+ D/ \- s4 e/ j9 E75 202.160.179 yahoo
. m8 X; q1 S3 @$ R! P2 ~, G( s76 202.160.180 yahoo
77 202.160.181 yahoo
' {* \) T) o/ `" c# Y) k: L78 202.160.183 yahoo
" y' a/ I4 U; n! |9 Z* U79 72.30.101 yahoo
( `/ |- m/ |5 z- G& Z+ p80 72.30.102 yahoo
9 H+ K' j* g4 j0 c9 `9 B# j( @81 72.30.103 yahoo
; I' j5 v( W, Y3 a% c82 72.30.104 yahoo
83 72.30.107 yahoo
( I" Y& [+ d5 M# @1 @84 72.30.110 yahoo
+ a5 {$ E, \$ Y( o* {85 72.30.111 yahoo
) s" F8 u- Q+ z1 H8 f86 72.30.128 yahoo
87 72.30.129 yahoo
88 72.30.131 yahoo
1 P! C9 H9 @9 d89 72.30.133 yahoo
90 72.30.134 yahoo
# B `: [9 I# ~8 S2 Q7 G91 72.30.135 Yahoo
92 72.30.216 yahoo
9 r9 t, X/ n7 x93 72.30.226 yahoo
3 I, N9 L! T. c8 r5 q/ H5 W94 72.30.252 yahoo
95 72.30.97 yahoo
0 ~* g3 ?8 g D. U) v96 72.30.98 yahoo
97 72.30.99 yahoo
# d% D7 q2 ?7 w6 @* S9 {98 74.6.74 yahoo
99 202.108.4 zhongsou
100 202.108.33 zhongsou
101 202.96.51 zhongsou
1 \ x$ x* x( |. a; Z102 219.142.53 zhongsou
-------------百度-------------
8 A9 y1 _: e, b# b) k31.135.145.*
61.135.145.*
61.135.146.*
159.226.50.*
% \( F% r# H" I# [) q4 G( @202.108.11.*
202.108.22.*
202.108.23.*
. K# Y% Q& {# ?202.108.249.*
202.108.250.*
220.181.19.*
-------------雅虎中国-------------
66.196.90.*
/ d) w! y' v6 }* X! e. U66.196.91.*
68.142.249.*
5 a p$ h6 z y" i7 |68.142.250.*
68.142.251.*
72.30.101.*
/ S2 P5 M6 o. ~& Z72.30.102.*
72.30.103.*
/ G" I6 e" \& V, W6 s9 T72.30.104.*
/ h* Y3 F5 D1 I) k! v! {72.30.107.*
: T/ b/ z. q+ x: W2 @( R( B72.30.110.*
9 p; T l5 |5 ~8 [; t$ y72.30.111.*
% {8 q- |( n; l0 o72.30.128.*
4 |8 k! T# M) Q( P# F T72.30.129.*
72.30.131.*
" C; R0 m1 p% Z5 l) e4 N72.30.133.*
72.30.134.*
: Z) N0 e! {5 t: _$ Y72.30.135.*
' O$ u1 n. h1 D6 V% Y V72.30.216.*
* V" i, Z. W0 s, d' f5 K9 N3 C/ m2 }: N72.30.226.*
72.30.252.*
+ q0 r s! {3 ~, O% \, D72.30.97.*
p( ?* t/ R0 j ^( J4 m72.30.98.*
72.30.99.*
74.6.74.*
202.165.102.*
202.160.178.*
8 r: z* Z: s0 B* v202.160.179.*
% w O: o: m' y* L" [202.160.180.*
202.160.181.*
202.160.183.*
-------------Google-------------
( O+ D# B. ?4 m# a+ U: S5 h64.233.161.*
; w2 V* p4 ~ h, G64.233.189.*
66.102.11.*
0 O: E3 q. T6 i( A6 v2 H66.102.7.*
! d8 d! J% J: @66.102.9.*
66.249.64.*
* u4 h' F, n& U8 h. P66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
216.239.33.*
: k0 W2 {6 X' D7 A216.239.35.*
( s' z1 m0 V7 K# h216.239.37.*
3 P& }4 B1 a2 `1 z216.239.39.*
3 h: ?" w# z O# T4 s% V% N/ w, x216.239.51.*
/ W! e* `) h+ T9 C, L; w; S216.239.53.*
6 b) Z! |2 U M* Y0 Z, \216.239.55.*
216.239.57.*
216.239.59.*
, ]8 R0 C+ n8 h5 v; z1 K------------- MSN -------------
65.54.188.*
7 _' Y6 s3 p/ p& J$ f65.54.225.*
( r6 [7 f# c- J! l8 |1 g65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
2 Y- P& A, B9 e7 p6 T: s" E------------- 中搜 -------------
202.108.1.*
. R8 g9 u: @) S3 z! k! ^9 U202.108.2.*
2 F4 y8 c) S; w. H* q202.108.3.*
202.108.4.*
( a3 K. i8 e: n1 g- H202.108.33.*
( S; M0 h+ j3 x! K- M; B) x1 t. x7 i202.96.51.*
5 J j" R0 G( h9 {219.142.53.*
------------- QQ -------------
219.133.40.*
202.96.170.*
! X( @/ d5 O2 `. e202.104.129.*
2 X5 g2 D+ K: R; m7 p! |61.135.157.*
$ j! s0 g2 i( S, K2 w------------- 163 -------------
202.106.186.*
2 X0 E2 F7 I0 \202.108.36.*
4 i) ]1 C9 [& C& |# f202.108.44.*
202.108.45.*
+ X/ y- x' M' r" o: Q5 l3 P202.108.5.*
" c( v) O9 \& I, V2 i" w202.108.9.*
220.181.12.*
220.181.13.*
% X/ ?& o v5 v1 M220.181.14.*
220.181.15.*
7 }5 b4 j8 W X& k220.181.28.*
: f1 z$ _- [' L Z9 Z! }9 ?+ Z220.181.31.*
222.185.245.*
------------- 其他 -------------
64.124.85.* become.com
2 @8 W0 u/ I9 H/ S% N61.151.243.* china
202.165.96.* gais.cs.ccu.edu.tw
61.135.152.* iask
& l- i2 ~) j- }5 B8 p% h. y194.224.199.* noxtrumbot
220.181.8.* Outfox
+ l" ]! V& F! {- x( j221.239.209.* Outfox
217.212.224.* psbot
219.142.118.* sina
, r% R) {3 J& b! T% r219.142.78.* sina
61.135.132.* sohu
1 g, C9 i* x4 m( }220.181.26.* sohu
% R5 `, g' F! l; Q( [" V4 O61.135.158.* tom
欢迎光临 下沙论坛 (http://bbs.xiasha.cn/) | Powered by Discuz! X3.3 |