我們公司有一個模塊的數(shù)據(jù)都是公司的人員用爬蟲去爬的，但是有的網(wǎng)站的數(shù)據(jù)就防止了大量訪問，導(dǎo)致爬蟲無法進行。我和你好奇，怎么防止數(shù)據(jù)被爬，希望親們不吝賜教，謝謝。