Centos 7下安装百度云爬虫

2023-08-27 5450阅读 0评论
Kdatacenter:$17.1/月/1G内存/100GB SSD空间/1TB流量/1Gbps端口/KVM/韩国SK/直连;原生IP

该爬虫运行于MySQL、Python 2.7、Mysql-python下,所以先安装MySQL和MySQL-python。

Centos 7下安装百度云爬虫 第1张
(图片来源网络,侵删)

1、安装MySQL
安装依赖

yum install libaio

安装MySQL

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
yum localinstall mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server

启动MySQL

systemctl start  mysqld

设置MySQL密码

mysql_secure_installation;

2、防火墙设置
安装iptables

yum install iptables-services

开放3306端口

vi /etc/sysconfig/iptables

添加

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 3306 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 3306 -j ACCEPT

重启iptables

service iptables restart

3、安装MySQL-python

yum install MySQL-python

4、设置程序

wget https://github.com/x-spiders/baiduyun-spider/archive/master.zip
unzip master.zip
cd baiduyun-spider-master

设置连接数据库的账号密码

打开 bin/spider.py ,修改 DB_HOST、DB_PORT、DB_USER、DB_PASS

首次运行爬虫

python bin/spider.py --seed-user

运行爬虫

python bin/spider.py

源码来源:https://geekspider.org/senior/215.html


免责声明
1、本网站属于个人的非赢利性网站,转载的文章遵循原作者的版权声明。
2、本网站转载文章仅为传播更多信息之目的,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所
提供信息的准确性及可靠性,但不保证信息的正确性和完整性,且不对因信息的不正确或遗漏导致的任何
损失或损害承担责任。
3、任何透过本网站网页而链接及得到的资讯、产品及服务,本网站概不负责,亦不负任何法律责任。
4、本网站所刊发、转载的文章,其版权均归原作者所有,如其他媒体、网站或个人从本网下载使用,请在
转载有关文章时务必尊重该文章的著作权,保留本网注明的“稿件来源”,并白负版权等法律责任。

手机扫描二维码访问

    文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

    发表评论

    快捷回复: 表情:
    评论列表 (暂无评论,5450人围观)

    还没有评论,来说两句吧...

    目录[+]