Download the PHP package blogdaren/webman-phpcreeper without Composer
On this page you can find all versions of the php package blogdaren/webman-phpcreeper. It is possible to download/install these versions without Composer. Possible dependencies are resolved automatically.
Table of contents
Download blogdaren/webman-phpcreeper
More information about blogdaren/webman-phpcreeper
Files in blogdaren/webman-phpcreeper
Download blogdaren/webman-phpcreeper
More information about blogdaren/webman-phpcreeper
Files in blogdaren/webman-phpcreeper
Vendor blogdaren
Package webman-phpcreeper
Short Description PHPCreeper plugin for webman
License MIT
Homepage http://www.phpcreeper.com
Package webman-phpcreeper
Short Description PHPCreeper plugin for webman
License MIT
Homepage http://www.phpcreeper.com
Please rate this library. Is it a good library?
Informations about the package webman-phpcreeper
简介
webman的爬山虎插件,PHPCreeper | 爬山虎:让爬取工作变得更加简单高效。
更新
- 本插件的使用说明最近一次更新时间是:
2024-05-23
,由于爬山虎迭代版新增了许多新特性和API,而且完全向下兼容,所以建议将本插件更新至最新版(v1.0.5),同时确保将爬山虎同步更新至最新版(v1.8.7)。 - 重大更新:自爬山虎
v1.8.7
开始,爬山虎开始支持无头浏览器即支持运行JavaScript代码及其渲染的动态页面。使用非常简单,无缝切换,只需要通过$context
上下文启用或禁用无头浏览器开关即可。
安装
使用说明
- 首先要明确一个概念:爬山虎有三种容器分别是:生产器、下载器、解析器。
- 编写一个爬虫非常简单: 配置搞定以后,只需要在对应容器内的
onXXXX
回调方法内编写业务逻辑即可。 - 由于爬虫应用相对WEB应用而言比较独立,所以app内的爬虫目录结构建议自行独立部署。
- 首先在自己的app项目下手动创建有效的爬虫目录, 比如:app/spider。
- 然后在爬虫目录内(app/spider)创建相应的容器句柄类Hanlder。
- 最后在对应容器内的
onXXXX
回调方法内编写业务逻辑。 - 若启用无头开关,默认使用无头chrome驱动,反之使用默认的guzzle驱动,若爬取的不是动态页,建议禁用。
举个例子
模拟抓取未来3天内北京的天气预报
开发步骤
1、创建爬虫目录:app/spider
2、创建生产器句柄类文件:app/spider/Myproducer.php
3、创建下载器句柄类文件:app/spider/Mydownloader.php
4、创建解析器句柄类文件:app/spider/Myparser.php
5、修改插件的process配置文件设置对应的Handler
注意事项
- 爬虫应用自有的配置文件要保持相对独立;
- process配置内的关于进程构造函数的配置一般不要动;
- 目前需要手动设置下载器的$downloader->setClientSocketAddress([]);
- 依赖redis服务,所以务必启动redis-server;
- 按照规范每一个独立的容器实例最好对应唯一的一个Handler;
爬山虎技术文档
- 爬山虎中文官方网站:http://www.phpcreeper.com
- 中文开发文档主节点:http://www.blogdaren.com/docs/
- 中文开发文档备节点:http://www.phpcreeper.com/docs/
- 爬山虎开源项目地址:https://github.com/blogdaren/PHPCreeper
All versions of webman-phpcreeper with dependencies
PHP Build Version
Package Version
Requires
blogdaren/phpcreeper Version
>=1.3
The package blogdaren/webman-phpcreeper contains the following files
Loading the files please wait ....