Download the PHP package rayswoole/querylist without Composer
On this page you can find all versions of the php package rayswoole/querylist. It is possible to download/install these versions without Composer. Possible dependencies are resolved automatically.
Download rayswoole/querylist
More information about rayswoole/querylist
Files in rayswoole/querylist
Package querylist
Short Description Simple, elegant, extensible PHP Web Scraper (crawler/spider),Use the css3 dom selector,Based on phpQuery! 简洁、优雅、可扩展的PHP采集工具(爬虫),基于phpQuery。
License MIT
Homepage http://querylist.cc
Informations about the package querylist
说明
- 该仓库fork源为jaeger/querylist v4.2.8
- 去除了Config全局配置、Http Client功能(专注DOM分析)
- 更换Collection库为topthink/think-helper
- 将phpQuery单文件合并到该仓库
- 去除了单元测试代码,无需单元测试使用源
- 版权归代码的原作者所有,代码与使用方式与源仓库一致
安装
通过Composer安装:
composer require rayswoole/querylist
QueryList 文档请参考官方
QueryList
是一套简洁、优雅、可扩展的PHP采集工具(爬虫),基于phpQuery。
特性
- 拥有与jQuery完全相同的CSS3 DOM选择器
- 拥有与jQuery完全相同的DOM操作API
- 拥有通用的列表采集方案
- 拥有强大的HTTP请求套件,轻松实现如:模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请求
- 拥有乱码解决方案
- 拥有强大的内容过滤功能,可使用jQuey选择器来过滤内容
- 拥有高度的模块化设计,扩展性强
- 拥有富有表现力的API
- 拥有高质量文档
- 拥有丰富的插件
- 拥有专业的问答社区和交流群
通过插件可以轻松实现诸如:
多线程采集- 采集JavaScript动态渲染的页面 (PhantomJS/headless WebKit)
图片本地化模拟浏览器行为,如:提交Form表单网络爬虫- .....
环境要求
- PHP >= 7.1
如果你的PHP版本还停留在PHP5,或者不会使用Composer,你可以选择使用QueryList3,QueryList3支持php5.3以及手动安装。 QueryList3 文档:http://v3.querylist.cc
安装
通过Composer安装:
使用
元素操作
-
采集「昵图网」所有图片地址
-
采集百度搜索结果
- 更多用法
列表采集
采集百度搜索结果列表的标题和链接:
采集结果:
编码转换
HTTP网络操作(GuzzleHttp)
-
携带cookie登录新浪微博
-
使用Http代理
- 模拟登录
Form表单操作
模拟登陆GitHub
Bind功能扩展
自定义扩展一个myHttp
方法:
或者把实现体封装到class,然后这样绑定:
插件使用
-
使用PhantomJS插件采集JavaScript动态渲染的页面:
- 使用CURL多线程插件,多线程采集GitHub排行榜:
插件
- jae-jae/QueryList-PhantomJS: 使用PhantomJS采集JavaScript动态渲染的页面
- jae-jae/QueryList-CurlMulti : Curl多线程采集
- jae-jae/QueryList-AbsoluteUrl : 转换URL相对路径到绝对路径
- jae-jae/QueryList-Rule-Google : 谷歌搜索引擎
- jae-jae/QueryList-Rule-Baidu : 百度搜索引擎
查看更多的QueryList插件和基于QueryList的产品:QueryList社区力量
贡献
欢迎为QueryList贡献代码。关于贡献插件可以查看:QueryList插件贡献说明
寻求帮助?
- QueryList主页: http://querylist.cc
- QueryList文档: http://doc.querylist.cc
- QueryList问答:http://wenda.querylist.cc
- QueryList交流QQ群:123266961
- GitHub:https://github.com/jae-jae/QueryList
- Git@OSC:http://git.oschina.net/jae/QueryList
Author
Jaeger [email protected]
Lisence
QueryList is licensed under the license of MIT. See the LICENSE for more details.
All versions of querylist with dependencies
ext-dom Version *
ext-json Version *
topthink/think-helper Version ^3.1
ext-mbstring Version *