大小:54.19M
更新时间:23-09-16
系统:Mac
版本:v2.2.7
神箭手 for mac版是一款适用于macOS系统的开发软件,可以自动生成爬虫代码,选取需要的网页数据,所以又被大家称之为“神箭手云爬虫”。国内第一家创作的大数据和AI应用在线一站式开发,在浏览器上就可以随时写代码,快速构建分布式爬虫系统,支持自动切换私密ip,自动识别验证码,自动网页JS渲染,文件自动下载托管,多种数据抽取方式,以及爬虫生命周期等等,只需要轻轻点击鼠标,神箭手就可以自动生成爬虫代码。无缝对接现有系统,数据可以自动发布,并且支持批量导出,有webhook推送,restful接口,graphql调用,定时爬取和pipeline等功能。
一、如何爬取数据?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、创建爬虫:你可以从神箭云市场获取需要的爬虫直接使用,或者自己创建一个新爬虫,在线开发。
3、设置爬虫:打开爬虫,在爬虫设置页面,可以通过【功能设置】设置文件云托管和代理IP种类 等;通过【自定义设置】设置具体要爬取的方式和范围等。
4、启动爬虫:在爬虫总览页面,点击【启动爬虫】按钮,启动爬虫运行。启动前,可以设置启动方式和定时运行等。
5、预览和导出数据:在爬虫爬取结果页,您可以将爬取的数据导出到本地文件、发布到数据库/网站/邮箱/媒体等;也可以设置Webhook,神箭手会将爬取的数据POST到您的服务器;还可以通过GraphQL接口查询数据。
6、更新爬虫:从市场获取的爬虫,如果爬取失效或者其他原因导致的爬虫代码修改和升级,您都可以登录神箭手后进行更新。如果爬虫正在运行中,需要重启(停止后再启动 或者 暂停后继续)下新代码才会生效。
二、如何使用API接口?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、创建API接口:你可以从神箭云市场获取需要的API接口直接使用,或者自己创建一个新的API接口,在线开发。
3、设置API接口:打开API接口,在API设置页面,可以设置调用白名单、代理IP种类和文件云托管等。
4、测试API接口:在测试工具页面,输入【请求参数】,点击【开始测试】按钮。检测调用API接口返回的数据。
5、调用API接口:在调用代码页,参考不同语言的调用代码示例,您可以通过程序调用API接口获取数据。
6、更新API接口:从市场获取的API接口,如果调用失效或者其他原因导致的API代码修改和升级,您都可以登录神箭手后进行更新。更新后重新调用新代码才生效。
三、如何使用数据源?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、获取数据源:你可以打开神箭云市场,选择需要的数据源和规格,点击”获取数据”按钮,自动创建并打开数据源。或者在后台的数据源管理中,创建一个新的数据源,上传本地文件或者连接远程数据库;也可以管理爬虫或者清洗等应用自动创建的数据源。
3、预览数据:在数据源的数据页面,您可以【查看所有数据】,也可以点击某条数据【预览】。
4、请求/发布/导出数据:在请求数据页面,可以通过调用GraphQL接口直接查询数据源中的数据;在发布数据页面,可以把数据发布到数据库/网站/邮箱/微信公众号等; 在导出数据页面,可以将数据导出到本地文件。
5、更新数据:从市场获取的数据源,会不定期进行更新。已有数据的更新是免费的,新增数据您可以登录神箭手后查看详情,支付后即可获取新增数据。
1、分布式云爬虫
神箭手提供简单灵活的云爬虫开发框架,只需了解基本的JavaScript语法,五分钟就能开发一个分布式云爬虫!分布式云爬虫可以24小时在云服务器集群上运行,比本地采集更稳定速度更快,更能按需扩展!不懂开发也没关系,神箭云市场内有热门数据、爬虫、API接口可以直接使用,打包获取或者实时采集数据,统统没问题!
2、海量私密代理IP+自动识别验证码等
神箭手提供最专业的代理IP自动接入和切换功能,包括每天50万+企业级专属私密代理IP 以及 海外服务器节点。同时,神箭手还提供验证码自动识别、JS自动渲染、文件自动云托管等,方便开发者快速开发爬虫等大数据应用。
3、一站式大数据采集、存储、清洗、训练、导出
在神箭手上,从数据获取到处理、输出都是全站打通的!基于Google技术团队自主研发的大数据操作系统,提供一站式大数据和AI应用在线开发服务。神箭手上的数据可以一键 自动发布到数据库/网站/微信公众号/邮箱等 、导出到本地文件 、或通过 Webhook / GraphQL 获取数据。方式多样,满足您的不同需求。神箭手的技术团队在大数据和AI领域积淀深厚,旨在提供全球最前沿的大数据和AI技术服务!
4、Pipeline自动化+RESTful接口+团队协作
神箭手提供Pipeline高级功能,您可以实现多个应用依次自动运行,并设置应用交接方式。有助于实现数据从采集到处理的全流程自动化!同时,提供RESTful接口,无需登录神箭手也可以完成所有操作,真正的无缝对接!分权限的团队协作功能,让开发人员和运营人员分角色协作完成工作,离职也不用改账号,方便进行人员管理和工作分配!
5、统一调用的大数据SDK
神箭手提供不同语言(包括JAVA, PHP, Python)的SDK,方便开发者统一快速地调用神箭手的功能接口和数据:包括RESTful接口、API接口、GraphQL数据查询接口等。
同类热门
热门标签
网友评论0人参与,0条评论
最新排行
visual studio code for mac版200.81Mv1.84.2中文版 微软开发的开发工具集visual studio可能很多人都已经熟悉了,但相比Sublime Text这种轻量级的代码编辑器,visual studio显得有些笨重,所以微软推出了visual studio code mac版这款跨平台源代码编辑器,
查看eclipse mac版102.57Mv4.30.0 作为开发者或者学习者应该都知道,Myeclipse的核心就是eclipse,只不过Myeclipse在此基础上增加了许多的插件,使用起来更加的方便,今天小编就直接为大家带来了eclipse for mac版,这是一款适用于Mac平台上的放源代码的、
查看神箭手 for mac版54.19Mv2.2.7 神箭手 for mac版是一款适用于macOS系统的开发软件,可以自动生成爬虫代码,选取需要的网页数据,所以又被大家称之为“神箭手云爬虫”。国内第一家创作的大数据和AI应用在线一站式开发,在浏览器上就可以随时写代码,快速构建分布式爬虫系统,支持自动
查看processing mac版(编程软件)126.7MV3.3.7中文版processing是一种新兴计算机语言,它的概念是在电子艺术的环境下介绍程序语言,多多小编今天为您带来的processing mac版便是一款开源免费的Processing语言的编程软件,主要用于在电子艺术和视觉设计社区被用来教授编程基础,同时运用于大
查看sequel pro mac版(sql客户端工具)10.6MV1.1.2mac上的数据库管理工具,一般常用的就是navicat、SQLPro studio和官方推出的Workbench几款,但是这几款软件功能相对比较繁杂,使用起来也比较困难,多多小编今天为您带来sequel pro mac版,这是一个轻便易用的sql客户端工
查看