爬虫

编程开发

关于新版本jadx反编译包不全的解决方法

2

自从jadx1.3.2版本开始,到目前的1.3.4版本,反编译都会明显的少一部分包跟代码,看日志有很多的jadx.plugins.input.dex.DexException: Bad checksum 异常,如下图所示: 只需要在启动jadx-gui时添加参数:./jadx-gui -Pdex-input.verify-checksum=no即可,当然也可以直接编辑./jadx-gui文件,在文...

阅读(3416)评论(0)赞 (1)

编程开发

关于Flutter框架开发的安卓App的HTTPS抓包解决方案

2

如何确定目标APP是否为Flutter开发? APP的apk包中包含libflutter.so即可确定是Flutter开发的 为什么普通方式抓不到HTTPS包呢? 它不走系统代理 它不支持设置代理 它不信任系统证书 它证书校验写死在so文件里,所以导致JustTrustMe,SSLUnpinning等模块完全失效 面临的问题? 证书校验 不走代理 解决方案: 针对不走代理我们可以使用基于VPN模式...

阅读(2024)评论(0)赞 (0)

编程开发

关于爬虫抓取企查查APP搜索结果的总结(持续更新)

3

时间线… 2022-02-09:企查查关停了appv2.qichacha.net(无法访问) 2022-03-16:企查查关停了appv3.qichacha.net(全部405) 目前appv4.qichacha.net可用… 为何选择APP抓取? 企查查APP未登陆状态下搜索每次返回40条搜索结果,不可翻页,且手机号,邮箱未脱敏,对代理IP封禁率低. 涉及知识点: 企查查...

阅读(1971)评论(4)赞 (1)

编程开发

JSONEye – 或许是最暖心的JSON格式化插件了

7

​提起JSON格式化插件,想必大家都能列出来好多,几乎是每个开发人员必备。 身为一名爬虫工程师,为了工作的舒服,为了舒服的工作,结合自己工作中实际遇到的情况,最近我也做了一个JSON格式化工具,之所以称它为工具,而不是插件,是因为它不单单是一个Chrome插件,还提供了https://jsoneye.cn 的在线版本,功能与插件版本无异。好了,接下来说说,它到底有什么特色吧! 1:自动列出JSON...

阅读(3938)评论(1)赞 (12)

编程开发

如何快速编写一个暗网爬虫

2

对于暗网想必不用我过多解释,在https://www.torproject.org/download 下载Tor Browser安装即可,当然国内得配合SS使用。 但我们作为一名爬虫工程师,如何写爬虫去访问暗网网址才是我们需要的;如何最简单的实现暗网爬取呢? 首先需要一台香港的服务器,阿里云百度云谷歌云的都可以,省的翻墙。接下来开始安装必要的服务,SSH登录后以root用户执行如下命令即可: 接下...

阅读(8161)评论(2)赞 (2)

编程开发

将Jsoup请求得到的Document中的相对路径转换为绝对路径

在后端开发时经常在HTML页面使用相对路径,然而这个对于爬虫来说有时候却很难受,虽然Jsoup提供了.attr("abs:href")用来来获取绝对路径,但还是不够方便。 在HTML中href跟src是这两个属性是用来填url的,也是我们需要处理的地方,相对路径一般是/,./,../三种形式开头,所以我们要选出所有带以/,./,../开头的href或src属性的元素,这个操作可以浓缩成一个cssS...

阅读(4819)评论(1)赞 (0)

编程开发

Windows环境下Java获取指定进程的句柄总数

在做网银爬虫时用swt处理密码控件,做成web服务供外部调用,时间一长总会跪掉,控制台显示 org.eclipse.swt.SWTError no more handles然后java进程就没了,这个错误,注意是错误,不是异常!!!翻译过来就是句柄用完了,那么如何让程序知道自己到底用了多少句柄呢?代码如下: 主要是利用了wmic命令,关于wmic命令它其实很强大,几乎可以控制方方面面。

阅读(3409)评论(0)赞 (0)