小工具      在线工具  汉语词典  dos游戏  css  js  c++  java

WebMagic 发起POST表单请求,同时传入Cookie来下载文件

Java 额外说明

收录于:52天前

发起post请求的2种方式:

1. 直接给Spider传入request对象(包含下载地址),定义好请求方式post,参数通过formdata/json,header里传cookie
    public static void main(String[] args) throws IOException {

string URL = https://bbbb.com/column_more_data_v2/column_more_data
        Map<String, Object> map = new HashMap();
        map.put("page_size", "2");
        map.put("content_app_id", "1");
        map.put("1629348213104", "5");

        Request request = new Request(URL);
        request.setMethod(HttpConstant.Method.POST);
        request.setRequestBody(HttpRequestBody.form(map, "utf-8"));
      //  request.setRequestBody(HttpRequestBody.json(map, "utf-8"));
        request.addHeader("cookie", cookie);
        request.addHeader("content-type", "multipart/form-data; boundary=--------------------------050939232949739817865032");

        Spider.create(new MP3Processor())
                .setDownloader(new HttpClientDownloader())
                .addRequest(request)
                .addPipeline(new MP3Pipeline())
                .thread(4)
                .run();

2. 也是传request,但是这里的url是表单形式,没有下面的2句,单独设置参数
string URL = https://bbbb.com/column_more_data_v2/column_more_data?qy_app_id=&1629365061118=&page_size]=1

 request.setRequestBody(HttpRequestBody.form(map, "utf-8"));
 request.setRequestBody(HttpRequestBody.json(map, "utf-8"));

Request request = new Request(URL);
        request.setMethod(HttpConstant.Method.POST);

Spider.create(new MP3Processor())
                .setDownloader(new HttpClientDownloader())
                .addRequest(request)
                .addPipeline(new MP3Pipeline())
                .thread(4)
                .run();

. . .

相关推荐

额外说明

Public Key Retrieval is not allowed 数据库错误解决办法

当时在学习黑马程序员的mybatis教程,结果报错一大堆,真就无语了!!这个错误只要如图操作即可

额外说明

BUG id to load is required for loading

导致bug原因是,查询数据是where id =   XXX ,这是因为@ModelAttribute没有取得id,为null所致。   本本好好的,就这样了, 真不知道什么原因,改为@RequestBody接受对象就好了。  可能前端传值更改了吧!!

额外说明

leetcode1584(连接所有点的最小成本:Kruskal算法)

给你一个points 数组,表示 2D 平面上的一些点,其中 points[i] = [xi, yi] 。 连接点 [xi, yi] 和点 [xj, yj] 的费用为它们之间的 曼哈顿距离 :|xi - xj| + |yi - yj| ,其中 |val|

额外说明

09.Linux连接文件

一、Linux连接文件 Linux有两种连接文件:符号连接(软连接)和硬链接,符号链接类似Windows下的快捷方式。硬链接通过文件系统的inode连接来产生新文件名,而不是产生新文件。 inode:记录文件属性,一个文件一个inode。inode相当于

额外说明

Web 自动化神器 TestCafe(七)—录屏和截图篇

前言 上一篇我们讲到TestCafe如何进行页面交互,这一篇我们一起来聊聊TestCafe在执行用例的时候如何进行截图和录制测试运行全过程操作的视频 详情可见 WEB 自动化神器 TestCafe(一)—安装和入门篇 Web 自动化神器 TestCafe

额外说明

java常规知识点(精选---->面试必备)

常规面试题(java) 1. 直接继承自Collection的接口有什么? list,set,queue 2. final 作用 final:  修饰的类不能继承,方法不能被重写, 变量不能改变 3 重写的概念和遵循的原则(与重载的区别) 重写(Over

额外说明

协方差矩阵

方差度量单个随机变量的离散程度 协方差度量两个随机变量的相似程度 则对于d个随机 x k , k = 1 , 2 , . . . , d x_k,k=1,2,...,d xk​,k=1,2,...,d,相同随机变量的方差: σ ( x k , x k )

额外说明

【云原生网关】Apache ShenYu 使用详解

目录 一、前言 二、Apache ShenYu 介绍 2.1 为什么叫ShenYu 2.2 ShenYu特点 2.3 ShenYu架构图

额外说明

设计模式之适配器模式与外观模式

    适配器模式从字面意思来看,有适配器的意思,这么说吧,最通常的体现是我们的插座,有两孔的,有三孔的,当我们只有两空的插座时,而又想使用一个三孔的插头,这时候怎么办,我们可以通过寻找一个适配器,其实就是一个能够连接两孔和三孔的插头。同样的我们运用到软

额外说明

六、模型层(ORM)

六、模型层(ORM) Django中内嵌了ORM框架,不需要直接编写SQL语句进行数据库操作,而是通过定义模型类,操作模型类来完成对数据库中表的增删改查和创建等操作。 O是object,也就类对象的意思。 R是relation,翻译成中文是关系,也就是关

ads via 小工具