小工具      在线工具  汉语词典  dos游戏  css  js  c++  java

Scrapy按指定顺序输出CSV列表

Python 额外说明

收录于:52天前

scrapy执行这个脚本cmdline.execute("scrapy crawl detail -o ductdetail.csv")输出数据时,发现字段Item/Field的顺序不正确,因为Item中的数据是按照字典来输出的,因为字典是随机的无序的,所以也导致输出的excle表格中的数据也是无序的。
以下配置将解决上面的问题,然后按照你想要的顺序输出数据
1.在spiders的目录下新建一个类itemcsvexporter(目录一定要在spiders下),代码如下:
from scrapy.conf import settings
from scrapy.contrib.exporter import CsvItemExporter

class itemcsvexporter(CsvItemExporter):

    def __init__(self, *args, **kwargs):
        delimiter = settings.get('CSV_DELIMITER', ',')
        kwargs['delimiter'] = delimiter

        fields_to_export = settings.get('FIELDS_TO_EXPORT', [])
        if fields_to_export :
            kwargs['fields_to_export'] = fields_to_export

        super(itemcsvexport

2.在settings.py中新增如下代码,用来指定Item中Feild的顺序,也就是你想要数据输出顺序
FEED_EXPORTERS = {
    'csv': 'ljnew.spiders.itemcsvexporter.itemcsvexporter',
} #这里假设你的project名字为ljnew

FIELDS_TO_EXPORT = [
    'productname',
    'productprice',
    'prime',
    'fee',
    'discount',
    'overseapurchas',
    'productsize',
    'productcolor',
    'producturl',
]
3.目录截图如下

. . .

相关推荐

额外说明

ES6 —— 闭包

文章目录 一、变量作用域 二、什么是闭包? 三、闭包的应用 四、闭包总结 一、变量作用域 变量根据作用域的不同分为两种:全局变量和局部变量。 函数内部可以使用全局变量。 函数外部不可以使用局部变量。 当函数执行完毕,本作用域内的局部变量会销毁。 二、什么

额外说明

数据存储(改进版)

目录 知识回顾 当E全为0时 当E全为1时 知识回顾 在学习之前我想问大家一个问题,就是下面这个代码的运行结果是什么 int main() { int n = 9; float* pFloat = (float*)n; printf("%d",

额外说明

内存函数的使用和模拟实现

前面我们学习了字符串函数,http://t.csdn.cn/j3tSg,看一下自己有没有忘记呢,复习一下吧。 那么今天我要分享的是内存函数,为什么我会给大家分享这个呢?或者说,内存函数的作用是什么呢?有了字符函数就行了,为什么还会有内存函数呢?那么我们就

额外说明

springboot 缓存一致性常用解决方案

前言 多级缓存在微服务的架构设计中可谓随处可见,多级缓存作为提升系统高并发的常规手段,在各类大中小型的系统设计中都有体现; 下图是一张简单的服务端多级缓存设计示意图,多级缓存的常用解决方案,像ehcache + redis,或caffeine + spr

额外说明

ReactNative安卓端的打包发布

一、修改项目图标 1、查找项目中图片地址 2、让UI设计4种不同规格图标替换(要求尺寸名字都一样) 二、修改项目名称 1、查找修改项目名称地址 三、下载配置gradle 1、查找本项目中所使用的gradle的版本 2、官方下载gradle 下载与自己项目

额外说明

【软考】系统集成项目管理工程师(十)项目质量管理

一、项目质量管理基础 1. 质量的定义 2. 项目质量管理基础 3. 质量管理标准体系 ● ISO 9000 质量管理的 8 项原则 ● 全面质量管理 TQM ● 六西格玛 二、项目质量管理子过程 1. 规划质量管理 2. 实施质量保证 3. 控制质量

额外说明

Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228

本文主要是介绍 Pinpoint 环境的部署,小伙伴儿们也可以参考 Pinpoint 《官网》的《快速入门》手册,最新版本v2.3.3组件可到官方《GitHub仓库》进行下载,使用到的文件列表: hbase-1.7.1-bin.tar.gz hbase-

额外说明

【文件格式问题】文件格式 Windows、Unix/Linux、Mac 导致的问题及处理(idea 或 notepad++ 档案格式转换方法)

1.问题 导致的问题: 读取错误!java.io.FileNotFoundException: xxx (系统找不到指定的文件。) -bash: ./dateShell.sh: /bin/bash^M: bad interpreter: No such

额外说明

解决Windows中d3dx9_31.dll丢失问题

其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或者损坏了,这时你只需下载这个d3dx9_31.dll文件进行安装(前提是找到适合的版本),

额外说明

如何在WooCommerce中安排优惠券(并节省时间)

您是否曾想在您的在线商店上安排优惠券? 您是否曾想在您的在线商店中安排优惠券? 安排优惠券可让您轻松开展季节性或时间敏感的销售活动,而不必担心在特定时间打开/关闭它。 通过安排优惠券,您可以轻松地开展季节性或时间敏感的促销活动,而不必担心在特定时间打开/

ads via 小工具