在使用Scrapy框架进行爬虫时，执行爬虫文件的方法是 scrapy crawl xxx ，其中 xxx 是爬虫文件名。
但是，当我们在建立了多个文件时，使用上面的命令时会比较繁琐麻烦，我们就可以使用下述方法同时完成爬虫文件的执行。
第一种，在scrapy框架下建立一个运行文件，如 run.py ，在文件中建立一个列表，列表为爬虫的执行命令，最后通过循环执行 execute() 函数完成执行。执行时使用 python run.py 命令即可。如下面的代码所示
from scrapy.cmdline import execute
spiders = [
'scrapy crawl liepin',
'scrapy crawl lagou'
]
if __name__ == '__main__':
for i in spiders:
execute(i.split())
第二种，我们还可以使用自定义项目命令 COMMANDS_MODULE 添加自己的命令完成执行。
在爬虫文件所属的文件夹同级目录下创建任意目录，如command，在文件夹下创建命令文件，如crawlall.py，此文件的名称就是我们自定义的命令。例子代码如下
from scrapy.commands import ScrapyCommand
from scrapy.utils.project import get_project_settings
class Command(ScrapyCommand):
requires_project = True
def run(self,args,opts):
spiders_list = self.crawler_process.spiders.list()
for name in spiders_list:
self.crawler_process.crawl(name,**opts.__dict__)
self.crawler_process.start()
在scrapy项目的配置文件 settings.py 中添加 COMMANDS_MODULE = '项目名称.目录名称' 。至此命令添加完成，最后执行命令 scrapy xxx 进行执行(此处的xxx就是上面建立的文件名，如 scrapy crawlall )。
