没有输出的输入是不完整的

0%

因为平时我们在写代码的时候都会依靠于debug来进行调试,
那么一般通过命令行启动的scrapy项目要如何进行dubug呢?

阅读全文 »

在用scrapy进行数据爬取的时候,发现通过meta传递的数据不匹配,最后发现是深拷贝和浅拷贝的问题。

阅读全文 »

在看scrapy-cluster源码的时候发现了一个非常实用的包-tldextract,
可以非常方便的抽取出一个url的域名作为redis的key的一部分,感觉很神奇。所以记录一下。

阅读全文 »

在写爬虫的时候遇见了一个bug,报错信息为 Filtered offsite request domain[‘mydomain’],
从网上找到了答案并成功解决了问题,特别记录一下。

阅读全文 »

本文为c++容器系列第九篇.
主要测试了stack相关的方法,主要作为代码备份方便之后遗忘时查询。

阅读全文 »

本文为c++容器系列第八篇.
主要测试了queue相关的方法,主要作为代码备份方便之后遗忘时查询。

阅读全文 »

本文为c++容器系列第七篇.
主要测试了multimap相关的方法,主要作为代码备份方便之后遗忘时查询。
map,multimap,unordered_map,unordered_multimap仅仅有稍许差别,方法和multimap基本类似,所以不再另行写文章啦。

阅读全文 »