Maerd 最近的时间轴更新 Maerd 最近的时间轴更新 |
MaerdV2EX 第 633209 号会员，加入于 2023-06-09 11:25:45 +08:00 |
Maerd 最近回复了
12 天前 回复了 bwijn 创建的主题 › Python › scrapy 的 item 队列把内存挤爆 |
pipeline 处理 item 比抓取还慢？那要考虑你的储存架构设计方式了，自己存东西怎么会比爬慢
如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了
还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy
如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了
还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy
36 天前 回复了 HawkinsSherpherd 创建的主题 › Python › 有什么好办法限制 Python 的内存分配吗？ |
这种大文件，就不适合在内存中操作，正确的方法是使用虚拟内存
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换
45 天前 回复了 Maerd 创建的主题 › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@feiniu 只要 app ，之前是爬阿里的也可以，现在还在招聘
59 天前 回复了 Maerd 创建的主题 › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@AFOX 是电商数据吗？可以加个微信聊聊？
59 天前 回复了 Maerd 创建的主题 › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@HenryHe613 我们这边领导没那么多条条框框，招的人能解决问题就行
128 天前 回复了 Chrisz2zz 创建的主题 › 程序员 › 国内开发者会为什么产品买单呢 |
copilot
128 天前 回复了 godFree 创建的主题 › Android › 求助使用一加手机并 Root 的大佬现身说法 |
APatch 自身是有这个功能的
136 天前 回复了 pureGirl 创建的主题 › 程序员 › 爬虫和网络安全这两个方向相关度高吗？ |
爬虫必备的逆向技术就是指纹伪造，反混淆，指令去花，虚拟机反编译，还有汇编和脱壳，动态调试，沙盒、安卓系统二次开发，反验证码等等，这些需要你对网络协议、编译原理、操作系统、以及安全方面有深刻的理解
此外的话还需要框架开发能力，如何设计好一个高可用，支持弹性扩容和高并发的爬虫框架，并支持海量数据存储
从严格意义上来说，爬虫的逆向部分属于网络安全的属于一个子集，而框架开发技术属于后端概念
此外的话还需要框架开发能力，如何设计好一个高可用，支持弹性扩容和高并发的爬虫框架，并支持海量数据存储
从严格意义上来说，爬虫的逆向部分属于网络安全的属于一个子集，而框架开发技术属于后端概念
143 天前 回复了 yigefanqie 创建的主题 › 程序员 › 各位 V 友大佬们下午好，请教个算法的小白问题，关于 SM2 算法。 |
功能上一致就行了，不需要考虑那么多
143 天前 回复了 jiaoguan1688 创建的主题 › 职场话题 › 我的隔壁桌来了个同事,让我有点厌烦 |
丽丽：是中国人就说你好，一德格拉米
Select Language