 |
xoxo419V2EX 第 233357 号会员，加入于 2017-06-01 08:34:08 +08:00今日活跃度排名 5265
 11  9  |
xoxo419 最近回复了
8 小时 19 分钟前 回复了 xoxo419 创建的主题 › 问与答 › 存了一些音乐在阿里云盘上，今天打算下载回来，发现文件已被冻结无法下载了。有什么办法可以解冻吗 |
@ggmood 看不到原因，晚上回去改下看看
1 天前 回复了 igtheshyy 创建的主题 › NAS › 家庭低配版 NAS 方案，大家看下是否可行？ |
@igtheshyy #39 内存是 4GB 你说的那个内存是 eMMC 吧
2 天前 回复了 igtheshyy 创建的主题 › NAS › 家庭低配版 NAS 方案，大家看下是否可行？ |
Z2 Pro 32G 京东 830 吗？ 怎么我看到的都是只有 4G 的 才是 800 多的。 😩
4 天前 回复了 PaPaBoom 创建的主题 › NAS › 卧槽 NAS 都能用国补了？立减 15%！ |
拼西西下单了 z2pro 2 盘位: 826.61 磁盘：希捷 ST8000VN004-8TB: 1064.83 🙊 第一次在拼上买，不知道靠谱不。 😂
18 天前 回复了 xoxo419 创建的主题 › 问与答 › 使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ |
@clysto #4 但这样每部署一台服务器是不是就都需要修改下 PYTHONPATH 变量呢。
现在用的一种方式基本可以实现但还是有一点不太好，就是每次要修改 setting.py 的路径
本地开发的项目结构
scrapy 项目 A
|--project_scrapy_A
|--|--project_scrapy_A
|--|--|--setting.py
scrapy 项目 B
|--project_scrapy_B
....
scrapy 项目中用到的公共代码函数和类等等
|--Project_common
|--init.py
|--helper.py
项目 A 使用公共项目的方式。
project_scrapy_A/project_scrapy_A/setting.py
import sys
import os
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '../..')))
project_scrapy_A/project_scrapy_A/spider/demo.py
from common.helpers import storage_response
部署用的是 gerapy
直接压缩 project_scrapy_a 上传是不行的。 需要把 Project_common 复制到 project_scrapy_a/目录下然后修改 setting.py 的路径 。这个步骤用命令去完成。 目前大致感觉就先只能这样处理了
现在用的一种方式基本可以实现但还是有一点不太好，就是每次要修改 setting.py 的路径
本地开发的项目结构
scrapy 项目 A
|--project_scrapy_A
|--|--project_scrapy_A
|--|--|--setting.py
scrapy 项目 B
|--project_scrapy_B
....
scrapy 项目中用到的公共代码函数和类等等
|--Project_common
|--init.py
|--helper.py
项目 A 使用公共项目的方式。
project_scrapy_A/project_scrapy_A/setting.py
import sys
import os
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '../..')))
project_scrapy_A/project_scrapy_A/spider/demo.py
from common.helpers import storage_response
部署用的是 gerapy
直接压缩 project_scrapy_a 上传是不行的。 需要把 Project_common 复制到 project_scrapy_a/目录下然后修改 setting.py 的路径 。这个步骤用命令去完成。 目前大致感觉就先只能这样处理了
18 天前 回复了 xoxo419 创建的主题 › 问与答 › 使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ |
18 天前 回复了 xoxo419 创建的主题 › 问与答 › 使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ |
@EndlessMemory #1
封装的代码是写到哪个位置呢
project_scrapy_A 这是 scrapy 项目的根目录
project_scrapy_B
project_common 这个是封装出来的代码 然后 A 和 B 来引用 这样吗
封装的代码是写到哪个位置呢
project_scrapy_A 这是 scrapy 项目的根目录
project_scrapy_B
project_common 这个是封装出来的代码 然后 A 和 B 来引用 这样吗
26 天前 回复了 poporange 创建的主题 › 问与答 › 求大佬推荐便宜域名购买方案 |
今天刚买了 6 位纯数字.zxy 80 元 10 年 渠道腾讯云
81 天前 回复了 xoxo419 创建的主题 › 程序员 › 第一天玩爬虫就遇到 418 恼火 -______------- |
@xiaoriri666 #1 😃 tls-client 用了这个马上就好了~
Select Language