和许多小伙伴一起写的资源下载项目 https://github.com/opennaslab/kubespider ,目前支持:
资源提供器 | 是否支持 | 用途 |
---|---|---|
mikanani 资源提供器 | 是 | 全自动动漫追番 |
btbtt12 资源提供器 | 是 | 实现链接触发下载,简化下载流程 |
meijutt 资源提供器 | 是 | 自动追美剧 |
YouTube 资源提供器 | 是 | 触发下载 YouTube 视频 |
Bilibili 资源提供器 | 是 | 触发下载 Bilibili 视频 |
通用 rss 资源提供器 | 是 | 自动下载 rss 订阅资源 |
魔法资源提供器 | 是 | 触发下载通过 xpath 配置的内容资源 |
抖音资源提供器 | 是 | 触发下载带水印的抖音视频 |
最近灵感枯竭,还有什么有意思的下载场景吗? 当然,也欢迎各位 V 友加入,一起完善。
1
LokiSharp 2023-07-04 10:07:03 +08:00
加个火狐插件?
|
2
Sanchia 2023-07-04 10:27:44 +08:00
难道就没有一个场景是,我把内容链接直接扔进去,后台自动给我去解析并下载(离线下载)
一般而言,在能接触 nas 的时候,我是不会下载任何东西的,因为我要用,他会抢我网速。所以基本上我都是在外面通过各种方式连回家里的离线下载管理,然后添加下载任务。 |
4
MuSeCanYang 2023-07-04 10:28:14 +08:00
微博和 twitter 的下载场景也挺常见的。其他的好像就没啥了,我看你还支持百度。 国内的下载场景应该是全覆盖了。
|
6
cesign OP @MuSeCanYang 微博是下载什么,图片?视频?
|
7
Sanchia 2023-07-04 10:33:21 +08:00
哦哦,因为我看 github 并没有提及这块内容,所以就提出来了。
|
8
MKCHJN 2023-07-04 10:41:50 +08:00
+个 bilibili/acfun/tiktok
最好能自动刮削生成对应视频的 nfo 信息文件及对应图片,方便视频管理器调用 |
9
cesign OP @MKCHJN bilibili 和 tiktok 以支持,acfunc 我记录一下
这个自动刮削没看过,不知道难度咋样,我看看 |
10
xblvesting 2023-07-04 11:17:53 +08:00 1
能支持对 B 站和 youtube 的订阅下载么?当 up 主更新后自动下载
|
11
cesign OP @xblvesting hello ,这个正在做
|
12
mozhizhu 2023-07-04 11:21:23 +08:00
98t 要不要搞一个……
|
13
cesign OP @xblvesting 大佬有兴趣来一起实现一下吗
|
16
Sanchia 2023-07-04 11:31:12 +08:00
请问,怎么写自己的插件呢。我在文档内并未发现这块的说明,或者是说需要自己实现搜刮功能,然后调用 Kubespider 的下载触发?
|
18
cesign OP @Sanchia 如果想实现自己的插件,可以看 API 文档: https://github.com/opennaslab/kubespider/blob/main/docs/zh/user_guide/api_docs/README.md
刮削(特指海报墙什么的)这个得自己实现,如果你指解析网站内容,触发下载,这个实现一个 kubespider 里面得一个组件即可 |
19
zhady009 2023-07-04 13:29:35 +08:00
之前看了一下和我的项目不太好配合起来,这周我也打算做一个浏览器的扩展发送给处理器处理
https://github.com/shoaky009/source-downloader 不过目前上手难度大没 ui 文档也需要补充,最终形态应该就是有类似 helm 的东西根据场景出模版配置几个参数就行 |
20
Juszoe 2023-07-04 13:31:09 +08:00 1
点进去发现已经 star 了。另外,有通知系统吗(邮件、微信、飞书之类)?更新了推送通知
|
21
scal 2023-07-04 13:42:12 +08:00
能不能下付费后的资源,比如网飞~~~哈哈
|
22
neotaburiss 2023-07-04 14:03:33 +08:00
其实我想问下,..这个能不能下载 bilibili 大会员专属的内容 还有 弹幕
|
23
x86 2023-07-04 14:04:20 +08:00 1
javbus 资源提供器
|
24
darksword21 2023-07-04 14:10:51 +08:00 1
能类似 ptplus 那样添加 pt 站然后搜索下载吗
star 很久了一直没有折腾哈哈哈哈 |
26
cesign OP @neotaburiss 不支持,会被律师函
|
27
cesign OP @darksword21 这个正在做
|
29
MuSeCanYang 2023-07-04 14:38:43 +08:00
@cesign #6
就和抖音一样,很多第一线的新闻啥的都会发微博,但是经常会被封,所以就想下载下来。 一般都是视频。图片可以自己用手机保存。 |
30
xinmans 2023-07-04 14:39:44 +08:00
已经基于迅雷的 api 做了集成,很棒
|
32
xiamy1314 2023-07-04 14:52:55 +08:00
目前用 PT ,一键也挺好。
|
33
tediorelee 2023-07-04 15:03:57 +08:00 via iPhone
unraid 怎么安装捏
|
34
cesign OP @tediorelee 可以社区提个 issue ,有个小伙伴是用的 unraid
|
35
JoeoooLAI 2023-07-04 15:15:33 +08:00 1
牛,全自动追番追美剧
|
36
efsg 2023-07-04 15:16:07 +08:00
我有个大胆的想法,NAS 自动 Pixiv 和 Twitter 抓取器
|
37
zenxds 2023-07-04 15:17:32 +08:00
|
39
jier17cm 2023-07-04 15:21:58 +08:00
nas 难道不是配合 pt 耍的吗..
|
42
lujiaosama 2023-07-04 15:23:32 +08:00
有啥音乐下载的项目集成么.
|
43
superchijinpeng 2023-07-04 15:23:58 +08:00
|
44
zephyru 2023-07-04 15:46:07 +08:00
看起来挺有意思的,先装起来试试。
看了下,解析和下载应该是分开的吧? 能否支持类似,先把解析的东西存起来,等下载的电脑开起来了,再推送下载类似这样的功能? 就是,解析,下载,以及 Jellyfin 之类的,不在同一台电脑下这样的场景?能否通过某种方式组织起来? |
45
cesign OP |
46
willie1991 2023-07-04 16:38:25 +08:00
比较需要是全自动,看了下 b 站是要手动发送到下载器吧?
|
47
cesign OP @willie1991 后续支持自动下载收藏视频,或者 up 主更新视频
|
48
M5tuA 2023-07-04 16:56:23 +08:00
保存网页算吗?有些网页内容要不违规要不就 404 ,
|
49
willie1991 2023-07-04 17:02:41 +08:00
@cesign #47 先关注了,后续更新再用
|
50
hs444 2023-07-04 17:23:47 +08:00 1
好东西,回去试试,之前为了自动追番自己撸了一个简易的工具,现在看来可以被替换掉了
|
52
sickoo 2023-07-04 19:06:39 +08:00
hanime1.com 这个可以吗?简单的动漫,偶尔的需求
|
53
zhonj 2023-07-04 20:34:34 +08:00
极空间能用吗?
|
56
cue 2023-07-05 00:01:45 +08:00 via iPhone
每天晚上自动录新闻联播。
|
57
e1d4py0KiD6KgqkQ 2023-07-05 08:15:42 +08:00 via Android
Windows 可以吗,我就普普通通的用户,会一点点爬梯子
|
59
hafung 2023-07-05 10:21:04 +08:00
群晖套件中心 有上架吗 可以直接装吗? 或者打包好的 docker 镜像
|
60
colinyn428 2023-07-05 10:35:02 +08:00
请问支持威联通( QNAP )吗?我看容器里能搜到,但是不知道怎么配置
|
61
zephyru 2023-07-05 10:40:48 +08:00
@cesign
昨天装了个试了下,今天简单的看了下结构,的确是挺有意思的,我简单提提我的想法,你可以感受下有没有必要。 感觉上 kubespider 做了链接解析和调度。 下载部分虽是单独的模块,但为了便于使用和简单部署,实际最好是部署在同一台机子上。 有兴趣其实可以拆成两部分,解析的部分,也就是现在的“本体”,解析的结果不是直接去调下载模块,而是搞个消息队列(比如用 sqlite 模拟一个),下载模块通过消息队列与“本体”通信,根据类型去消费。 在这个模式下,下载模块可以不需要对外暴露端口( pt 下载的另算) 单机模式下,这样的好处是便于控制,有的时候希望把下载的内容先加进去,晚些时候再下,也能比较容易的做下载记录的展示,可以减少暴露的端口(收缩关注的点)。 同时提供了多机的可能,本体可以做为注册中心,下载可以分在别的机子上,有需要的话也能做同步功能,增加应用场景。 坏处则是会增加不少复杂度,最后还是看有没有必要吧,这种架构层面的变更往往吃力不讨好。 |
62
cesign OP |
63
cesign OP @zephyru “解析的结果不是直接去调下载模块,而是搞个消息队列(比如用 sqlite 模拟一个),下载模块通过消息队列与“本体”通信,根据类型去消费。
在这个模式下,下载模块可以不需要对外暴露端口” 这个比较有意思,可以做相关下载监控,大佬有兴趣一起来搞搞吗? |
64
zephyru 2023-07-05 14:30:52 +08:00
@Cesign
有时间我会关注一下..不过我对 Python 不是很熟悉,准备先进行研究。 话说,我刚看了一眼开发文档.. 为什么不考虑在开发模式的镜像中直接挂载代码? 就是做镜像的时候不复制代码,做完时候把路径挂进去.. 这样容器内代码是实时的,再配合 watchdog 就可以方便热更新了。 嘛,也是提升开发体验的小点,这块我可能可以先弄弄 |
68
lidalu 2023-07-06 00:29:50 +08:00 via Android
Instagram 支持吗?
|
69
kyoma 2023-07-06 10:07:47 +08:00
下载其实还好,主要是搜刮真的好麻烦,我刚入门不久,现在用 tmm 搜刮的,整理起来真的费心费力,有无大佬指教下正确的 nas 搜刮姿势,注:我是用的 emby 开心版
|
70
maijh 2023-07-06 14:41:36 +08:00
@cesign 希望 chrome 插件可以+猫抓这种嗅探工具,支持右键选中目标探出的 m3u8 文件,自动解析下载,这样就完美了
|
71
k0njaccc3 2023-07-06 14:49:19 +08:00
能否添加一个 github 的自动同步功能,把 github 的一些优秀项目自动 clone 到本地。期望是我输入链接,自动下载和自动更新
|
72
LipGallagher 2023-07-06 16:35:33 +08:00
已经跑起来了,下载 bilibili 收藏很好用,就是大佬能加下 telegram bot 支持吗,包括消息的通知和丢链接进去启用下载
|
73
cesign OP @LipGallagher 等我有时间,加一下。当然也欢迎大佬一起来构建
|
77
kungsun 2023-07-07 21:55:30 +08:00 1
@cesign op 能不能把 kubespider-Chrome 插件弄成压缩包,直接以链接形式放在说明文档里,我翻了 10 几遍才在 kubespider 文件夹里找到。
|
78
itsjoke 2023-07-14 17:18:49 +08:00
@cesign 有一点儿不明白,望指教。为何要自己单独弄一个 Docker 镜像,而不直接用原镜像呢?比如 aria2 不是直接用 p3terx/aria2-pro 更容易让人理解吗?为了国内大陆这个参数?
|
80
hafung 2023-07-18 14:20:15 +08:00
可以替代 nastool 吗 或者说 这算是类 nastool 的应用了吧?
|
82
zhouhaolong2 2023-07-21 18:48:40 +08:00
B 站 UP 更新自动下载很需要
|
83
Rookie01 2023-08-10 19:46:30 +08:00
马克,有空研究一下
|
84
hsczy 139 天前
一个问题,我全部配置完成之后,在 b 站试用了一下发现只能下载网页没有办法解析出视频。是哪一步没有配置成功么?
|