这是一个创建于 894 天前的主题，其中的信息可能已经有所发展或是发生改变。
用 python ，有两三年了，最近刷 b 站和抖音都有点迷茫了
目前是在公司做爬虫，说是搞爬虫，其实大家都知道，就是堆 ip ，堆机器，堆算力
逆向的，自己能看懂就逆，看不懂就去市场上收接口，或者干脆就是 selenium 堆几个服务器，或者图色冲了
ip 的，虽然搭了采集网上免费的，但是多数也是直接花钱冲
算力是，看验证那部分，用开源的训练，图形，或者语音
现在公司就我和另一个同事在维护了，它负责运维，我负责爬和洗，也是一样的 python
好迷茫，说实话，公司的任务是完成了，
但是没有什么成就，自己兴趣就写了一些游戏签到的脚本，搭了个养号的框架，日常撸羊毛
像是羊毛线报，活动抢购，虽然也写，但是那些放 github 上 也不能自豪的说“大家快来看看”这样
日常也是一边上班一边接私活，虽然活多，但是也没有进步，基本就是爬虫一套撸下来
感觉自己更像一个脚本小子，连初级都不算，项目也是直接抄开源就用
今天看了工作区，虽然有几家收 python ，但是我竟然连工作要求都看不懂...里面提的框架我甚至没用过
然后去搜了中级工程师，什么百万并发流量支撑，说实话，我爬虫，一秒 200 下的频率都很少开，就怕别人网站撑不住或者风控，这差距真的太大了
写的有点乱，网抑云了，大佬轻喷，不知道是不是应该去报个线上培训班什么的看看，或者干脆转语言什么的？
目前是在公司做爬虫，说是搞爬虫，其实大家都知道，就是堆 ip ，堆机器，堆算力
逆向的，自己能看懂就逆，看不懂就去市场上收接口，或者干脆就是 selenium 堆几个服务器，或者图色冲了
ip 的，虽然搭了采集网上免费的，但是多数也是直接花钱冲
算力是，看验证那部分，用开源的训练，图形，或者语音
现在公司就我和另一个同事在维护了，它负责运维，我负责爬和洗，也是一样的 python
好迷茫，说实话，公司的任务是完成了，
但是没有什么成就，自己兴趣就写了一些游戏签到的脚本，搭了个养号的框架，日常撸羊毛
像是羊毛线报，活动抢购，虽然也写，但是那些放 github 上 也不能自豪的说“大家快来看看”这样
日常也是一边上班一边接私活，虽然活多，但是也没有进步，基本就是爬虫一套撸下来
感觉自己更像一个脚本小子，连初级都不算，项目也是直接抄开源就用
今天看了工作区，虽然有几家收 python ，但是我竟然连工作要求都看不懂...里面提的框架我甚至没用过
然后去搜了中级工程师，什么百万并发流量支撑，说实话，我爬虫，一秒 200 下的频率都很少开，就怕别人网站撑不住或者风控，这差距真的太大了
写的有点乱，网抑云了，大佬轻喷，不知道是不是应该去报个线上培训班什么的看看，或者干脆转语言什么的？
第 1 条附言 · 2022-06-05 19:53:22 +08:00
感谢大家回复，昨晚网抑云，乱写一通，看了留言确实跟业务有关系
但是一下子也想不到转到什么方向，python ，我目前知道就是爬虫，ai ，后端了
ai ，肯定不行，我开源调参侠，后端的话，会尝试的
推介海外代理的话，
大家直接谷歌就好了，
越是排名靠前的越是靠谱，因为业务不行，是没办法维持 seo 的排名的
记得小量测试，避开竞价广告的
但是一下子也想不到转到什么方向，python ，我目前知道就是爬虫，ai ，后端了
ai ，肯定不行，我开源调参侠，后端的话，会尝试的
推介海外代理的话，
大家直接谷歌就好了，
越是排名靠前的越是靠谱，因为业务不行，是没办法维持 seo 的排名的
记得小量测试，避开竞价广告的
 |
1
yunser 2022-06-04 23:25:57 +08:00
不要把自己限死在爬虫领域。
|
 |
3
jeeyong 2022-06-04 23:43:19 +08:00
我和你的工作内容差不多... 运气好的是我的"客单价"可能更高...
越来越感觉走不通了...这条路是个死胡同.. 实名越来越完善, 大部分服务登录才可以继续使用. 这一点就极大的拉高了爬虫的成本. 试图解决这个问题, 解决的越多你离刑法就越近... 做完手上这个系统, 我就不准备做爬虫相关了..估计能再吃个 2,3 年...然后用这段时间开始转型.. 我准备看的方向. 主线: c#和 unity.. 我觉得下一个风口和生产力提升的方向是元宇宙, 至少算一个. 所以看游戏开发这块的知识, 能做最好, 做不了起码懂一些.. 说服了一个投资人做元宇宙方向, 目前通过朋友间的了解和市场调研, 发现, 至少能实现短期内产生流水..回笼部分资金. 支线: 有条件继续熟悉了解 js 吧.. 到现在我只能看懂 js, 让我上手写我就懵逼.. 而且基于 webgl 的 3d 也是个低成本尝试的手段.. 另外更多的兴趣角度, 想重新捡起来 C/C++看看. |
 |
4
defunct9 2022-06-05 07:01:30 +08:00 via iPhone
求推荐 ip 代理提供商
|
 |
5
Donahue 2022-06-05 09:47:31 +08:00
干脆自己开一个培训班 (doge)
|
 |
6
anonymous256 2022-06-05 14:28:20 +08:00
不要局限于一个小的方向吧，多关注语言自身的特性和设计，关心更多的编程语言、系统、算法，视野也就更开阔了。
|
 |
7
LeeReamond 2022-06-05 14:41:39 +08:00
爬虫的业务本身太单纯了，本质上就是发送 http 请求的字符串，然后处理收回的字符串，文科类大学生经过三个月培训班也能做，所以你的发展潜力仅限业务上而不是技术上。业务上大环境对爬虫不会友好，可以试想一下如果反之的话，你深耕业务就可以很滋润了，不会有类似的疑问。
高并发的问题是你业务上没遇到。以前公司接过一个业务做金融数据实时接口，被调用方不确保服务可用性，失败率大概跟跨国丢包率差不多，峰值时段可能有 20%以上超时请求，在此基础需要封装一个数据强一致且能实时调用的接口。当时在分布式信息一致性和实时分析上下了很大功夫，但是本质上也跟请求本身无关。只能说业务场景还是很影响技术的上下限，建议 LZ 要不然彻底放弃爬虫，要不然找个业务实在的公司 |
 |
8
l4ever 2022-06-05 14:58:42 +08:00
求推荐 ip 代理提供商, 目前用的 IP hai(避免广告嫌疑, 中文用拼音了),
感觉还行,但是经常提到重复的代理. |
 |
9
bavtoex 2022-06-05 15:04:35 +08:00
OP 有 tg 联系方式吗？
私活 |
 |
10
SmiteChow 2022-06-05 15:21:22 +08:00
不用谦虚，人生就是这样，你以为你是脚本小子，别人眼里你就是天才。
|
 |
11
996bujiaban OP @jeeyong 谢谢，刚刚有去看了你之前留言的 简历，
看到你有搞快排和 训练验证码，这部分确实很像， 其实我也感觉爬虫不好搞了，特别是国内的，但是一时没什么方向， 你说的如果是币圈的话，我也是在布局了，或者养号吧 支线的话，我也是觉得 js 得继续学，技多不压身嘛 |
|
12
996bujiaban OP @yunser 谢谢，但是没什么思路，python ，我目前就知道爬虫，和 ai ，但是我是开源调参侠，ai 实在不行
|
|
13
996bujiaban OP @anonymous256 谢谢，会尝试看下的
|
|
14
996bujiaban OP @LeeReamond 确实，我也感觉是跟业务有关联，但是 python ，除了爬虫，一下子也不知道去做什么业务了，ai 确实不行的
|
|
15
996bujiaban OP @SmiteChow 感谢
|
 |
16
cocoakekeyu 2022-06-05 22:29:41 +08:00
github 的地址呢，你觉得一般别人还没做过的呢
|
 |
17
jiangzhizhou 2022-06-06 00:15:16 +08:00
@jeeyong
@996bujiaban 爬虫这类业务在海外都算灰产，国内只是法律没来管而已。做小工具问题不大，Python 确实很适合做小项目自己玩。PY 也可面向对象做框架，和其他语言其实差别没那么大。 高并发这类业务在海外云都给你解决好了，一般也不需要自己来搞。做同样的事情，大学生创业，小公司，百亿级，千亿级，万亿级别的公司需要的完全是不同的技术和业务能力。 我一直觉得，沟通理解能力比技术能力要重要。（实在不知道学什么就学雅思托福） 工作中能提出解决这个问题的方案比拿着技术证书讨一份工要好很多。 |
 |
18
codefun666 2022-06-06 09:56:21 +08:00
Python 和 C++混合使用。Python 是 wrapper ，虽然开发效率高，但性能还是差太多。
|
 |
19
chendajun 2022-06-06 11:20:11 +08:00
情况一模一样：同样是 python 写爬虫，普通的爬虫用 scrapy ，需要登录验证的就定制开发。辞职后突然不知道方向了。其实自己反思一下最重要的是基本功不扎实，深度不够。
|
 |
20
wersonliu9527 2022-06-06 16:27:40 +08:00
四非(二本非计算机专业)转 python ，python 工作第四年。之前都是爬虫，难的 js(瑞数,极验)，app(抖音小红书)搞不了，四月份换工作了虽然薪资 30%，但是工作内容主要 pandas ，numpy 处理下数据。感觉前途渺茫
|
 |
21
monetto 2022-06-06 17:00:37 +08:00
个人意见：
中高级开发工程师 一定不会局限于 语言 这个层面。 厉害的开发，不是会多少语法糖，写出多牛逼的代码。 一定是最了解如何抽象业务，如何设计系统，如何用最简单最可靠的方式解决现有的问题。 而不是仅仅局限于 语言 这个层面。 Python 的语法糖还是非常多的，但是个人理解，在大型的业务系统中，不要过多的使用语法糖，或者简化写法。这会让下一个维护的人成为噩梦。 |
|
22
jeeyong 2022-06-06 19:17:42 +08:00
|
 |
23
zeusho871 2022-06-07 07:59:33 +08:00 via Android
情况和我一样，我不仅做爬虫还做代理 ip 啥的，web 会一点，感觉技术遇到瓶颈了。现在准备学 ue5....
|
Select Language