爬虫已死？不，它只是进化了
爬虫已死？不，它只是进化了
——从手写 XPath 到 AI 自动化，数据采集正在经历第三次范式迁移
作为一个在爬虫坑里摸爬滚打了快5年的老玩家，我至今还记得第一次写出能跑通的爬虫时的兴奋：几行requests加BeautifulSoup，对着网页F12扒出class名，敲完代码按下运行键，看着终端里哗哗输出的数据，那种"我能掌控整个网页"的快感，简直比喝了冰可乐还爽🥤。
但这种快感就像夏天的冰淇淋，融化速度快得离谱。没过多久我就发现，今天刚写好的爬虫，明天网站一改版就直接罢工；好不容易搞定了登录Cookie，对方反手加了个滑块验证；IP池刚充了钱，转眼就被封了大半……慢慢的，写爬虫的乐趣被无休止的维护工作磨得一干二净。
第一代爬虫：