Python爬虫工程师

海外数据采集爬虫工程师
负责亚马逊多站点、海外社交媒体平台商品、热点内容采集，独立完成爬虫开发、反爬对抗、性能调优与站点维护。需要具备分布式爬虫实战经验，能独立做资源评估、压测、内存 / 并发优化
岗位职责
1. 负责亚马逊各站点、海外社媒平台爬虫开发与迭代，采集商品基础信息、价格、变体、评论、榜单、社媒帖子、热点、互动数据，保障数据时效性、完整性与采集成功率。
2. 研究目标站点风控体系，应对 Cloudflare、Akamai、Datadog 等 WAF、设备指纹、验证码、行为检测等反爬机制，持续迭代绕过方案，提升爬虫稳定性。
3. 基于 Python 搭建 / 维护分布式爬虫，结合 Redis、Kafka 等中间件完成任务分发、队列管理、数据上报；独立做并发控制、请求限流、数据去重、异常重试。
4. 负责爬虫性能调优、资源评估与压测，定位 OOM、CPU 占满、请求超时等性能瓶颈，优化代码逻辑、调度策略，避免单纯依靠增加机器解决性能问题。
5. 爬虫模块代码规范、模块拆分，编写采集监控告警，跟踪站点页面结构变更，快速修复站点改版带来的爬虫失效问题。
6. 和业务、数据团队对齐采集需求，输出采集方案、字段清单，完成采集后的数据清洗预处理，对接下游存储与 ETL 流程。
7. 跟进海外站点反爬策略更新，沉淀通用反爬、代理 IP 池管理、指纹伪装等可复用采集组件。
8. 遵守网络采集相关合规要求，评估采集行为风险，控制请求频率，保障采集工作合规。

任职要求
1.统招本科学历以上计算机及相关专业， 3 年及以上爬虫实战经验，有亚马逊、海外社媒（TikTok/IG/X 等）采集项目落地经验优先。
2. 扎实 Python 基础，熟练掌握列表、集合底层原理、迭代器、生成器、装饰器、上下文管理器，理解 Python 内存模型，能排查内存泄漏、OOM 问题。
3. 熟悉 HTTP/HTTPS 协议、JS 逆向、动态页面抓取；熟练 Scrapy、Playwright 等爬虫框架；熟悉 Redis 消息队列、Kafka 数据上报链路。
4. 有分布式爬虫落地经验，能独立设计并发策略、任务调度、数据去重；可做压测、资源评估，分析 CPU / 内存瓶颈并优化。
5. 有对抗 Cloudflare、Akamai 等海外 WAF 实战经验，熟悉验证码识别、代理池管理、请求指纹伪装。
6. 具备独立项目复盘能力，遇到采集失败、资源瓶颈，优先代码优化、架构优化，而不是简单横向扩容堆机器。