爬虫技术可以自动抓取分析网络中的信息，现在被广泛用于互联网搜索引擎中。爬虫开发工程师利用此技术搭建数据架构来完成平台数据收集分类以加快信息反馈。
爬虫开发工程师岗位职责有：
1、熟练使用Python，具有开发爬虫工具的能力；
2、熟悉Unix命令并了解Windows操作；
3、负责公司爬虫的技术调研工作并进行优化；
4、维护公司现有爬虫系统，分析并抓取多平台多数据；
5、负责互联网信息的特征归类，并按照结构特征和变化趋势进行数据建模；
6、设计和开发分布式爬虫和数据采集系统的架构，进行互联网相关信息的抓取和分析；
7、负责大规模信息的抓取、分类、过滤和识别工作；
8、负责制定反爬虫技术的安全方案；
9、把控程序的运行状态，及时发现并解决故障问题；
10、根据爬虫系统的缺陷问题，及时对信息架构的搭建进行调整改进。