基于Python的關于Flickr圖片網(wǎng)站的爬蟲

王金峰 李世良 王明 羅星宇 張雪玉

【摘 要】如今的互聯(lián)網(wǎng)已然進入大數(shù)據(jù)時代，網(wǎng)絡上有數(shù)以百計的圖片，圖片網(wǎng)絡爬蟲可以通過既定的規(guī)則自動地抓取互聯(lián)網(wǎng)上的圖片并下載至本地存儲，通過對國內外各大圖片網(wǎng)站的調查研究，決定以國外網(wǎng)站Flickr為對象通過Python程序設計語言來實現(xiàn)獲取高質量的，準確的，完整的圖片和信息。最終成功實現(xiàn)了對Flickr網(wǎng)站上的圖片按照檢索的字段，批量爬取圖片信息并下載圖片的程序。

【關鍵詞】Python ;網(wǎng)絡爬蟲 ;Flickr ;多線程;圖片

【Keywords】Python; web crawler; Flickr; multithreading; picture

【中圖分類號】X87? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文章編號】1673-1069（2019）01-0182-02

1 引言

隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)具有數(shù)據(jù)體量巨大 （Volume） 、數(shù)據(jù)類型繁多 （Variety） 、價值密度低 （Value） 、處理速度快 （Velocity） 的特點[1]。面對人們越來越多樣的需求[2]，可以根據(jù)自己的實際需求， 繼續(xù)修改程序來達到自己的要求[3]。程序按照一個檢索詞列表進行批量爬取，并把圖片信息存入數(shù)據(jù)庫中。本文提供了一個通過Python調用Flickr API實現(xiàn)通過關鍵字檢索獲取圖片信息并批量下載的程序。

2 相關技術

2.1 Python

Python是一種計算機程序設計語言，是一種動態(tài)的、面向對象的腳本語言。Python語言的一大優(yōu)勢就是其語法簡潔清晰，并具有豐富和強大的類庫[5]，這為程序的編寫提供了極大的便利使得數(shù)據(jù)抓取工作變得生動有趣[6]，從而簡化了程序。

2.2 Flickr API

Flickr是雅虎旗下的圖片分享網(wǎng)站，上面有全世界網(wǎng)友分享的大量精彩圖片，被認為是專業(yè)的圖片網(wǎng)站。

3 爬蟲系統(tǒng)工作

系統(tǒng)分為兩部分：第一部分即調用Flickr API獲取圖片等數(shù)據(jù)，第二部分即根據(jù)數(shù)據(jù)庫中的圖片Url下載圖。獲取圖片信息的流程圖如圖1所示，下載的流程圖如圖2所示。

4 結語

本文的爬蟲通過調用Flickr API和Python豐富的第三庫實現(xiàn)了對Flickr網(wǎng)站上的圖片和圖片信息進行批量爬取的程序，為一些追求高質量的，準確的，想要獲取圖片相關信息數(shù)據(jù)的研究者提供了一種方案。通過充分利用Python語言的特點結合Flickr API，能夠方便快捷地獲取大量的圖片和圖片相關信息，并將獲取到的圖片自動存儲到本地，為后續(xù)的機器學習、人工智能奠定了數(shù)據(jù)基礎。

【參考文獻】

【1】夏火松，李保國. 基于Python的動態(tài)網(wǎng)頁評價爬蟲算法[J].軟件工程，2016，19（02）：43-46.

【2】賈棋然. 基于Python專用型網(wǎng)絡爬蟲的設計及實現(xiàn)[J].電腦知識與技術，2017，13（12）： 47-49.

【3】劉洪志. 利用Python批量獲取互聯(lián)網(wǎng)中的桌面壁紙[J].電腦編程技巧與維護， 2014 （21） ：56-58+74.

【4】齊亞莉，張磊. 基于Python的圖像搜索系統(tǒng)的設計與實現(xiàn)[J].北京印刷學院學報， 2010，18（02）：48-51.

【5】云洋. 基于Python的圖片爬蟲程序設計[J].電子技術與軟件工程， 2018（17）：241-242+244.

【6】熊暢. 基于Python爬蟲技術的網(wǎng)頁數(shù)據(jù)抓取與分析研究[J].數(shù)字技術與應用，2017（09）：35-36.