十大深網(wǎng)搜索引擎提供無法從Google和Bing獲取的信息

王雄

當(dāng)想要搜索某些內(nèi)容時(shí)，Google或Bing通常會(huì)是第一選擇。但無論是Google還是Bing都不會(huì)提供隱藏在暗網(wǎng)中的信息。此外，當(dāng)通過Google搜索時(shí)，Google還會(huì)記錄你在互聯(lián)網(wǎng)上的每一步操作。對于注重個(gè)人隱私安全的人來說，能夠?qū)υ诰€活動(dòng)保持匿名顯然更能引起興趣。

“深網(wǎng)（Deep Web）”也稱為“不可見網(wǎng)（invisible Web）”，該術(shù)語指的是一個(gè)龐大的底層內(nèi)容存儲庫，一個(gè)通用網(wǎng)絡(luò)爬蟲工具無法訪問的在線數(shù)據(jù)庫。

說它龐大，是因?yàn)樯罹W(wǎng)所包含的內(nèi)容估計(jì)要比能夠通過常規(guī)搜索引擎搜索到內(nèi)容要多近500倍，但由于搜索引擎的限制，大部分內(nèi)容仍無法被搜索到。

由于大多數(shù)個(gè)人檔案、公共記錄和其他與個(gè)人有關(guān)的文檔都存儲在數(shù)據(jù)庫中而不是靜態(tài)網(wǎng)頁上，因此大多數(shù)關(guān)于個(gè)人的敏感隱私信息對于常規(guī)搜索引擎來說都是“不可見的”。

然而，隨著搜索算法的不斷完善和更新，通過深網(wǎng)搜索引擎來找到想要的商品、內(nèi)容或信息正在變得越來越容易。

為什么無法通過Google搜索出深網(wǎng)的內(nèi)容

通常來講，深網(wǎng)或者暗網(wǎng)（Dark Web，深網(wǎng)的一個(gè)子集）的內(nèi)容是沒有編制索引的，所以無法通過常規(guī)搜索引擎（如Google和Bing）搜索出結(jié)果。換句話來說，所有Deb網(wǎng)站（.onion）都沒有編制索引，而Google不會(huì)提供任何不通過萬維網(wǎng)索引的搜索結(jié)果，這些內(nèi)容隱藏在HTML表單后面。

通過常規(guī)搜索引擎進(jìn)行搜索，內(nèi)容會(huì)從相互連接的服務(wù)器上提供，而當(dāng)訪問暗網(wǎng)時(shí)，并不是在瀏覽這些相互連接的服務(wù)器。相反，一切都保留在Tor網(wǎng)絡(luò)的內(nèi)部，這就為每個(gè)人都提供了安全和隱私。

根據(jù)研究人員的說法，只有4 %的互聯(lián)網(wǎng)內(nèi)容是公眾可見的，其余96 %的網(wǎng)站和數(shù)據(jù)隱藏在深網(wǎng)中。

不得不說的robots.txt文件

robots.txt文件是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件，通常位于一個(gè)站點(diǎn)的根目錄下，其作用是告訴搜索機(jī)器人哪些記錄、注冊表、文件和目錄禁止被索引。

當(dāng)搜索機(jī)器人訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，搜索機(jī)器人將訪問網(wǎng)站上所有沒有受到口令保護(hù)的頁面。

這里為大家介紹十款能夠獲取深網(wǎng)搜索結(jié)果的搜索引擎，有一些讀者可能使用過，但相信并不是所有人都了解。

1. pipl

pipl的查詢引擎可以幫助找到在常規(guī)搜索引擎上無法找到的深層網(wǎng)頁。與其他搜索引擎不同，pipl能夠提供從深網(wǎng)獲取的搜索結(jié)果。pipl的robots文件設(shè)置為與可搜索的數(shù)據(jù)庫進(jìn)行交互，并從個(gè)人檔案、成員目錄、科學(xué)出版物、法庭記錄和許多其他深網(wǎng)資源中提取相關(guān)信息。

根據(jù)pipl官方的說法，pipl搜索引擎所使用高級語言分析和排序算法，能夠在一個(gè)簡單、易于閱讀的結(jié)果頁面中提供關(guān)于某個(gè)人或事物的最相關(guān)的信息。

2. My Life

MyLife的公共頁面可以列出與某個(gè)人相關(guān)的大量數(shù)據(jù)，包括年齡、曾居地和現(xiàn)居地地址、電話號碼、電子郵箱地址、就業(yè)信息、照片、親屬信息等。

據(jù)稱，MyLife擁有超過2.25億個(gè)公共頁面，幾乎涵蓋了所有18歲以上的美國公民的數(shù)據(jù)。

3. Yippy

事實(shí)上，Yippy是一個(gè)元搜索引擎（它通過利用其他網(wǎng)絡(luò)索引得到的結(jié)果）。與Google不同，它不會(huì)存儲你的瀏覽歷史、查看過的條款或電子郵件。

4. Surfwax

SurfWax搜索是一項(xiàng)免費(fèi)和基于訂閱的服務(wù)。該搜索網(wǎng)站提供了許多功能，而不是純粹的搜索。這些功能包括：

Focus-允許添加“焦點(diǎn)詞”到搜索中。根據(jù)焦點(diǎn)詞的不同，可用于擴(kuò)大或縮小搜索范圍；

SiteSnaps-獲取網(wǎng)站頁面的簡要說明，并進(jìn)一步識別引擎認(rèn)為與焦點(diǎn)詞相關(guān)的詞條；

ResultStats-衡量并顯示要羅列出大量搜索結(jié)果所需花費(fèi)的時(shí)間。

根據(jù)Surfwax的比喻，這就相當(dāng)于在沖浪過程中，surfwax能夠幫助沖浪者抓住他們的沖浪板，而對于網(wǎng)上沖浪的人來說，SurfWax可以幫助獲得最佳的信息控制———提供最佳相關(guān)搜索結(jié)果。

5. Way Back Machine

Wayback Machine是互聯(lián)網(wǎng)檔案館（Internet Archive）收集開放網(wǎng)頁的一個(gè)前端，包含超過100 TB的數(shù)據(jù)。

Wayback Machine通過URL訪問這些數(shù)據(jù)，但無法通過內(nèi)容來訪問，因?yàn)榭蛻舳吮仨氈捞囟ňW(wǎng)頁或Web網(wǎng)站的正確URL才能進(jìn)入對應(yīng)的頁面。

互聯(lián)網(wǎng)檔案館允許公眾將數(shù)字資料上傳和下載到其數(shù)據(jù)集群，但其大部分?jǐn)?shù)據(jù)是由其網(wǎng)絡(luò)爬蟲工具自動(dòng)收集的，這些爬蟲工具可以盡可能多地保留公共網(wǎng)絡(luò)。Wayback Machine的Web檔案包含超過1 500億份網(wǎng)絡(luò)捕獲數(shù)據(jù)。

6. Google Scholar

Google Scholar允許搜索各種學(xué)術(shù)文獻(xiàn)。它從期刊出版商、大學(xué)資料庫和其他被它認(rèn)為是學(xué)術(shù)性的網(wǎng)站上獲取信息。Google Scholar旨在幫助發(fā)現(xiàn)與輸入關(guān)鍵詞相關(guān)的學(xué)術(shù)資源。另外，還可以配置Google Scholar，以允許它自動(dòng)訪問NCSU庫對期刊和數(shù)據(jù)庫的訂閱。

7. DuckDuckGo

這個(gè)深網(wǎng)搜索引擎與其他九款搜索引擎一樣，允許搜索常規(guī)的網(wǎng)頁。它有一個(gè)簡潔易用的界面，且不會(huì)追蹤使用者的搜索內(nèi)容，并且搜索設(shè)置中的選項(xiàng)是十分豐富，甚至可以通過自定義它來增強(qiáng)用戶體驗(yàn)。

DuckDuckGo強(qiáng)調(diào)返回最好的結(jié)果，而不是最多的結(jié)果，并從400多個(gè)獨(dú)立的來源中篩選出這些結(jié)果，包括一些知名的百科網(wǎng)站（如維基百科），以及其他搜索引擎，如Bing、Yahoo！、Yandex和Yummly。

8. Fazzle

Fazzle.com是一個(gè)元網(wǎng)絡(luò)索引，可以用英語、法語和荷蘭語訪問。Fazzle會(huì)搜索120多個(gè)經(jīng)過修改的Web索引，以傳達(dá)“快速準(zhǔn)確的結(jié)果”，每一條搜索結(jié)果旁邊都有一個(gè)查看頁面。它的查詢項(xiàng)目包括網(wǎng)站、下載、圖像、視頻、音頻、黃頁、白頁、購物和新聞等。

不管其他的查詢項(xiàng)是什么，都是從Fazzle運(yùn)行的眾多搜索列表中組合起來的，但是Fazzle會(huì)在它的SERPS頁面上顯示“最佳選擇”和20個(gè)不同的結(jié)果。

9. not Evil

與其他Tor搜索引擎不同，not Evil并不是以營利為目的的，它是Tor網(wǎng)絡(luò)中的另一個(gè)搜索引擎，從功能和搜索質(zhì)量來看，它在眾多搜索引擎中具有很強(qiáng)的競爭力，且沒有廣告和追蹤。隨著搜索算法不斷更新和完善，用戶可以很容易找到想要的商品、內(nèi)容或信息，使用not Evil，可以節(jié)省大量時(shí)間并保持完全匿名，且它的用戶界面非常地直觀。

10. Start Page

如果十分注重個(gè)人隱私安全，并且不會(huì)使用Tor瀏覽器，那么Start Page絕對會(huì)是一個(gè)非常不錯(cuò)的選擇，它可以說是最好的搜索引擎之一。

Start Page也不會(huì)記錄IP地址，因此用戶的搜索歷史會(huì)得到很好地保護(hù)。對于從事研究的人來說，Start Page搜索引擎會(huì)是一種很好的選擇，因?yàn)樗粫?huì)泄露個(gè)人隱私。