Интернет, който обикновено наричаме "Мрежата", е само повърхността й, пише онлайн изданието на CNN, цитирано от агенция Фокус. Под нея се намира огромен и в по-голямата си част непознат океан, наричан "Дълбоката мрежа" (Deep Web). Самата й природа е такава, че обемът й трудно би могъл да се определи, но според изследователи от най-авторитетните университети интернет, който познаваме като Facebook, Wikipedia, новини и т.н., представлява по-малко от един процент от цялата глобална мрежа. Когато сърфираме онлайн, ние всъщност само се носим по повърхността й. Ако се гмурнем надолу, ще открием трилиони страници, които повечето хора не са виждали. Те обхващат всичко - от скучна статистика до страници за незаконна продажба на органи.
Същността на Дълбоката мрежа не е сложна и може да се обясни от гледна точка на търсещите машини. За да ни дадат резултати, Google, Yahoo и Bing постоянно индексират страници. Те правят това, като следват линковете между сайтовете и "пълзят по нишките в мрежата като паяци". Това им позволява обаче да събират само статични страници. Те не могат да уловят динамичните страници, които се генерират при търсене в онлайн база данни, като запитване на страницата на Статистическото бюро например. Нормалните търсачки не могат да достигнат до сайтовете зад частните мрежи и отделните страници, които не се свързват с нищо. Те всички са част от Дълбоката мрежа.
По-голямата част от нея съдържа сайтове с ценна информация. Според доклад от 2001 година, който остава най-добър и до днес, 54 процента са бази данни. Сред най-големите в света са тези на американската Национална служба за океаните и атмосферата, НАСА, Бюрото за патенти и търговски марки на САЩ и системата за търсене EDGAR на Комисията по ценните книжа и борсите. Те всички са публични.
Следващата област от Дълбоката мрежа е достъпна срещу заплащане. В нея например е информационната база на правителствените документи на Съединените щати.
Други 13 процента са скрити, тъй като могат да бъдат намерени само в интранет - вътрешните мрежи на корпорации, университети и други институции, до които имат достъп само служителите им.
И накрая в Дълбоката мрежа е и Tor - най-тъмният ъгъл на интернет. Това са множество страници, които завършват на .onion и изискват специален софтуер за достъп. Хората използват Tor, когато искат да не бъдат проследени.
Tor дебютира като The Onion Routing project през 2002 година и е дело на изследователската лаборатория на военноморските сили на САЩ. Платформата се използва за осъществяване на поверителни комуникации, но в последните години се е превърнала и в място за черни пазари, които разпространяват наркотици (като Silk Road), откраднати кредитни карти, незаконна порнография, пиратски копия и други.
Дълбоката мрежа все още остава скрита за обществото, но икономическото й значение нараства все повече. Търсеща машина, която би могла точно и бързо да преброди цялата мрежа ще бъде изключително полезна за събирането на big data, по-специално за изследвания на климата, финансови или правителствени данни.
Университетът Станфорд например е създал прототип на търсачка, наречена Hidden Web Exposer (HiWE). Други, които са публично достъпни, са Infoplease, PubMed и Infomine на Калифорнийския университет.
