La Deep Web hoy en día, el Internet que desconoces

WEB

Los sitios que la mayoría de usuarios visita son sólo 1% de la World Wide Web, según estimaciones; debajo, hay millones de páginas que van desde bases de datos hasta sistemas para delinquir.

Lo que comúnmente llamamos la web o la red en realidad es sólo la superficie. Debajo de ella hay un vasto océano, en su mayoría inexplorado llamado Deep Web o Internet Profunda.

Por su propia naturaleza, el tamaño de la Internet Profunda es difícil de calcular. Pero los mejores investigadores universitarios dicen que la web que conocemos -Facebook, Wikipedia, las noticias- representa menos del 1% de toda la World Wide Web.

Cuando navegas por la web en realidad sólo estás flotando en la superficie. Si te sumerges encontrarás decenas de billones de páginas -un número inconmensurable- que la mayoría de la gente nunca ha visto. E incluyen de todo, desde aburridas estadísticas hasta tráfico (ilegal) de órganos humanos.

Aunque la Internet Profunda no se entiende bien, el concepto es bastante simple. Imagínalo en términos de motores de búsqueda. Para darte resultados, Google, Yahoo y Bing indexan constantemente las páginas. Lo hacen siguiendo los hipervínculos entre los sitios, deslizándose sobre los hilos de la red como una araña, pero eso sólo les permite recabar páginas estáticas, como en la que estás en este preciso momento.

INFOGRAFÍA: ¿Qué es la ‘Deep Web’?

Lo que estos buscadores no capturan o recogen son las páginas dinámicas, como las que se generan cuando haces una consulta a una base de datos en línea. Piensa, por ejemplo, en los resultados de una consulta al sitio de la Oficina del Censo.

“Cuando el rastreador web llega a una (base de datos), por lo general no puede seguir hipervínculos que conducen al contenido más profundo más allá de la caja de búsqueda,” explica Nigel Hamilton, quien dirigió Turbo10, un motor de búsqueda ya desaparecido que exploró la Internet Profunda.

Google y otros buscadores tampoco capturan páginas detrás de redes privadas o páginas independientes que no tienen vínculos con ninguna otra cosa. Todas ellas forman parte de la Internet Profunda.

Entonces, ¿qué hay ahí abajo? Depende de dónde busques.

Gran parte de la Internet Profunda contiene páginas con información valiosa. Un informe elaborado en 2001 -el mejor hasta la fecha- estima que el 54% de los sitios web son bases de datos. Entre las más grandes del mundo están la National Oceanic and Atmospheric Administration, la NASA, la Oficina de Patentes y Marcas y el sistema de búsqueda EDGAR de la Comisión de Bolsa y Valores, todas ellas estadounidenses y públicas.

Luego están las páginas de acceso privado que cobran una tarifa para verlas, como LexisNexis que contiene documentos gubernamentales, la base de datos especializada en información jurídica Westlaw o Elsevier para revistas académicas.

Artículo relacionado: Google, ¿el policía de Internet?

Otro 13% de las páginas se mantienen ocultas porque sólo puedes encontrarlas en una Intranet. Estas redes internas, por ejemplo, las de empresas o universidades, tienen acceso a tablones de mensajes, archivos del personal o paneles de control industrial que pueden encender un interruptor de la luz o apagar una planta de energía.

Luego está Tor, el rincón más oscuro de Internet. Con Tor se puede acceder a una colección de sitios web secretos (que terminan en .onion) que requieren de su software especial para acceder a ellos.

La gente usa Tor para que su actividad en la red no pueda ser rastreada, se basa en un sistema de relé o repetidores donde las señales rebotan entre los diferentes equipos compatibles con Tor de todo el mundo.

Debutó por primera vez en 2002 como el proyecto The Onion Routing (acrónimo Tor), creado por el Laboratorio de Investigación Naval de Estados Unidos como un método para comunicarse de forma anónima en línea.

Algunos lo emplean para comunicar datos sensibles o delicados, incluyendo la disidencia política. Pero en la última década, se ha convertido también en un espacio donde los mercados negros venden o distribuyen drogas (como Silk Road), tarjetas de crédito robadas, pornografía ilegal, contenidos pirateados y mucho más. Puedes incluso contratar a sicarios.

Aunque la Internet Profunda permanece mayormente oculta a la vista del público, su importancia económica crece. Cualquier motor de búsqueda que pueda “peinar” con precisión y rapidez toda la web podría ser útil para la recolección de grandes cantidades de datos grandes, el llamado Big Data, sobre todo para quienes investigan los registros climatológicos, financieros o gubernamentales.

Artículo relacionado: Cinco pasos para ‘subirte’ a la web

La Universidad de Stanford, por ejemplo, ha construido un motor prototipo denominado Hidden Web Exposer, HiWE. Otros motores accesibles al público son Infoplease, PubMed e Infomine de la Universidad de California.

Y si eres muy valiente, descarga el paquete Tor Browser Bundle, pero navega de manera responsable.