#Web – Como hacer tu propio #Buscador con #Sphider

tecladoHace ya unos dias me entero de la noticia de la apertura de un nuevo buscador cubano www.redcuba.cu, y me recuerda un proyecto mio de hace ya unos cuantos años, hoy comparto con ustedes dicho sistema, para que puedan crear su propio buscador

Pero si necesitamos un buscador para una web, ¿Qué podemos hacer? Para esto existe un script llamado Sphider, este script ha dejado de desarrollarse hace 4 años y los forks que existen de él no son buenos, aunque se basan en el propio Sphider. Por lo que Sphider puede aún ser una herramienta interesante.
Con Sphider se puede crear un buscador de los buenos, ya que tiene un crawler o araña (si, como los de Google) que navegan por el sitio web que tú le específicas y crea un índice con los contenidos para realizar las búsquedas en un futuro.

Sphider está desarrollado en PHP y utiliza una base de datos MySQL para guardar los datos de configuración y de los índices. La página oficial del proyecto es: http://www.sphider.eu/

Descarga desde Cuba – sphider-1.3.6

Ejemplo de Funcionamiento

sphiderInstalación

Antes de subir los archivos debemos configurar los datos de conexión a la base de datos MySQL en el archivo database.php dentro de la carpeta Settings. Dentro de esta página debemos editar los datos de ejemplo poniendo los nuestros.

Después de configurar subimos los archivos por FTP al hosting o servidor donde queremos instalar Sphider y accedemos a través de la ruta URL utilizando el navegador web, podremos ver esto si todo está correctamente configurado.

Al final podremos ver la pantalla de administración donde debemos loguearnos con admin/admin.

El panel de control tiene 8 pestañas: Sites, Categories, Index, Clean Tables, Settings, Statics, Database y Log out.

La configuración no la voy a explicar, ya que es muy simple y casi no requiere manipulación.

Esta prueba la estoy haciendo en producción para mi sitio http://armandof.cubava.cu Primero configuramos la categoría en la pestaña Categories

Ahora añadimos el sitio web en la pestaña Sites

Y rellenamos el formulario con los datos del sitio web que queremos indexar

Para comenzar a indexar el sitio debemos darle a “Options” (en azul) y dentro de esta página le damos a “Index” para comenzar a indexar. Nos saldrá algo así donde debemos configurar el nivel de indexado y si volvemos a indexar los contenidos que ya habían sido indexados.

Después de darle dependiendo del tamaño del sitio que queremos indexar tardara más o menos.

Ahora podremos acceder al buscador poniendo la URL donde hemos instalado Sphider y añadiéndole /search.php. Ejemplo: http://misitio.es/buscador/search.php/

Esta página es totalmente personalizable editando el código y podemos incluso insertar el buscador en otra página utilizando este código:

<form action=”/search/search.php” method=”get” target=”_blank”>
<input type=”text” name=”query” id=”query” size=”40″ value=””>
<input type=”submit” value=”Search YOUR SITE NAME”>
<input type=”hidden” name=”search” value=”1″>
</form>

Sin duda Sphider es una herramienta muy útil y sería mejor si se siguiera actualizando, una pena que su autor decidiese dejar muestro el proyecto.

Con esto ya les dejo la idea ahora basta que ustedes la desarrollen

Share and Enjoy

  • Facebook
  • Twitter
  • Delicious
  • LinkedIn
  • StumbleUpon
  • Add to favorites
  • Email
  • RSS

17 pensamientos sobre “#Web – Como hacer tu propio #Buscador con #Sphider

  1. Oe esta ok esto del buscador pero tengo una duda
    ¿Como hacer lo del proxy en que archivo es? y como puedo Hacer que clasifique las imagenes y los documentos

    Grasias por todo
    lo estoy usando en mi red y todo ok

    • ya para eso tienes que meterte mas en el codigo fuente del mismo, entrar a la bd y crear otra tabla en la parte de files creando una categoria y a la hora de el indexar las fotos que revise los metados de cada una de las mismas

    • eso lo logras dandole una expresion como te la mostre anteriormente:
      Esto depende de cómo su aplicación PHP se conecta a Internet.

      Si se toma la situación más probable usando PHP CURL. En ese caso, las siguientes opciones le ayudarán a:

      curl_setopt ($ gestor, CURLOPT_PROXY, $ proxy_url);
      curl_setopt ($ gestor, CURLOPT_PROXYUSERPWD, “[nombre de usuario]: [password]”);

      Puedes leer mas en: http://www.php.net/manual/en/function.curl-setopt.php

  2. Puse lo siguienteen la linea 29:
    curl_setopt ($gestor, CURLOPT_PROXY, ‘IP del proxy’);
    curl_setopt ($gestor, CURLOPT_PROXYUSERPWD, akiles:123456);
    curl_setopt ($gestor, CURLOPT_PROXYPORT, 3128);
    curl_setopt ($gestor, CURLOPT_PROXYTYPE, ‘HTTP’);

    en el archivo SPHIDER.PHP y ahora me da error cunado doy indexar y dice asi :
    “Fatal error: Call to undefined function curl_setopt() in \sphider\admin\spider.php on line 29”

    • prueba con esto

      En el archivo spiderfuncs.php busca esto:

      $fp = @ fsockopen($target, $port, $errno, $errstr, $fsocket_timeout);
      cambialo por esto

      $proxy_host=”192.168.0.1″;
      $proxy_port=3128;
      $fp = fsockopen (“tcp://$proxy_host:$proxy_port”,0, $errstr, $errno);
      if (!is_resource ($fp)) {
      // verbindung zum proxy geht nicht#
      throw new Exception (“Error no se pudo conectar al proxy”winking smiley;

      ############HASTA AQUI
      The script sucsessfully opens the connection to the proxyserver and starts index-ing.
      But it seems to be that something is wrong with the $request.

      $request = “GET $path HTTP/1.0\r\nHost: $host$portq\r\nAccept: $all\r\nUser-Agent: $user_agent\r\n\r\n”;

  3. mi herma, esto me va a volver loco
    lo que me diste si funciono PERO!!!!
    cuando termina de indexar dice :
    “Enlaces encontrados 1 enlaces nuevos 1”
    y cuando busco me muestra en el titulo del contenido buscado y en el resumen de la busqueda el siquiente error:
    “ERROR The requested URL Could not be retrieved ”
    pero cuando le doy clic me abre la pajina

  4. Hola estoy por aqui otra ves. Ya deje de pensar en el Buscador porque me tiene fundido JAJA, voy a dejar que Busque dentro de mi red y ya vere como me las aregla para buscar fuera de ella. auque boy a seguir buscando como hacer que busque fuera a traves de un proxy

    Saludos y gracias por todo realmente me a ayudado mucho.

  5. Hola despues de un largo tiempo estoy de buelta por aca para destrosar nuevamente el buscador tratando de modificarlo ja ja ja
    gracias y saludos para todos

    nos vemos pronto

  6. Es interesante descubrir lo sencillo que parece hacer un motor de búsqueda. Después de años solicitándole a ETECSA que creara uno para que los usuarios que no estamos vinculados a las universidades pudiéramos navegar por intranet. Hasta hoy no lo han hecho. Hoy después de 2 años con el servicio de navegación, encontré su Blog porque alguien me dio la dirección del buscador http://www.redcuba.cu pero la mayoría de los usuarios de ETECSA desconocen este buscador.

    Pregunta: ¿Existen otros buscadores para intranet?

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*