El documento robots.txt es Ir a la tienda el elemento esencial para la página web que desea aparecer bien vista por los motores de búsqueda como Chrome . Opera como una instructivo para los crawlers , indicándoles qué secciones de tu web pueden deben crawleadas y cuáles no . Una correcta configuración de este fichero puede a evitar problemas