El archivo robots.txt es un herramienta esencial para la sitio que pretende aparecer bien indexada por los motores de búsqueda como Bing. Opera como un mapa para los bots, indicándoles qué áreas https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html