Файл robots.txt создается вручную, для начала провожу поиск мусорных страниц в поисковой выдаче, затем проверяю все страницы сайта в программе Screaming Frog, с ее помощью провожу поиск мусорных страниц (для поисковых систем) и собираю итоговые страницы в файл robots.txt После завершения создания robots.txt создаю файл sitemap.xml с помощью программы Screaming Frog в конечном sitemap будут собраны только нужные для поиска страницы sitemap.xml - обязательный файл для SEO, который позволит указывать поисковым роботам важные для индексации страницы robots.txt - в основном используется для запрета мусорных и дублей страниц, также важен для SEO В SEO работаю более 5 лет, сделаю все качественно