WGET Создание карты сайта

wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com

Добавляем маскировку USER AGENT, что бы wget определялся как браузер Google Chrome

wget -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36" --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com  

Установить время между запросами можно ключем -w 1 будет посылать запросы раз в секунду

sed -n "s@.\+ URL:\([^ ]\+\) .\+@\1@p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt

Создает файл с именем sedlog.txt, который содержит все ссылки, найденные на указанном веб-сайте.
Вы можете использовать PHP или оболочку script для преобразования файла Sitemap в текстовый файл Sitemap.
Измените параметры команды wget (accept/reject/include/exclude), чтобы получить только нужные вам ссылки.