Bot Crawl Web
Bonjour à tous, je cherche un développeur EXPERT pour créer un bot afin de crawler le web et analyser le code source des sites pour vérifier le CMS et extraire ensuite une liste de sites web. Le Bot devra crawler le code source de la page d'accueil principalement, puis passer ensuite à un autre site web. Je peux fournir une liste d'URLs initiales (4-5k) mais le Bot doit être en capacité de crawler ensuite d'autres URLs par lui-même !