joyrider
Legacy Member
ik heb een paar pagina's die niet zoude bezocht worden door search engine robots.
nu men eerste vraag die ik heb is als ik bvb test.php disallaw zal de robot dan pagina's met paramters bvb test.php?id=1,test.php?id=2 etc ook niet indexeren. of moet je hier mss wildcards of zo voor gebruiken als die er zijn ?
men tweede vraag is hoe zit het met subdomeinen moet je als je een subdomein hebt de robots.txt file ook in de map zetten waarnaar dat subdomein verwijst of alleen in de root van uw algemene site.
en als laatste wanneer je een directory in disallow zet vallen alle subdirectories daar ook automatisch onder of moet je expliciet elke subdirectory in disallow zetten
alvast bedankt
nu men eerste vraag die ik heb is als ik bvb test.php disallaw zal de robot dan pagina's met paramters bvb test.php?id=1,test.php?id=2 etc ook niet indexeren. of moet je hier mss wildcards of zo voor gebruiken als die er zijn ?
men tweede vraag is hoe zit het met subdomeinen moet je als je een subdomein hebt de robots.txt file ook in de map zetten waarnaar dat subdomein verwijst of alleen in de root van uw algemene site.
en als laatste wanneer je een directory in disallow zet vallen alle subdirectories daar ook automatisch onder of moet je expliciet elke subdirectory in disallow zetten
alvast bedankt