User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /


User-agent: *
Allow: /
Disallow: /login
Disallow: /neumaschinen/
Disallow: /auktionsmaschinen/
Disallow: /*&sort=

Disallow: /*?sort=country,IT
Disallow: /*?sort=country,SK
Disallow: /*?sort=country,CZ
Disallow: /*?sort=country,HR
Disallow: /*?sort=country,FR
Disallow: /*?sort=country,HU
Disallow: /*?sort=country,SI
Disallow: /*?sort=country,PL
Disallow: /*?sort=country,BE
Disallow: /*?sort=country,US


Sitemap: https://api.landwirt.com/sitemaps/sitemap.xml
Sitemap: https://www.landwirt.com/news/sitemap.xml
# Google-News-Sitemap (nur die Artikel der letzten 48 Stunden, so verlangt es Google News).
# Ohne diesen Eintrag findet sie nur, wer sie in der Search Console eintraegt - verlinkt ist
# sie nirgends. Fuer Discover und die News-Ergebnisse ist sie der schnellste Weg, mit dem neue
# Artikel gefunden werden.
Sitemap: https://www.landwirt.com/news/news-sitemap.xml