# Alle auteurs-, naburige en databankrechten die op de inhoud en opmaak van de DPG Media websites
# en DPG Media apps rusten, worden door DPG Media BV uitdrukkelijk voorbehouden. De inhoud van de
# DPG Media websites en apps is uitsluitend voor persoonlijk, niet-commercieel gebruik en het is
# niet toegestaan om gegevens zoals tekst, afbeeldingen, audio, video of code van de websites of
# de apps door middel van scraping (of een andere geautomatiseerde werkwijze) te vergaren.
# Zie ook de Gebruikersvoorwaarden van DPG Media B.V. op www.dpgmedia.nl/gebruiksvoorwaarden

# All copyrights, neighbouring rights and database rights in the content and layout of the
# DPG Media websites and DPG Media apps are explicitly reserved by DPG Media BV. The content of
# the DPG Media websites and DPG Media apps is for personal, non-commercial use only and it is not
# allowed to collect data such as text, images, audio, video or code from the websites or from the
# apps by means of scraping (or any other automated method).
# See also the terms of use of DPG Media B.V. at www.dpgmedia.nl/gebruiksvoorwaarden

# Tell robots which pages are not very interesting
User-agent: *
Disallow: /*webview
Disallow: /auth
Disallow: /*widget*
Disallow: /*?*otag=
Disallow: /*?*abo_type=
Disallow: /*?*utm_source=
Disallow: /*?*currentArticleId=
Disallow: /*?*articleUrl=
Disallow: /zoeken?query=
Disallow: /inloggen?*
# Articles which should not be listed in google search index:
# tu-e-zet-directeur-op-non-actief~ab9e5892/
Disallow: *~ab9e5892*
Disallow: *~af7ac112*
Disallow: *~a8eacee1*
Disallow: *~aa82a19d*
Disallow: *~a2575106*
Disallow: *~ae3c4c34*
# Tell robots not to crawl redirect urls
Disallow: *?*redirect_url=*

User-agent: Twitterbot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

Sitemap: https://www.bndestem.nl/sitemap.xml
Sitemap: https://www.bndestem.nl/sitemap-news.xml