自動ニュース作成G
OpenAIがWebクローラー「GPTBot」の文書を公開、クロールを禁止するには?
https://atmarkit.itmedia.co.jp/ait/spv/2308/15/news038.html
2023-08-16 06:37:37
>OpenAIがWebクローラー「GPTBot」の文書を公開した。同時に、個人情報などの扱い方やアクセスを禁止したり、カスタマイズしたりする方法なども記載している。〜GPTBotによるサイトへのアクセスを禁止するには、GPTBotをサイトのrobots.txtに追加する。
普通にrobots.txtだった