同人サイトのロボ避けアク解について 4

1ロボ2009/05/06(水) 12:06:01ID:VXyjsZr10
一般人や版元に見つかると、何かとマズーなことが多い同人サイト運営。
なるべくひっそり楽しむために、.htaccessやrobots.txt等を用いた
検索避け・アクセス解析・アクセス制限などについて語り合いましょう。

robotx.txtや.htaccessを使いたいなら有料池
■同人OK鯖総合スレまとめ
ttp://f43.aaa.livedoor.jp/~sils/

関連リンク
■ロボテキについて(※英文)
ttp://www.robotstxt.org/wc/norobots.html
■.htaccessテンプレ
ttp://www.ii-park.net/~nanashi/htaccess2.html
■ドットHTアクセス メーカー
ttp://html-time.com/tool/htaccess_maker.htm
■裏サイトオーナーのためのSmall Tips
ttp://sp999.oheya.jp/tips/
■禿げしくガイシュツでうんざりしている質問のFAQ
(2ch web制作管理板 ロボット型検索エンジンスレFAQ集より)
ttp://f3.aaa.livedoor.jp/~zwgxodue/gaishutu.html
■ちょっとまったFC2ブックマーク(問題と対処)
ttp://www.geocities.jp/no_no_bookmark/
■PHPであれこれ。(FC2ソーシャルブックマークに関してのスクリプト)
ttp://www.geocities.jp/moyashi_de_go/

前スレ
http://changi.2ch.net/test/read.cgi/doujin/1196876804/

518スペースNo.な-742013/10/07(月) 23:07:28.59
あげ

519スペースNo.な-742013/10/27(日) 22:54:54.64
あげ。
これは蹴っとかないと。

ttp://code.kzakza.com/2013/10/wayback-machinefixing-broken-links/

520スペースNo.な-742014/01/08(水) 18:07:31.40
保守保守

521スペースNo.な-742014/01/29(水) 21:25:36.83
ホシュ

522スペースNo.な-742014/02/11(火) 19:24:50.46
このスレの過去ログやccessのサイトで調べまくってたら日本系のだけ許可するのがいいのか
海外とかまずいやつは弾いたほうがいいのかよくわかんなくなってきた

まあどっちにしてもメリットデメリットあるんだろうけど

523スペースNo.な-742014/02/12(水) 22:53:06.28
自分は全弾き→国内IPだけ許可
マメに更新してallow増やしてるけど国内ISPで見られない人もいるかもなーとは思う
申し訳ない反面、正直快適でもある
粘着ちゃんが海外串使ってきた事があるから海外IPは通す気になれない…

524スペースNo.な-742014/02/13(木) 05:24:45.44
海外在住の自分涙目w
まあ、国内IPだけ許可ってのが一番安心だと思うので文句はないけど
観たい時は日本の串通すし

525スペースNo.な-742014/02/13(木) 05:29:06.78
2ちゃんのBBQ使って
串防止してるサイトとかもあるよねぇ(・∀・)

526スペースNo.な-742014/02/14(金) 01:03:49.48
ccessのテンプレサイトやこのスレなどの記述を自鯖(ribbon)で実験(自分のIPを弾く)したらできないことが多かった
パス付ページを作成するのはできるみたいだけどribbonでのアクセス制限での具体例が
ribbon公式の単純なやつしか見つからない
ネット検索ヒットなし、htaccessスレ・ribbonスレ・ロボ避けスレの過去ログでもヒットなし
ribbonでccessを上手く使いこなしてる人っているんだろうか?

前スレに載ってたjpのみ許可した上で個別のIPを弾くのはできないみたいだ
このスレの>>70のはできたからDenyでの拒否はできる

わりと何年も放置することが多いから有料に行く気になれない
ribbonの制限付の中でを上手く活用できるようになりたいので、もうちょっと実験つづけてみる

527スペースNo.な-742014/02/15(土) 14:33:03.47
>>525
BBQは手っ取り早く使えるけど、結構抜けもあるから
他のBLを併用するか自前で補完しないといけない

528スペースNo.な-742014/02/15(土) 18:45:21.95
>>526
ribbon昔借りてたよー
一年くらいで有料鯖に移っちゃったけど
allow from .jpは確かにエラーが出た記憶がある
よく分かんない制限が多い鯖だよね

optionコマンドと個別denyと直リン拒否は出来たから最低限の自衛は可能だったけど
何がおkで何がNGなのか判別出来なくて諦めてしまったw
頑張ってね

529スペースNo.な-742014/02/16(日) 13:27:31.87
>>528
レスサンクス
どうやら自分Order Allow,DenyをOrder Deny,Allowと間違えてたみたいだ
ファイル一覧非表示Optionsと前スレの134のjp許可+.ed.jp拒否、この組み合わせはできた

↓ribbonでできたhtaccess例
------------

Options -Indexes

Order Allow,Deny
Allow from .jp
Deny from .ed.jp

------------
上記に>>409>>414あたりを組み合わせたいが上手くできてるかどうか確かめられない

とりあえず、>>129みたいに忍者バリアーとrobots.txtと併用しようと思う
中国弾きは>>512参考にしておけば大丈夫だろうか

530スペースNo.な-742014/02/16(日) 18:36:43.89
>>512って、
robots.txtに天安門とか書いて
robots.txtを読ませなくするのは意味がないんじゃないか?
中国クローラーでもrobots.txtを読んでもらえるなら読んでもらったほうが
効果あるんじゃないの?
読まないやつは何をしても読まないんだし

531スペースNo.な-742014/02/16(日) 20:33:07.66
>>529
中国とかそこら辺は言語でも弾けるよ

532スペースNo.な-742014/02/16(日) 21:05:26.16
>>530
じゃあ、htmlのソースに書いておくとかはどうだろう
今調べてみたら【絵】転載対策スレ【文章】http://kohada.2ch.net/test/read.cgi/doujin/1290594099/
の4だと効果あるとは書いてあるけど
html自体に「天安門」の記述しても必ずしも中国ブロックできるわけじゃないみたいね.

>>531
自分のブラウザを外国語に設定して実験して、日本語のみ許可は無理みたいだけど外国語を弾くのはできた
実際はもっと記述してるけどとりあえず、こんな感じで弾きたい言語を加えてみた
↓ribbonでできたhtaccess例
------------
Options -Indexes

Order Allow,Deny
Allow from .jp
Deny from .ed.jp

SetEnvIfNoCase Accept-Language cn shutout
SetEnvIfNoCase Accept-Language zh shutout
Deny from env=shutout

------------

533スペースNo.な-742014/02/24(月) 21:03:18.00
ちょっと相談に乗ってください
.htaccessで検索よけはしていたけど、特定IPを弾きたくて設定足したら全部見れなくなるみたいで、何がおかしいのか…
さくらサーバー借りてて説明の通りにしてる、改行も確認した。
検索よけと同じテキストに書き込んだらいけないとかないですよね?

534スペースNo.な-742014/02/24(月) 21:37:59.60
なんて書いたのか、一部伏せるとかして貼ってくれないとなんとも

535スペースNo.な-742014/02/24(月) 21:44:29.52
さくらのレンタルサーバにあげたhtaccessの1行目にOptions -Indexesを書き込んでないか?
XREAもそうだったけどさくらのサーバーではエラーになるよ

536スペースNo.な-742014/02/24(月) 22:00:00.06
<<534
Order allow,deny
allow from all
deny from remote.host.com
deny from p23140-ipngn1×××(市名).(県名).ocn.ne.jp
(改行)
という感じで、さくらの説明そのままに書き込みました

<<535
一番上は
AddHandler cgi-script htaccess
になっています

537スペースNo.な-742014/02/25(火) 01:39:32.36
アンカー間違ってる時点で
記述をなんか間違ってる感…

deny from remote.host.com

は、あくまで例であって
こう書いてるわけじゃないよね

538スペースNo.な-742014/02/25(火) 08:20:19.33
さくらだったら
コントロールパネル→ファイルマネージャー→表示アドレスへの操作→アクセス設定
でhtaccess作れるから
わからないならそれでやったほうがいいよ

539スペースNo.な-742014/02/27(木) 20:26:00.77
533だけど無事.htaccessで設定できました!
ありがとうございました!

540スペースNo.な-742014/02/28(金) 11:47:02.76
原因も書いてってよ(よかったら)

541スペースNo.な-742014/03/01(土) 12:32:29.41
最終行の改行が足りなかったとかそんな問題の予感

542スペースNo.な-742014/03/01(土) 17:54:32.73
533だけどもっとバカな理由です

元々ロボ避けは入れてたから
Order allow,deny
allow from all
の部分はいらなかったぽい。

deny from p23140-ipngn1×××(市名).(県名).ocn.ne.jp
(改行)
だけの記述にしたら上手くいった

ごく当たり前の事なんだけど
ヘルプ見てそのままコピペして大丈夫だと思い込んでたorz
ロボ避け用と個人で弾いてるのは分かるように
+検索避け+
以下〜
+個人用+
以下〜
って分けてたから最初から書き込まないと効果ないと思ってた

恥ずかしいけど初心者のミスの参考に晒しときます

543スペースNo.な-742014/03/01(土) 19:28:47.49
Order allow,deny
allow from all

が二つあったって事?

544スペースNo.な-742014/03/02(日) 00:00:58.87
>>543
そうです

545スペースNo.な-742014/06/02(月) 00:13:43.77
ここ数ヶ月くらいtorを通したアクセスが急増したのに気がついたんだけど皆はどう?
動きがロボットぽいようなそうでないような感じで2ヶ月くらい悩みつつ
同人サイトにtor通す意味がわからんのでそろそろ蹴ろうかと思ってるんだが

546スペースNo.な-742014/06/02(月) 08:47:19.79
>>545
torのことをまったく知らなかったから勉強になった
自サイトは海外からのアクセスを弾いているから大丈夫だと思ったけど
念のためtorを導入して試してみた
思った通り403エラーになった

普通に閲覧するのならtorを通す意味がないから弾いていいと思うよ

547スペースNo.な-742014/06/02(月) 09:08:56.60
国外の連中がtor経由してくる可能性を考えれば蹴っておいて損はない

548スペースNo.な-742014/06/02(月) 16:33:26.40
生ログを取ってるサイトに行くときは
tor噛ますこともあるなあ
単なる気まぐれだけど

549スペースNo.な-742014/06/02(月) 16:34:35.68
いろんなニュースで有名になったら使う人増えたのかもね

550スペースNo.な-742014/06/03(火) 00:20:45.57
>>546
どうやって弾こうか考えてたので検証ありがとう
とりあえずログに残ってたtor関連を弾いて様子見て
上手くいかなかったら海外全弾きの方向で考えてみる

最近はアングラツールじゃなく誰でもタダで簡単に使えるアプリみたいな扱いだから
もしかしたら隠れたい人が使ったのかもしれないけど挙動が普通と違うのでかえって目立つ
日本の女子が過疎気味腐向けサイト見るにはオーバースペックだと思うわtor

551スペースNo.な-742014/07/21(月) 17:48:19.25
トレンドマイクロ弾いてるんだけどいつまで経ってもしつこくエラーログが溜まるから
ちょっと腹立つ

552スペースNo.な-742014/07/21(月) 21:29:46.80
もう来るな!!とはっきり伝えるやり方をこと細かく説明してくれてたサイトかブログをどこかで見たような気がする

553スペースNo.な-742014/09/24(水) 07:05:01.37
WPScanを鯖管やbotが実行してくる、ということはありますか?

554スペースNo.な-742014/09/24(水) 07:07:22.37
ごめんなさい書き込んでしまった…

WPScan v2.4.1 (http://wpscan.org)というのがひっかかっていたので
オンラインスキャンされたのかな?と思うのですが

555スペースNo.な-742014/09/24(水) 13:20:46.29
>554
古いバージョンのWordPressのまま運営しているサイトかどうかチェックする為のスキャンサービス

あなたのサイトはWordPressを使っていませんか?
自分でテストした覚えがないなら善意ある人が訪問しようとしたあなたのサイトがトロイに汚染されていないかチェックしたか
悪意ある第三者が踏み台サイトに利用しようと無差別抽出URLで検索にかけた可能性がある
即.htaccessを設定しWordPressを最新バージョンに更新。

556スペースNo.な-742014/09/24(水) 13:36:28.63
素早い詳細ありがとうございます
バージョンアップはしているので.htaccessの方いじってみます

6ホタでめったに動かない幸一つきりしか登録してなくても
いろいろあるものですね

557スペースNo.な-742015/03/27(金) 11:33:01.17
最近bingbotがrobots.txtでDisallowにしてるディレクトリにまでずかずか入り込んできて困ってる
特に制限しなくてもいいエリア用にCrawl-delayも設定してるんだが、それにはきちんと従ってる模様
おまえさん方のところはどうですか

558スペースNo.な-742015/03/29(日) 18:28:16.25
しばらくみない間にロボ避けアク制さん消えちゃった?

559スペースNo.な-742015/03/29(日) 19:01:15.85
はい

560スペースNo.な-742016/02/10(水) 14:26:42.23
age

561スペースNo.な-742017/01/21(土) 01:11:22.17
age

562スペースNo.な-742017/01/21(土) 15:18:35.68
ログがiPhoneのmsnbotってやっぱbotですか?
しょっちゅう来る

563スペースNo.な-742017/01/23(月) 00:32:50.88
IPがMSならスマホ向けページのクローラ
違うならただの偽装

564スペースNo.な-742017/04/03(月) 19:41:50.60
SPモード使った荒らしがきたんだけど
規制しても大丈夫かな

565スペースNo.な-742017/04/04(火) 06:33:18.05
さっくり弾いておやり

566スペースNo.な-742017/12/23(土) 01:43:44.55
参考までに、ネットで話題の自宅で収入を得られる方法など
⇒ 『木下のアイラスメ』 というサイトで見ることができました。

グーグルで検索⇒『木下のアイラスメ』

YV4BNUV3FB

567スペースNo.な-742018/04/05(木) 07:42:52.52
☆ 日本人の婚姻数と出生数を増やしましょう。そのためには、公的年金と生活保護
を段階的に廃止して、満18歳以上の日本人全員に支給する、『ベーシックインカム』
の導入は必須です。月額約70000円位ならば、廃止すれば財源的には可能です。
ベーシックインカム、でぜひググってみてください。お願い致します。☆☆

568スペースNo.な-742018/05/17(木) 00:28:39.82
確実にどんな人でも可能なパソコン一台でお金持ちになれるやり方
参考までに書いておきます
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』

PS7L7

新着レスの表示
レスを投稿する