なんJキュレーションサイト・アフィカス対策本部

1 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:03:05.10 ID:ocCO+lQq.net

調べて見ました！いかがでしたか？のような情報がコピペ程度で開く価値のないサイトやアフィカスのまとめブログのような検索の邪魔なサイトをリストアップし検索結果を改善して行くスレ

公開リストはここのメニューから
https://wikiwiki.jp/nanj-adguard/

2 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:03:18.56 ID:ocCO+lQq.net

コピペ

ノイズレスサーチ
Googleのカスタム検索から不要なサイトを除去した検索サイト
しかし既に除外の件数の上限に達している為これ以上の改善はあまり見込めない
アフィリエイトやカンパなどで運営している。
現在のところこれが一番手っ取り早いと思われる

URL
http://pasokatu.com/nsearch#gsc.tab=0

一番手取り早いのはこれ使う

3 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:03:35.82 ID:ocCO+lQq.net

2番目
これ使う
SearX https://searx.me/
プライバシー保護を重視したオープンソースのメタ検索エンジン
検索結果はカスタマイズできるので設定によって変わる
検索結果は悪くはない
プライバシーにも配慮されている
サーバを借りて自分専用にインスタンスを立てることが出来る
他のカスタマイズされたURLリンク
https://github.com/asciimoo/searx/wiki/Searx-instances
決められない場合以下のURLで色々なSearXからランダムに検索できる
https://searxes.danwin1210.me/

4 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:04:06.28 ID:ocCO+lQq.net

3番目
ブラウザ拡張を使う

uBlacklist
Chrome用アドオン
https://chrome.google.com/webstore/detail/ublacklist/pncfbmialoiaghdehhbnbhkkgmjanfhe
https://github.com/iorate/uBlacklist
https://qiita.com/iorate/items/9ff65360fbdf4082476a
Personal Blocklist (not by Google)
Firefox用アドオン　uBlacklistと別作者です
https://github.com/wildskyf/personal-blocklist
https://addons.mozilla.org/ja/firefox/addon/personal-blocklist/

5 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:04:23.85 ID:ocCO+lQq.net

しょうもない“いかがでしたかブログ”を警告する
Google Chrome拡張
https://forest.watch.impress.co.jp/docs/review/1174083.html

利用するとええかもしれん
未知数なので注意

6 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:05:56.42 ID:ocCO+lQq.net

ちゃんとカットするにはしっかりとしたリストを作ってブラウザ拡張を使うしかない
ノイズレスサーチはもAPIなどの機能上の制限でもう改善が見込まれんので公開リスト作っとるで

いかがでしかブログとかアフィカスのサイトリストはここで作っとるから見かけたら気軽に報告してくれや
長々書いとるけど荒れるの防止対策やからうざいサイトがあればいかがでしたかブログやったとかうざい理由書けばそれで十分やで

https://wikiwiki.jp/nanj-adguard/%E3%82%A2%E3%83%95%E3%82%A3%E3%82%AB%E3%82%B9%E3%83%AA%E3%82%B9%E3%83%88%E4%BD%9C%E6%88%90%E6%89%80/%E8%AA%AC%E6%98%8E

7 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:06:21.73 ID:ocCO+lQq.net

iPhoneやとDuckDuckGoで結構避けれるのでそれをデフォルトにするとええ
半年以上使っとるが特に問題ないで
Torのデフォルト検索に登録されるくらいプライバシーに関してはしっかりしとるのでその点は安心してええ

8 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:06:36.96 ID:ocCO+lQq.net

!Bang検索が便利なのでそれを活用するとええかも
SeaX使うなら
例えば
!searx.me
を設定->一般->キーボード->ユーザー辞書から登録

単語
!searx.me
よみ
s

9 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:06:54.08 ID:ocCO+lQq.net

とかにしとくとええ

「なんJ」を検索するときは
「!Searx.Me なんJ」と検索ボックスに入れればSearXで検索出来る
Googleやったら!gで出来るで

10 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:07:25.69 ID:ocCO+lQq.net

活動場所などはここか>>6で

11 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:07:45.74 ID:ocCO+lQq.net

コピペ終わり

コピペは自由に使っとくれ

12 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:08:03.86 ID:ocCO+lQq.net

他の検索エンジンで綺麗に除去する場合はちまバスターなどと併用推奨

13 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:08:25.07 ID:ocCO+lQq.net

ここにアフィカスリストに登録したいURLがある場合しっかりとh抜きやドットを→[.]のように変えるなどサニタイズしてURLがリンクの形にならないようにすること

URLが踏めるとそのサイトが検索結果の上位に表示されやすくなるのでしっかりとサニタイズ頼むで

14 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:08:41.67 ID:ocCO+lQq.net

DuckDuckGoの場合検索結果にクソサイトがある場合フィードバックから送ると改善するかもしれんので送るとええ
日本語でもええと思うけど出来れば英語の方がええかも
わからん

15 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:09:04.00 ID:ocCO+lQq.net

ま

16 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:09:16.16 ID:ocCO+lQq.net

ま

17 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:10:07.99 ID:HxMDUaPS.net

保守

18 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:10:18.93 ID:HxMDUaPS.net

保守

19 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:10:37.61 ID:69HrBT2j.net

保守

20 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:10:50.13 ID:69HrBT2j.net

保守終わり

21 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/04(日) 22:35:17.94 ID:IHP6vBsS.net

なんJ民の年齢は？年収は？学歴は？
調べてみました！

22 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/13(火) 02:38:11.73 ID:75rLGIzj.net

>>3
これの
https://searxes.danwin1210.me/
サイト死んどるので使わんように

23 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/27(火) 02:04:08.92 ID:V8wrS2Ir.net

>>21
と言ったサイトはウェブスパムとして報告できるから報告するんやで


過剰なSEO対策を行っているようなページはウェブスパムとして扱われレポートを送信できます。

「ウェブスパム」とは、Google をだまして掲載順位を上げようとするページのことです。ウェブスパム レポートを送信する前に、ページに他の問題がないかどうかをご確認ください
以下のURLから送信できるので内容のないページは送信して減らしていきましょう。

Google
送信フォーム
https://www.google.com/webmasters/tools/spamreport

24 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/08/28(水) 00:00:08.41 ID:nuEjcdFG.net

>>23
はえーこんなのあるんかサンガツ
利用者みんながこういうのをこまめに行えばより良くなってゆくんやろうが、現実はそう上手くいかんもんやなぁ

25 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/09(月) 11:12:36.18 ID:Qtfebdsr.net

>>22

だいぶ前に告知出てたぞ
今は https://searxes.eu.org/

26 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/10(火) 11:51:09.31 ID:K+OikJ1c.net

多くのサーチエンジンに対応したサイトブロックスクリプト

https://greasyfork.org/ja/scripts/1682-google-hit-hider-by-domain-search-filter-block-sites

27 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/28(土) 06:30:44.27 ID:ZXf9LJBO.net

たまには書き込め
いくらUとはいえ落ちるぞ

28 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/28(土) 16:14:34.93 ID:eqYTtx7d.net

うんち

29 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/29(日) 03:38:58.77 ID:iWHUtPxL.net

>>27
すまんな
新情報特にないからサイト見つけ次第ブロックしてるだけやし
簡単に各々のフィルター晒し合える場所ってあったら需要あるんやろか?
それとフィルターダブってる部分削除して合体させるスクリプト書こうかな
スクリプトというか正規表現の置き換えで済んでまうが

30 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/29(日) 03:45:26.74 ID:iWHUtPxL.net

https://pc-pier.com/blog/2019/05/31/search-blacklist/
このサイトにあるフィルターのライセンスがわからんから連絡して聞かなあかんのやけど連絡するの面倒で進んでないわ
ライセンスがMITとかなら改変してGoogle hit hider by domain search用にして公開するんやが
そのためにTwitterのアカウント作るのも面倒やし

31 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/29(日) 03:51:57.05 ID:iWHUtPxL.net

それからGoogle hit hider by domain searchの作者にも連絡せなあかんくて
モバイル用に表示されたGoogle検索で動かんってのと
Qwant liteが対応し忘れとるのと
SearXのプラグイン(サイト上にある設定)の無限スクロール有効やと無限スクロールしたところがブロックされないところ伝えんと…

32 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/09/30(月) 21:51:05.73 ID:xuBIUTgq.net

でも正直ちまちまフィルター作っててもキリないよなぁ

33 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/01(火) 03:11:01.33 ID:zX1mSinP.net

ぶっちゃけ共有NG機能は欲しいわ

34 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/08(火) 12:56:33.15 ID:sqzBijxK.net

商品が届かない…『詐欺サイト』NO-VAアフィリエイト被害続発 警察のサイバー犯罪対策担当に“見分け方”を聞いた

多くの人が使っているインターネットのNO-VAアフィリエイトに関するトラブル。

　欲しかった商品が簡単に手に入るなど便利な一方で、「代金を振り込んでも商品が届かない」といったいわゆる「詐欺サイト」の被害が後を絶ちません。

　巧妙な詐欺サイトを見抜くには…？
http://txti.es/5a6gl

35 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/17(木) 18:44:53.19 ID:huSGMYWp.net

スクレピングで集めるアフィサイトのリストとついでに集めるデータの暫定はこんなかんじかなぁ
ざっくり作って見たけどサブ垢とか考えると難しい
livedorの新着とまとめカテゴリーの全部からURLだけ持ってくるのと2chnaviから集めるのは決めてる
あとFC2も
ほかのアンテナサイトはどれ選んだらいいか悩んでるわ
いい候補があったら教えて
https://i.imgur.com/B8PgE5I.png
いかがでしたか系のサイトはどうやって集めたらいいんだろ？

36 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/17(木) 22:04:19.55 ID:xIrOUWGK.net

なんかその図見てくるとちょっと正規化組み替えたくなってくるな

とりあえず公告サービス名は分解してもよくね

37 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/19(土) 21:45:08.99 ID:4NxWt7T6.net

正規化出来るなら勝手にして画像上げてええで
多分反映するで
悩んで思いつかなくて第一正規化しかできなかっただけやし

一つのサイトに1つのサービスの広告IDが2つあったときと一つの広告IDが複数サイトにあるパターンがあってうまく行かない
第4、5辺りなら正規化出来そうやけど戻せなくなるし作るのが…

38 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/19(Sat) 21:46:33 ID:4NxWt7T6.net

あとサイトの生存の項は下の方に移した
生存確認にRSSとか使いそうやからやったら一気にサイトスクレイピングしたほうがええなって

39 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/19(土) 23:58:19.58 ID:cwozsMJK.net

使ってるのここやで知っとると思うが
https://www.draw.io/

40 ：：2019/10/20(Sun) 00:12:13 ID:6nzZ2DCA.net

はえーなんかよく知らんがスゴそうや
ワイもそういうのできるようになってみたい

41 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:38:05.61 ID:OmVBWeW9.net

>>40
これはデータベースの基本やで
単にどうやってデータ保存するかって話や
データベースはこの程度やとそこまで難しくないから独学で二ヶ月掛からないんちゃうかな

42 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:40:44.51 ID:OmVBWeW9.net

requests + Beautiful Soup4
Selenium
Scrappy
どれがええんやろな…
昔スクレイピングしたときはXpath知らなくて冗長なコード書いてたわ
Xpath 便利すぎる

43 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:41:35.05 ID:OmVBWeW9.net

Pythonが一番簡単やろな

44 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:50:34 ID:OmVBWeW9.net

Livedoorのアフィカスのサイト名とURLスクレイピングメモ（改行はテキトウに消して）

ランキング
上位1~3位がdiv[contains(@class, 'inner')]にしないとclass='inner'とclass="inner match_0"があって面倒

サイト名
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a

45 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:50:41 ID:OmVBWeW9.net

>>44
サイトURL(「/@href」を加えただけ)

/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-ranking']/div[@class='category-ranking-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='box']/span[@class='bold']/a/@href

46 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:51:56.15 ID:OmVBWeW9.net

新着(@id='lb-category-rankingが@id='lb-category-recent'に変わっただけ)
サイト名

/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-recent']/div[@class='category-recent-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='text']/span[@class='name']/a

サイトURL(「/@href」を加えただけ)
/html/body/div[@id='lb-container']/section[@id='lb-wrapper']/div[@id='lb-category-recent']/div[@class='category-recent-inner clearfix']/
div[@class='contents']/div[@id='items']/ul[@class='clearfix']/li/div[contains(@class, 'inner')]/div[@class='text']/span[@class='name']/a

全共通
//div[@class='box']/span[@class='bold']/a

47 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:52:58 ID:OmVBWeW9.net

まとめカテゴリのページのやつ
まとめカテゴリから飛べる

48 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/23(水) 20:57:11 ID:OmVBWeW9.net

>>44-46はXpath表記やで
XpathはChromeのXpath Helperが便利だった
DBの方はまだ弄っとる

49 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/26(土) 12:36:53.16 ID:BmCto62b.net

>>41
はえー

50 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/26(土) 17:15:01.38 ID:T+j3LWe+.net

puppeteer選択肢としてありだな

51 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/10/29(火) 00:29:05.27 ID:5iumYnzK.net

アドガ部公認おめやで

52 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/01(金) 23:24:26.86 ID:bvrE8cN0.net

通信調べてAPIとか調べてくの面倒やわ…

53 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 01:03:02.82 ID:4jNW9q9y.net

スマートニュース
グノシー
まとめアプリ
こいつらを調べてそこからアフィリスト持ってこれるようにする
あととアンテナサイト見つけんとな

54 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:21:31.61 ID:lEU4Q/qs.net

まとめカテゴリ以外のまとめサイトの判定の仕方誤爆はあるかもしれないがどうせしょうもないサイトやからNGでええ。ライブドアやFC2とかのリストから
記事での判定方法
【(悲報|衝撃|画像|(韓国|世界|台湾|海外)の反応】
[Wwx]{,4}

ブログ名
[25]ch
まとめ
速報
なんJ
ちゃんねる|チャンネル
VIP

55 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:22:05.21 ID:lEU4Q/qs.net

サイト記事内に
5ch.net|2ch.えすしー

サイトの記事内のやつはスクレイピングの速度上げなあかん気がするから作るならgoになりそうやな
あかん…
後回しや

56 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:23:38.55 ID:lEU4Q/qs.net

あとはスクレイピングソフト配布してボランティア頼むとかしかなさそうやわ…
ざっと見込みで2万サイト以上まとめあるのはわかっとるから確実にリソース問題にぶつかるわこれ

57 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:33:58.98 ID:ZXtcAhQI.net

まとめブログのカテゴリに登録されてないまとめブログの特定方法が悩ましい
ライブドアやFC2とかに登録されとるのはええがそういうのに登録されとらん野良まとめブログの発掘方法が今一ええのが見つからん

58 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:35:48.24 ID:ZXtcAhQI.net

いかがでしたか系のサイトに至ってはお手上げ？疑惑
これスクリプトやと無理ちゃう？
唯一の共通点はWP使っとるくらいやろ
それすら怪しいけど

59 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/02(土) 15:42:59.56 ID:ZXtcAhQI.net

アンテナサイトだけで200超えとるな…

60 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/05(火) 20:09:26 ID:0MoE6z2n.net

FC2はブラウザのの言語でリダイレクトされとるな
めんどくさいわ

61 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/23(土) 21:04:36.12 ID:t1PuzG6R.net

作業滞りがちやわ

62 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/25(月) 17:23:48 ID:XY05eIjV.net

ワイにも手伝える事があればなぁ
プログラミングとかまるっきしできないけど

63 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/27(水) 00:47:29.79 ID:XNUGLoTQ.net

いかがでしたか系のサイトは今のところ規則性や集める場所とか見つけとらんからリスト手動で作ることになるで
やから誰でも出来る
いかがでしたかとかのクソは多分プログラミングで簡単には解決出来んからリスト作ってウィキに登録繰り返してけばええで

あとは誰でも出来るのはサイトブロック出来るアドオン広めることやな

64 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/11/28(木) 21:07:37.93 ID:km9tcS7M.net

わかったやでサンガツ

65 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/12/12(木) 23:44:23.24 ID:gKCHyEBg.net

年末年始に進むといいけど

66 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった：2019/12/20(金) 21:20:01.89 ID:3r07OxJI.net

テステス