Spiders & bots to add to phpBB

Do not post support requests, bug reports or feature requests. Discuss phpBB here. Non-phpBB related discussion goes in General Discussion!
Anti-Spam Guide
User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

the.ronin wrote:Marcus, you are doing God’s work here. Keep it up!
Thanks, I'm glad to hear the information is appreciated.

User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

New today:

Bot name: Information Credibility Criteria Project [Bot]
Agent match: ICC-Crawler
Information on the bot: http://kc.nict.go.jp/project1/crawl.html

User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

New today:

Bot name: Hatena Antenna [Bot]
Agent match: Hatena Antenna
Information on the bot: http://crazedmonkey.com/blog/computers/ ... tenna.html

Bot name: Youdao [Bot]
Agent match: YoudaoBot
Information on the bot: http://www.youdao.com [Chinese search engine]

User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

Does anyone have any info on the below one?

Guest IP: » Whois
Mozilla crawl/5.0 (compatible; frt/1.13.2 +http://www..com)


User avatar
Registered User
Posts: 2383
Joined: Sun Jul 01, 2007 11:26 pm
Location: phpbb_

Re: Spiders & bots to add to phpbb3

Post by A_O_C » - Geo Information
IP Address
Location US US, United States
City Redwood City, CA 94061
Organization Attributor Corporation
ISP SAVVIS Communications Corporation
AS Number AS3561
Latitude 37°46'25" North
Longitude 122°24'05" West
Distance 10446.03 km (6490.86 miles)
Map Locationnew World Map Google Maps Yahoo Maps Microsoft Live Maps
Map location - Whois Information

OrgName: Savvis
Address: 3300 Regency Parkway
City: Cary
StateProv: NC
PostalCode: 27511
Country: US

NetRange: -
NetHandle: NET-64-41-128-0-1
Parent: NET-64-0-0-0-0
NetType: Direct Allocation
NameServer: DNS01.SAVVIS.NET
NameServer: DNS02.SAVVIS.NET
NameServer: DNS03.SAVVIS.NET
NameServer: DNS04.SAVVIS.NET
RegDate: 2000-02-10
Updated: 2007-09-18

OrgAbuseHandle: ABUSE11-ARIN
OrgAbuseName: Abuse
OrgAbusePhone: +1-877-393-7878
OrgAbuseEmail: abuse@savvis.net

OrgNOCHandle: NOC99-ARIN
OrgNOCName: SAVVIS Support Center
OrgNOCPhone: + 1-888-638-6771
OrgNOCEmail: ipnoc@savvis.net

OrgTechHandle: UIAA-ARIN
OrgTechName: US IP Address Administration
OrgTechPhone: +1-888-638-6771
OrgTechEmail: todd.baldwin@savvis.net

OrgName: Attributor Corporation
Address: 1779 Woodside Road, Suite 200,
Address: ATTN Adrian McDermott
StateProv: CA
PostalCode: 94061
Country: US

NetRange: -
NetName: SAVV-S600611-4
NetHandle: NET-64-41-253-0-1
Parent: NET-64-41-128-0-1
NetType: Reallocated
NameServer: NS1.SAVVIS.NET
NameServer: NS2.SAVVIS.NET
NameServer: NS3.SAVVIS.NET
RegDate: 2008-10-20
Updated: 2008-10-20

RTechHandle: RMO144-ARIN
RTechName: Monga, Rajat
RTechPhone: +1-650-306-9180
RTechEmail: rajat@attributor.com

OrgTechHandle: RMO144-ARIN
OrgTechName: Monga, Rajat
OrgTechPhone: +1-650-306-9180
OrgTechEmail: rajat@attributor.com

# ARIN WHOIS database, last updated 2008-12-08 19:10
# Enter ? for additional hints on searching ARIN's WHOIS database.
User avatar
Registered User
Posts: 1228
Joined: Fri Nov 14, 2008 8:07 am

Re: Spiders & bots to add to phpbb3

Post by onehundredandtwo »

New Bot to add (if you even call it a bot...):

Bot name: Web Site Optimization [Bot]
Agent match: (does not provide a proper agent match - sometimes changes from null to a Windows 98 agent)
IP Address:
Information on the bot: http://www.websiteoptimization.com/services/analyze/
Need help preventing spam? Read Preventing spam in phpBB 3.0.6 and above
Registered User
Posts: 184
Joined: Sun Oct 05, 2008 10:53 pm

Re: Spiders & bots to add to phpbb3

Post by the.ronin »

Would adding a huge amount of bots to your site slow it down in any material way?

I’ve got 237 bots listed. :lol:
User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

New today:

Bot name: Diffbot [Bot]
Agent match: Diffbot
Information on the bot: http://www.diffbot.com

User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

New today:

Bot name: CyberPatrol [Bot]
Agent match: CyberPatrol
Information on the bot: http://www.cyberpatrol.com/cyberpatrolcrawler.asp

User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

New today:

Bot name: Abonti [Bot]
Agent match: Abonti
Information on the bot: http://www.abonti.com

Registered User
Posts: 290
Joined: Tue Oct 23, 2007 5:08 am
Location: Faculty of Medicine

Re: Spiders & bots to add to phpbb3

Post by almsamim »

oh alot of spiders in this topic
thanks Marcus Wendel for this good work
Registered User
Posts: 66
Joined: Fri Sep 28, 2007 12:01 pm

Re: Spiders & bots to add to phpbb3

Post by bx67212 »

good work..

i use these:

Code: Select all

Bot Name : 1klik.dk [Bot]
Bot Agent : FastCrawler

Bot Name : 2Bone Link Checker [Bot]
Bot Agent : 2Bone

Bot Name : ABACHO [Bot]
Bot Agent : AbachoBOT

Bot Name : ABCdatos [Bot]
Bot Agent : ABCdatos

Bot Name : AEIWI [Bot]
Bot Agent : Aeiwi

Bot Name : AISearch [Bot]
Bot Agent : AISearchBot

Bot Name : Aberja [Bot]
Bot Agent : Aberja Checkomat

Bot Name : Abonti [Bot]
Bot Agent : Abonti

Bot Name : About [Bot]
Bot Agent : About/

Bot Name : Accoona [Bot]
Bot Agent : accoona

Bot Name : ActiveBookmark [Bot]
Bot Agent : ActiveBookmark

Bot Name : AdsBotGoogle [Bot]
Bot Agent : AdsBot-Google

Bot Name : Aesop [Bot]
Bot Agent : AESOP

Bot Name : Agada [Bot]
Bot Agent : agadine

Bot Name : AideRSS [RSS]
Bot Agent : AideRSS

Bot Name : Alexa [Bot]
Bot Agent : ia_archiver

Bot Name : Allesklar [Bot]
Bot Agent : Allesklar

Bot Name : Alta Vista [Bot]
Bot Agent : Scooter

Bot Name : Amfibi [Bot]
Bot Agent : Amfibibot

Bot Name : Amidalla [Bot]
Bot Agent : amibot

Bot Name : Aport [Bot]
Bot Agent : Aport

Bot Name : Apple-PubSub [Bot]
Bot Agent : Apple-PubSub

Bot Name : Arachnid Crawler [Bot]
Bot Agent : ArachBot

Bot Name : Arexera [Bot]
Bot Agent : X-Crawler

Bot Name : Arianna [Bot]
Bot Agent : arianna

Bot Name : Ask Jeeves [Bot]
Bot Agent : Ask Jeeves

Bot Name : AustLII [Bot]
Bot Agent : Gromit

Bot Name : Axada [Bot]
Bot Agent : axadine

Bot Name : BDProtect [Bot]
Bot Agent : BPImageWalker

Bot Name : Babaloo [Bot]
Bot Agent : BabalooSpider

Bot Name : Baidu [Bot]
Bot Agent : Baiduspider

Bot Name : Balihoo [Bot]
Bot Agent : Balihoo

Bot Name : Become [Bot]
Bot Agent : BecomeBot

Bot Name : Best of the Web [Bot]
Bot Agent : BOTW Spider

Bot Name : Big Brother [Bot]
Bot Agent : Big Brother

Bot Name : BigClique [Bot]
Bot Agent : BigCliqueBOT

Bot Name : Bim Zone [Bot]
Bot Agent : bim-zone

Bot Name : BitTorrent [Bot]
Bot Agent : BTbot

Bot Name : BlogDex [Bot]
Bot Agent : BlogBot

Bot Name : Bloglines [Bot]
Bot Agent : Bloglines

Bot Name : Blue.lu [Bot]
Bot Agent : Confuzzledbot

Bot Name : BoardReader [Bot]
Bot Agent : BoardReader

Bot Name : Boitho [Bot]
Bot Agent : boitho.com

Bot Name : Boston Project [Spam]
Bot Agent : Boston Project

Bot Name : Brandwatch [Bot]
Bot Agent : Jakarta Commons

Bot Name : Business.com [Bot]
Bot Agent : bdcindexer

Bot Name : BuzzRanking [Bot]
Bot Agent : BuzzRankingBot

Bot Name : CSS Validator [W3C]
Bot Agent : W3C_CSS_Validator

Bot Name : CanadianContent [Bot]
Bot Agent : RoboCrawl

Bot Name : Cazoodle [Bot]
Bot Agent : CazoodleBot

Bot Name : Check Favorites [Bot]
Bot Agent : Check Favorites

Bot Name : CheckWeb [Bot]
Bot Agent : CheckWeb

Bot Name : Checkbot [Bot]
Bot Agent : Checkbot

Bot Name : Checklinks [Bot]
Bot Agent : CheckLinks

Bot Name : Cipinet [Bot]
Bot Agent : CipinetBot

Bot Name : Claymont [Bot]
Bot Agent : Claymont.com

Bot Name : Clush [Bot]
Bot Agent : Clushbot

Bot Name : CommonCrawl [Bot]
Bot Agent : CCBot

Bot Name : Convera [Bot]
Bot Agent : Convera

Bot Name : Cosmoty [Bot]
Bot Agent : beautybot

Bot Name : CreativeCommons [Bot]
Bot Agent : CreativeCommons

Bot Name : Cruiser [Bot]
Bot Agent : Internet Cruiser Robot

Bot Name : Cuill [Bot]
Bot Agent : Twiceler

Bot Name : Custo [Bot]
Bot Agent : Custo

Bot Name : Cyber Spyder Link Test [Bot]
Bot Agent : CyberSpyder

Bot Name : CyberPatrol [Bot]
Bot Agent : CyberPatrol

Bot Name : Cydral [Bot]
Bot Agent : CydralSpider

Bot Name : Cynthia [Bot]
Bot Agent : Cynthia

Bot Name : DZNET [Bot]
Bot Agent : Kevin

Bot Name : DailyOrbit [Bot]
Bot Agent : Orbiter

Bot Name : Daum [Bot]
Bot Agent : Daumoa

Bot Name : Dead Link Check [Bot]
Bot Agent : DeadLinkCheck

Bot Name : DeepIndex [Bot]
Bot Agent : DeepIndex

Bot Name : DepSpid [Bot]
Bot Agent : DepSpid

Bot Name : Desert Realm [Bot]
Bot Agent : DesertRealm

Bot Name : Die Blinde Kuh [Bot]
Bot Agent : Die Blinde Kuh

Bot Name : Diffbot [Bot]
Bot Agent : Diffbot

Bot Name : DiscoveryEngine [Bot]
Bot Agent : discobot

Bot Name : Ditto [Bot]
Bot Agent : DittoSpyder

Bot Name : DomainTools [Bot]
Bot Agent : SurveyBot

Bot Name : DotNet [Bot]
Bot Agent : DotBot

Bot Name : Dumbfind [Bot]
Bot Agent : Dumbot

Bot Name : EXPelite [Spam]
Bot Agent : ExtractorPro

Bot Name : EmailSearch [Spam]
Bot Agent : EmailSearch

Bot Name : Enaball [Bot]
Bot Agent : EnaBot

Bot Name : Entireweb [Bot]
Bot Agent : Speedy Spider

Bot Name : Envolk [Bot]
Bot Agent : envolk

Bot Name : Exabot [Bot]
Bot Agent : Exabot

Bot Name : Exactseek [Bot]
Bot Agent : ExactSeek

Bot Name : Exalead [Bot]
Bot Agent : Exabot/

Bot Name : ExaleadThumbnails [Bot]
Bot Agent : Exabot-Thumbnails

Bot Name : Exooba [Bot]
Bot Agent : exooba

Bot Name : FAST Enterprise [Bot]
Bot Agent : FAST Enterprise

Bot Name : FAST WebCrawler [Bot]
Bot Agent : FAST-WebCrawler

Bot Name : FULLSearch [Bot]
Bot Agent : FULLSearch

Bot Name : Facebook Scraper [Bot]
Bot Agent : facebookscraper

Bot Name : Facebook [Bot]
Bot Agent : facebookexternalhit

Bot Name : FakeWordpress [Spam]
Bot Agent : WordPress/

Bot Name : Favorstar [Bot]
Bot Agent : favorstarbot

Bot Name : Feed Validator [W3C]
Bot Agent : FeedValidator

Bot Name : FeedValidator [Bot]
Bot Agent : FeedValidator

Bot Name : Filangy [Bot]
Bot Agent : Filangy

Bot Name : Fireball [Bot]
Bot Agent : Fireball

Bot Name : Focuseek [Bot]
Bot Agent : focuseekbot

Bot Name : Francis [Bot]
Bot Agent : http://www.neomo.de

Bot Name : Furl [Bot]
Bot Agent : FurlBot

Bot Name : FyberSearch [Bot]
Bot Agent : FyberSpider

Bot Name : Galaxy [Bot]
Bot Agent : GalaxyBot

Bot Name : Geona [Bot]
Bot Agent : GeonaBot

Bot Name : Gigabot [Bot]
Bot Agent : Gigabot

Bot Name : Girafa [Bot]
Bot Agent : Girafabot

Bot Name : GoForIt [Bot]

Bot Name : GoGuides [Bot]
Bot Agent : Goblin

Bot Name : Goo [Bot]
Bot Agent : ichiro

Bot Name : Google Adsense [Bot]
Bot Agent : Mediapartners-Google

Bot Name : Google Desktop [Bot]
Bot Agent : Google Desktop

Bot Name : Google Feedfetcher [Bot]
Bot Agent : Feedfetcher-Google

Bot Name : Google Search Appliance [Bot]
Bot Agent : gsa-crawler

Bot Name : Google Wireless Transcoder [Bot]
Bot Agent : Google Wireless Transcoder

Bot Name : Google [Bot]
Bot Agent : Googlebot

Bot Name : HMSEbot [Spam]
Bot Agent : HMSEbot

Bot Name : HTML2JPG [Bot]
Bot Agent : HTML2JPG

Bot Name : HTTrack [Bot]
Bot Agent : HTTrack

Bot Name : Hatena Antenna [Bot]
Bot Agent : Hatena Antenna

Bot Name : Heeii [Bot]
Bot Agent : Heeii

Bot Name : Heise IT-Markt [Bot]
Bot Agent : IT-Markt

Bot Name : Heritrix [Bot]
Bot Agent : heritrix

Bot Name : Homerweb [Bot]
Bot Agent : Homerbot

Bot Name : Hoppa! [Bot]
Bot Agent : Toutatis

Bot Name : Html Link Validator [Bot]
Bot Agent : Html Link Validator

Bot Name : IBM Research [Bot]
Bot Agent : ibm.com/cs/crawler

Bot Name : ICjobs [Bot]
Bot Agent : ICCrawler

Bot Name : INFOmine [Bot]
Bot Agent : iVia

Bot Name : ISC Open Index [Bot]
Bot Agent : ISC Open Index crawler

Bot Name : IceRocket [Bot]
Bot Agent : BlogzIce

Bot Name : IconSurf [Bot]
Bot Agent : IconSurf

Bot Name : Il Trovatore [Bot]
Bot Agent : IlTrovatore-Setaccio

Bot Name : Ilse [Bot]
Bot Agent : IlseBot

Bot Name : ImageShack [Bot]
Bot Agent : ImageShack Image Fetcher

Bot Name : Indy Library [Spam]
Bot Agent : Indy Library

Bot Name : Information Credibility Criteria Project [Bot]
Bot Agent : ICC-Crawler

Bot Name : InternetSeer [Bot]
Bot Agent : InternetSeer.com

Bot Name : InternetServicesResearch [Bot]
Bot Agent : MSR-ISRCCrawler

Bot Name : JCheckLinks [Bot]
Bot Agent : JCheckLinks

Bot Name : Jyxo [Bot]
Bot Agent : Jyxobot

Bot Name : Kalooga [Bot]
Bot Agent : Kalooga

Bot Name : Keywen Encyclopedia Links [Bot]
Bot Agent : KeywenBot

Bot Name : Keywen Encyclopedia [Bot]
Bot Agent : EasyDL

Bot Name : Kvasir [Bot]
Bot Agent : Solbot

Bot Name : Larbin [Bot]
Bot Agent : larbin

Bot Name : Link Checker [W3C]
Bot Agent : W3C-checklink/

Bot Name : LinkAlarm [Bot]
Bot Agent : LinkAlarm

Bot Name : LinkChecking [Bot]
Bot Agent : LinkWalker

Bot Name : LinkLint [Bot]
Bot Agent : LinkLint

Bot Name : LinkNZ [Bot]
Bot Agent : linknzbot

Bot Name : Lookseek [Bot]
Bot Agent : Seeker

Bot Name : Looksmart [Bot]
Bot Agent : MantraAgent

Bot Name : Lycos [Bot]
Bot Agent : Lycos

Bot Name : MLBot [Bot]
Bot Agent : MLBot

Bot Name : MOMspider [Bot]
Bot Agent : MOMspider

Bot Name : MSIEcrawler [Bot]
Bot Agent : msiecrawler

Bot Name : MSN Mobile [Bot]
Bot Agent : MSMOBOT

Bot Name : MSN [Bot]
Bot Agent : msnbot

Bot Name : Magpie [Bot]
Bot Agent : magpie-crawler

Bot Name : Majestic-12 [Bot]
Bot Agent : MJ12bot/

Bot Name : Majestic12 [Bot]
Bot Agent : MJ12bot

Bot Name : Markup Validator [W3C]
Bot Agent : W3C_Validator

Bot Name : Media [MSN]
Bot Agent : msnbot-media

Bot Name : Megaglobe [Bot]
Bot Agent : Megaglobe

Bot Name : Megaproxy [Bot]
Bot Agent : ProxyOS

Bot Name : Metager [Bot]
Bot Agent : MetagerBot

Bot Name : Metaspinner [Bot]
Bot Agent : Metaspinner

Bot Name : Microsoft Research [Bot]
Bot Agent : MSRBOT

Bot Name : Mirago [Bot]
Bot Agent : Mirago-Test-Robot

Bot Name : MixCat [Bot]
Bot Agent : Mixcat Crawler

Bot Name : MoPilot [Bot]
Bot Agent : w@pSpider

Bot Name : Mojeek [Bot]
Bot Agent : MojeekBot

Bot Name : Morfeo [Bot]
Bot Agent : holmes

Bot Name : Munax [Bot]
Bot Agent : 

Bot Name : MyFamily [Bot]
Bot Agent : MyFamilyBot

Bot Name : Mylinea [Bot]
Bot Agent : Mylinea

Bot Name : NG-Search [Bot]
Bot Agent : NG-Search

Bot Name : NationalDirectory [Bot]
Bot Agent : NDSpider

Bot Name : Naver [Bot]
Bot Agent : Yeti

Bot Name : NetMechanic [Bot]
Bot Agent : NetMechanic

Bot Name : Netcraft WebServerSurvey [Bot]
Bot Agent : Netcraft Web Server Survey

Bot Name : NewsBlogs [MSN]
Bot Agent : msnbot-NewsBlogs

Bot Name : NextLinks [Bot]
Bot Agent : findlinks

Bot Name : Nextopia [Bot]
Bot Agent : Nextopia

Bot Name : Nextthing [Bot]
Bot Agent : nextthing.org

Bot Name : Nokodo [Bot]
Bot Agent : NokodoBot

Bot Name : Noxtrum [Bot]
Bot Agent : noxtrumbot

Bot Name : Nutch [Bot]
Bot Agent : nutch

Bot Name : NutchCVS [Bot]
Bot Agent : NutchCVS

Bot Name : ObjectsSearch [Bot]
Bot Agent : ObjectsSearch

Bot Name : Omgili [Bot]
Bot Agent : omgilibot

Bot Name : OmniExplorer [Bot]
Bot Agent : OmniExplorer

Bot Name : Onet.pl [Bot]
Bot Agent : Onet.pl

Bot Name : Online link [Bot]
Bot Agent : online link validator

Bot Name : OnlineLinkValidator [Bot]
Bot Agent : online link validator

Bot Name : Openfind [Bot]
Bot Agent : Openbot

Bot Name : Oxide [Bot]
Bot Agent : Anthill

Bot Name : P3P Validator [W3C]
Bot Agent : P3P Validator

Bot Name : PEERbot [Bot]
Bot Agent : PEERbot

Bot Name : PHP Version Tracker [Bot]
Bot Agent : PHP version tracker

Bot Name : Patsearch [Bot]
Bot Agent : Patwebbot

Bot Name : PicSearch [Bot]
Bot Agent : psbot

Bot Name : Picosearch [Bot]
Bot Agent : PicoSearch

Bot Name : Pingdom [Bot]
Bot Agent : Pingdom

Bot Name : Pipeline [Bot]
Bot Agent : pipeLiner

Bot Name : Polybot [Bot]
Bot Agent : polybot

Bot Name : Popdex [Bot]
Bot Agent : Popdexter

Bot Name : Powerset [Bot]
Bot Agent : zermelo

Bot Name : Proximic [Bot]
Bot Agent : proximic

Bot Name : Qango [Bot]
Bot Agent : Qango

Bot Name : Quepasa [Bot]
Bot Agent : QuepasaCreep

Bot Name : REAP Project [Bot]
Bot Agent : REAP-crawler

Bot Name : RIX [Bot]
Bot Agent : RixBot

Bot Name : RPonline [Bot]
Bot Agent : BlitzBOT

Bot Name : RSS-Reader [RSS]
Bot Agent : RSS-Reader

Bot Agent : RSS-SPIDER

Bot Name : Rambler [Bot]
Bot Agent : StackRambler

Bot Name : ReciprocalLinksChecker [Bot]
Bot Agent : reciprocal links checker

Bot Name : Robots.txt Validator [Bot]
Bot Agent : Robots.txt Validator

Bot Name : SEO Crawler [Bot]
Bot Agent : SEO search

Bot Name : SEOSearch [Bot]
Bot Agent : SEOsearch

Bot Name : ScoutJet [Bot]
Bot Agent : ScoutJet

Bot Name : ScrubTheWeb [Bot]
Bot Agent : Scrubby

Bot Name : SearchByUSA [Bot]
Bot Agent : SearchByUsa

Bot Name : SearchHippo [Bot]
Bot Agent : Fluffy the spider

Bot Name : SearchScout [Bot]
Bot Agent : ClariaBot

Bot Name : SearchUK [Bot]
Bot Agent : MegaSheep

Bot Name : Searchalot [Bot]

Bot Name : Searchles [Bot]
Bot Agent : Dumbot

Bot Name : Searchme [Bot]
Bot Agent : Charlotte

Bot Name : SecureComputing [Bot]
Bot Agent : page_prefetcher

Bot Name : Seekport [Bot]
Bot Agent : Seekbot

Bot Name : Semantic Data Extractor [W3C]
Bot Agent : Python-urllib

Bot Name : Sensis [Bot]
Bot Agent : Sensis

Bot Name : Seoma [Bot]
Bot Agent : Seoma

Bot Name : Setooz [Bot]
Bot Agent : OOZBOT

Bot Name : Seznam [Bot]
Bot Agent : SeznamBot

Bot Name : Shelob [Spam]
Bot Agent : shelob

Bot Name : Shoula! [Bot]
Bot Agent : Shoula

Bot Name : Simply [Bot]
Bot Agent : Argus

Bot Name : SingingFish [Bot]
Bot Agent : asterias

Bot Name : Site Valet [Bot]
Bot Agent : Valet

Bot Name : SiteSearcher [Bot]
Bot Agent : SSearch

Bot Name : SiteSell [Bot]
Bot Agent : SBIder

Bot Name : SiteSpider [Bot]
Bot Agent : SiteSpider

Bot Name : Sitesearch.ca [Bot]
Bot Agent : Reaper

Bot Name : SitiDi [Bot]
Bot Agent : SitiDiBot

Bot Name : Skaffe [Bot]
Bot Agent : Skampy

Bot Name : Skizzle [Bot]
Bot Agent : SKIZZLE

Bot Name : Snap Shots Preview [Bot]
Bot Agent : SnapPreviewBot

Bot Name : Snap Shots [Bot]
Bot Agent : Snapbot

Bot Name : Snappy [Bot]
Bot Agent : Snappy

Bot Name : Snoopy [Bot]
Bot Agent : Snoopy

Bot Name : SoMusical! [Bot]
Bot Agent : MusicWalker

Bot Name : Sonic [Spam]
Bot Agent : EmailSiphon

Bot Name : Soso [Bot]
Bot Agent : Sosospider

Bot Name : Speedy Spider [Bot]
Bot Agent : speedy_spider

Bot Name : SpiderMonkey [Bot]
Bot Agent : SpiderMonkey

Bot Name : Spinn3r [Bot]
Bot Agent : Spinn3r

Bot Name : Startpagina [Bot]
Bot Agent : Startpagina

Bot Name : Steeler [Bot]
Bot Agent : www.tkl.iis.u-tokyo.ac.jp/~crawler

Bot Name : Suchbot [Bot]
Bot Agent : suchbot

Bot Name : Suchen.de [Bot]
Bot Agent : suchen.de

Bot Name : Suchknecht [Bot]
Bot Agent : Suchknecht

Bot Name : Suchmaschine21 [Bot]
Bot Agent : CoolBot

Bot Name : SurfSafely [Bot]
Bot Agent : Submission Spider

Bot Name : Sygol [Bot]
Bot Agent : sygol

Bot Name : Syno [Bot]
Bot Agent : Synoobot

Bot Name : Synoo [Bot]
Bot Agent : SynooBot

Bot Name : Szukacz [Bot]
Bot Agent : Szukacz

Bot Name : Telekom [Bot]
Bot Agent : crawleradmin.t-info@telekom.de

Bot Name : Teradex [Bot]
Bot Agent : Teradex

Bot Name : The Web Moose [Bot]
Bot Agent : WebMoose

Bot Name : Thunderstone [Bot]
Bot Agent : T-H-U-N-D-E-R-S-T-O-N-E

Bot Name : TinEye [Bot]
Bot Agent : TinEye

Bot Name : Tkensaku [Bot]
Bot Agent : Tkensaku

Bot Name : Trampelpfad [Bot]
Bot Agent : Trampelpfad

Bot Name : Tricus [Bot]
Bot Agent : Rotondo

Bot Name : TulipChain [dmoz]
Bot Agent : TulipChain

Bot Name : TurnPike [Bot]
Bot Agent : Turnpike

Bot Name : Turnitin [Bot]
Bot Agent : TurnitinBot

Bot Name : TutorGig [Bot]
Bot Agent : TutorGig

Bot Name : Twotrees [Bot]
Bot Agent : Willow Internet Crawler

Bot Name : Tygo [Bot]
Bot Agent : Tygo

Bot Name : UKWizz [Bot]
Bot Agent : Mackster

Bot Name : UnCHAOS [Bot]
Bot Agent : UnChaos

Bot Name : Updated! [Bot]
Bot Agent : updated

Bot Name : Verity [Bot]
Bot Agent : vspider

Bot Name : Virgilio [Bot]
Bot Agent : FAST

Bot Name : Visvo [Bot]
Bot Agent : VisBot

Bot Name : Voila [Bot]
Bot Agent : VoilaBot

Bot Name : Voyager [Bot]
Bot Agent : voyager

Bot Name : W3M2 [Bot]
Bot Agent : W3M2

Bot Name : W3SiteSearch [Bot]
Bot Agent : W3SiteSearch

Bot Name : WBpagechecker [Bot]
Bot Agent : WBpagechecker

Bot Name : WISEnutbot [Bot]
Bot Agent : WISEnutbot

Bot Name : Walhello [Bot]
Bot Agent : appie

Bot Name : WebAlta [Bot]
Bot Agent : WebAlta

Bot Name : WebCopy [Bot]
Bot Agent : WebCopy

Bot Name : WebCorp [Bot]
Bot Agent : WebCorp

Bot Name : WebCrawl [Bot]
Bot Agent : webcrawl

Bot Name : WebSquash [Bot]
Bot Agent : Websquash

Bot Name : Webglimpse [Bot]
Bot Agent : Webglimpse

Bot Name : Wget [Spam]
Bot Agent : Wget

Bot Name : WhatUSeek [Bot]
Bot Agent : whatUseek

Bot Name : Whitevector [Bot]
Bot Agent : Whitevector Crawler

Bot Name : Wikia Search [Bot]
Bot Agent : GrubNG

Bot Name : WiseGuys [Bot]
Bot Agent : Vagabondo

Bot Name : WiseNut [Bot]
Bot Agent : ZyBorg

Bot Name : Wotbox [Bot]
Bot Agent : WSB

Bot Name : YaCy [Bot]
Bot Agent : yacybot

Bot Name : Yahoo Feed Seeker [RSS]
Bot Agent : YahooFeedSeeker

Bot Name : Yahoo MMCrawler [Bot]
Bot Agent : MMCrawler

Bot Name : Yahoo Search Marketing [Bot]
Bot Agent : YahooYSMcm

Bot Name : Yahoo Slurp [Bot]
Bot Agent : Yahoo! DE Slurp

Bot Name : Yahoo [Bot]
Bot Agent : Slurp

Bot Name : YahooSeeker [Bot]
Bot Agent : YahooSeeker

Bot Name : Yandex [Bot]
Bot Agent : Yandex

Bot Name : Yanga [Bot]
Bot Agent : Yanga

Bot Name : Yebol [Bot]
Bot Agent : YebolBot

Bot Name : Yellowpet [Bot]
Bot Agent : yellopet

Bot Name : Yodao [Bot]
Bot Agent : YodaoBot

Bot Name : Youdao [Bot]
Bot Agent : YoudaoBot

Bot Name : Zao [Bot]
Bot Agent : Zao

Bot Name : Zerx [Bot]
Bot Agent : zerxbot

Bot Name : ZoomInfo [Bot]
Bot Agent : NextGenSearchBot

Bot Name : blogWatcher [Bot]
Bot Agent : blogWatcher

Bot Name : dir.com [Bot]
Bot Agent : Pompos

Bot Name : dmoz [Bot]
Bot Agent : Robozilla

Bot Name : iOpus [Bot]
Bot Agent : iopus

Bot Name : ichiro [Bot]
Bot Agent : ichiro

Bot Name : libwww script [Spam]
Bot Agent : libwww-perl

Bot Name : mirago.co.uk [Bot]
Bot Agent : HenrytheMirago

Bot Name : mirago.de [Bot]
Bot Agent : HeinrichderMirago

Bot Name : mnoGoSearch [Bot]
Bot Agent : Mnogosearch

Bot Name : mobileOK Checker [W3C]
Bot Agent : W3C-mobileOK

Bot Name : search.ch [Bot]
Bot Agent : search.ch

Bot Name : vBSEO [Bot]
Bot Agent : vBSEO

Bot Name : webcollage [Bot]
Bot Agent : webcollage
User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

Another one today:

Bot name: Radian6 [Bot]
Agent match: R6_FeedFetcher
Information on the bot: www.radian6.com/crawler

Registered User
Posts: 333
Joined: Mon May 07, 2007 11:51 pm

Re: Spiders & bots to add to phpbb3

Post by T50 »

wow, you are really good at finding some new bots marcus! good job!
Free Webhosting with option of getting paid plan <-- No Ads, No Pop-ups, Absolutely free/ or use promo code T50 to get a 10% discount on paid plan!
Make a few $$ in under a few minutes, easy to do

Webmaster of a Northeast Wisconsin Boy Scout Troop Website, http://bsat50.info
User avatar
Marcus Wendel
Registered User
Posts: 534
Joined: Sun Mar 10, 2002 5:58 pm
Location: Sweden

Re: Spiders & bots to add to phpbb3

Post by Marcus Wendel »

Thanks, I'm glad to hear the bot information is appreciated.

Post Reply

Return to “phpBB Discussion”