kali工具箱

Parsero包装说明

Parsero是一个免费的脚本，用Python编写的读取Web服务器的robots.txt文件，着眼于不允许的条目。在不允许条目告诉什么托管在Web服务器上的目录或文件不能被索引的搜索引擎。例如，“不允许：/门/登录”意味着，在www.example.com/portal/login~~V它的内容是不允许被像谷歌，必应爬虫索引，雅虎......这就是这样，管理员必须不共享敏感或私人信息的搜索引擎。

但有时这些路径输入了不允许项是由用户不使用的搜索引擎，只需访问URL和路径，有时候他们不向任何人可以访问直接访问......因为真的是常见的管理员写大量不允许的，其中一些是可用的，其中有些是没有，你可以使用Parsero以检查每个不允许进入的HTTP状态代码，以便自动检查这些目录都可用。

而且，事实上，管理员写一个robots.txt，它并不意味着键入的Dissallow条目的文件或目录不会被冰，谷歌，雅虎...被索引出于这个原因，Parsero能够在冰搜索到的找到没有网络管理员授权收录的内容。 Parsero将检查的HTTP状态代码以相同的方式为每个秉结果。

资料来源：https://github.com/behindthefirewalls/Parsero
Parsero首页 | 卡利parsero回购

作者：哈维尔·涅托
许可：GPL第二版

包含在parsero包工具

parsero - robots.txt的审计工具

[email protected]:~# parsero -h



____

| _ \ __ _ _ __ ___ ___ _ __ ___

| |_) / _` | '__/ __|/ _ \ '__/ _ \

| __/ (_| | | \__ \ __/ | | (_) |

|_| \__,_|_| |___/\___|_| \___/



usage: parsero [-h] [-u URL] [-o] [-sb]



optional arguments:

-h, --help show this help message and exit

-u URL Type the URL which will be analyzed

-o Show only the "HTTP 200" status code

-sb Search in Bing indexed Disallows

parsero用法示例

搜索结果从一个网站（-u www.bing.com）使用必应收录不允许（-sb）：

[email protected]:~# parsero -u www.bing.com -sb



____

| _ \ __ _ _ __ ___ ___ _ __ ___

| |_) / _` | '__/ __|/ _ \ '__/ _ \

| __/ (_| | | \__ \ __/ | | (_) |

|_| \__,_|_| |___/\___|_| \___/



Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 06/09/14 12:48:25

Parsero scan report for www.bing.com

http://www.bing.com/travel/secure 301 Moved Permanently

http://www.bing.com/travel/flight/flightSearchAction 301 Moved Permanently

http://www.bing.com/travel/css 301 Moved Permanently

http://www.bing.com/results 404 Not Found

http://www.bing.com/spbasic 404 Not Found

http://www.bing.com/entities/search 302 Found

http://www.bing.com/translator/? 200 OK

http://www.bing.com/Proxy.ashx 404 Not Found

http://www.bing.com/images/search? 200 OK

http://www.bing.com/travel/hotel/hotelSearch 301 Moved Permanently

http://www.bing.com/static/ 404 Not Found

http://www.bing.com/offers/proxy/dealsserver/api/log 405 Method Not Allowed

http://www.bing.com/shenghuo 301 Moved Permanently

http://www.bing.com/widget/render 200 OK