当子域名遇上搜索引擎（子域名字典）
cac55 2024-10-27 08:15 16 浏览 0 评论
用之则行，舍之则藏
大概数月前我写了一个子域名扫描工具，期间用起来感觉还行，故打算作文分享一波。当然Github上优秀开源的子域名扫描工具很多，其原理不外乎：字典爆破、爬取第三方平台、爬取dns解析记录、利用搜索引擎、利用证书等。本篇不打算去做工具间的比较，主要用来分享一下如何利用百度搜索引擎去高效的搜集子域名。
字典爆破姿势
在介绍利用搜索引擎搜集子域名前，我先分享一下利用字典爆破方式的缺点以及个人解决方案。
字典爆破方式的缺点
最常见的子域名扫描工具是利用字典爆破的方式，即准备一个常用子域名字典，然后模拟请求dns服务器，观察子域名是否有被成功解析。这种方式非常高效，因为可以利用脚本并发去请求，速度非常快，如果字典够好，结果会很理想。但也存在一个问题，即如果域名设置了泛解析，那么几乎字典中的子域名都是能被成功解析的，会造成很多无用子域名数据。
字典爆破方式的解决方案
解决这个问题，我的第一种方法是将爆破后的子域名+IP结果存入List列表中，然后check同一个IP对应多少个子域名，如果数量大于阀值，则判定为无用数据（因为正常情况下，同一个IP绑定的域名不会特别多）。第二种方式是在爆破前，先去构造一个特殊的子域名，比如：”iamisnmask.thief.one”，类似这种随机字符串构成，不可能会使用的子域名，如果也能解析成功，则说明使用了泛解析。
利用搜索引擎收集子域名
这个思路源于搜索引擎本身就是一个庞大的爬虫系统，其收录了大量网站相关的信息，包括子域名，因此可以利用它来搜集一波。国内搜索引擎有很多，这里只介绍利用百度搜索引擎去搜索，另外我之前专门写过如何爬取百度与搜狗的文章，有兴趣可以移步：爬取搜索引擎之寻你千百度 、爬取搜索引擎之搜狗
爬取百度搜索引擎，首先需要收集一个百度IP列表用来分布式爬取，一方面加快爬取速度，另一方面避免被百度屏蔽。其次是要考虑如何去搜索，才能获取尽量多的子域名结果，我这边列了两种方式，欢迎大家补充。
第一种，可以利用百度搜索语法中的site与link，比如在百度中搜索：site:ctrip.com link:ctrip.com关键词，可以搜索出ctrip.com相关的子域名，但是百度只显示前76页的搜索结果，因此利用此方法获取的子域名肯定不全。
第二种，为了解决第一种的弊端，我们可以利用site+分块的方式去进行搜索，比如在百度中搜索：site:ctrip.com inurl:login关键词，inurl后的关键词可以利用常见的字典进行构造，这种通过多次分块搜索的方式尽可能多的搜索子域名。
项目相关代码
项目代码比较简单，这里就不展开介绍了，本文主要分享了通过百度搜索引擎去尽可能多的搜集子域名的一些个人思路。关于代码，为了方便交流，我上传到了github上，有任何问题可以留言讨论。
项目地址：https://github.com/tengzhangchao/subdomain_baidu_search
文章个人博客地址：https://thief.one/2019/07/01/1/
文章微信公众号地址：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1837956476
相关推荐
- Protel电路设计常用设计编辑器案例2——创建元件
-
#大有学问#今天介绍一下Protel常用设计编辑器的电气连接工具栏。单击主工具栏上的工具按钮或选择【查看】|【工具栏】|【配线工具栏】菜单命令可以关闭或打开【电气连接(WiringTools)】工具...
- Protel调整元器件的位置(1)——移动和对齐元器件
-
今天介绍调整元器件位置的方法。首先介绍移动和对齐元器件的方法。在绘制电路原理图时，放置完了的电路图可能位置不太合适，需要进行移动。原理图中的所有对象都可以被移动，移动方法相似。对于元器件的移动来说又分...
- 电路仿真软件详谈(八)，proteus电路仿真软件和protel的区别
-
电路仿真软件是常用工具类型之一，proteus更是电路仿真软件中的佼佼者。但是对于proteus电路仿真软件和protel，二者总是被弄混淆。例如，protel是电路仿真软件吗?proteus电路仿真...
- PCB文件转换生产文件Protel 99SE_pcb格式转换
-
为何要将PCB文件转换为GERBER文件和钻孔数据？因为GERBER文件是一种国际标准的光绘格式文件，它包含RS-274-D和RS-274-X两种格式，其中RS-274-D称为基本GERBER格式，并...
- PCB设计项目教程 -PDF_pcb设计作品
-
PCB设计项目教程》及相关PCB设计教材详细介绍：一、核心教材《PCB设计项目教程》该教材由徐凯、王威担任主编，于2017年由北京理工大学出版社出版。其采用“项目导向、任务驱动”的教学模式，...
- 最受欢迎的pcb设计软件Protel99se到底怎么样?
-
Protel99se是一款国内非常实用且流行的设计行业的pcb设计软件，其由pcb原理图设计和多层板电路设计两大功能组成，其最大的特点是好获取，在网上可以随便的找到，且Protel99se软件适用于w...
- 人人都是网络雇佣兵，一种基于路由器的ddos平台设计思路
-
本文灵感来自于三个方面优酷路由宝，迅雷宝这种路由器流量兑现方式Anonymous匿名者的ddos方式传统木马ddos方案先说路由宝迅雷宝，这种以用户网络为节点的CDN网络中，会传输大量的流量，我上月优...
- 接口性能测试工具Locust介绍_接口和性能的测试要点
-
接口性能测试工具其实挺多的，小型有apache的ab工具，大型的有Jmeter、Locust......这里要介绍的是Locust，相对于Jmeter进行了比较完善的封装，Locust可以就显的更自...
- 华硕笔记本电脑安装系统实战心得体会
-
故障:某某的电脑叫人安装系统至一半就蓝屏死机.拿来给我安装,发现光驱无效,不能用光盘安装.电脑启动蓝屏.解决方法:用了半天时间安装也出现类似问题.后来考虑用U盘来装.1.首先制作U盘系统,把U盘资...
- dos命令systeminfo图文教程，显示操作系统配置信息msinfo32
-
大家好，我是老盖，首先感谢观看本文，本篇文章做的有视频，视频讲述的比较详细，也可以看我发布的视频。今天我们学习systeminfo命令，该工具显示本地或远程机器(包括服务包级别)的操作系统配置的信息，...
- 玩家展示现代硬件上运行的MS-DOS 拥有令人难以置信的向后兼容性
-
一位YouTuber展示了在现代计算机硬件上直接运行古老的MS-DOS操作系统和经典游戏的能力。这段视频由YouTuberInkbox发布，向观众展示了如何启动古老的、前Windows...
- 比微PE还干净还强大，带网络:USBOS V3.0超级PE装机工具20221031
-
期待已久的USBOSV3.0超级PE装机工具20221031又和大家见面了，用过的朋友都知道他的确很强大，对于新旧电脑的支持很好，目前为止还没有电脑不支持的，包括苹果PC。很多朋友还在用诸如大白菜、...
- 大童保险李晓婧:保险的本位是风险管理应在四方面进行建设
-
经济观察网记者姜鑫5月17日，大童保险服务宣布升级了风险管理模式，推出DOSM（DemandOriented，SolutionModel）需求导向型解决方案5.0版本。新解决方案从原有“六位...
- DOS常用命令及简介_dos常用命令大全及用法
-
DOS是英文DiskOperatingSystem的缩写，意思是“磁盘操作系统”。我是在95年开始学的电脑，当时学校的机房里，还没有一台WINDOWS操作系统的电脑，当时都是用DOS、UC-DOS...
- Windows 忘记开机密码?不用任何工具，1招轻松破解
-
出现忘记Windows密码的情况，概率有多大？对此，小电只能回答忘记开机密码的情况，说来就来，没有规律，也不会提前告诉你一声~而忘记Windows开机密码的时候，很多朋友都会想起可以使用u盘启动盘来破...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)