高考考试网
当前位置: 首页 高考资讯

数据开源工具有哪些(14款顶级开源情报工具合集)

时间:2023-06-14 作者: 小编 阅读量: 3 栏目名: 高考资讯

整合所有数据并且能够优先处理最严重的问题将非常有帮助。据悉,它可以在单个图中对多达10,000个对象进行链接分析。Maltego提供了各种图形布局的结果,这些图形布局允许信息被聚合,并且关系被立即和准确地显示。该程序有一个免费版本,功能有限,称为MaltegoCE。用于大规模商业用途的服务器安装起价为40,000美元,并附带完整的培训计划。BuiltWith可用于侦察目的。而IntelligenceX最新索引的例子包括2021年国会山骚乱的镜头以及Facebook5.33亿个人资料的数据泄露事件。

如今,市场上大多数OSINT工具都提供下述三种关键功能,其中许多工具在某一特定领域表现得格外突出。

发现面向公众的资产

它们最常见的功能是帮助IT团队发现面向公众的资产,并绘制每个人所拥有的可能导致潜在攻击面的信息。一般来说,它们不会试图寻找程序漏洞或执行渗透测试之类的事情。它们的主要工作是记录某人可以在无需诉诸黑客攻击的情况下公开找到的有关公司资产的信息。

发现组织外的相关信息

一些OSINT工具执行的第二个功能是在组织外部(例如在社交媒体帖子中或在可能位于严格定义的网络之外的域和位置)寻找相关信息。那些进行了大量收购并获得了他们要合并的公司的 IT 资产的组织会发现此功能非常有用。鉴于社交媒体的急剧增长和流行,在公司范围之外寻找敏感信息可能对任何群体都有帮助。

将发现的信息整理成可操作的形式

最后,一些OSINT工具有助于将所有发现的信息整理和分组为有用且可操作的情报。为大型企业运行OSINT扫描可以产生数十万个结果,尤其是在包括内部和外部资产的情况下。整合所有数据并且能够优先处理最严重的问题将非常有帮助。

顶级OSINT工具(排名不分先后)

使用合适的OSINT工具可以帮助企业组织发现有关公司、员工、IT资产和其他可能被攻击者利用的机密或敏感数据信息,从而提高网络安全性。首先发现这些信息,然后隐藏或彻底删除它,可以帮助企业组织有效减少包含网络钓鱼攻击和拒绝服务攻击在内的一切攻击形式。

以下都是用于开源情报的一些顶级工具,我们将为大家介绍它们各自擅长的领域,以及各自的独到之处和能够为企业组织的网络安全工作带来的具体价值。

Maltego

Maltego通过使用开源情报技术查询诸如DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取之类的源,来找到这些信息之间的链接。据悉,它可以在单个图中对多达10,000个对象进行链接分析。

Maltego提供了各种图形布局的结果,这些图形布局允许信息被聚合,并且关系被立即和准确地显示。即便隐藏关系相隔三或四度,也可检测到。

Maltego程序通过自动搜索不同的公共数据源来工作,因此用户可以单击一个按钮并执行多个查询,据悉,每次执行的查询可以返回多达12个实体。由于该程序使用公共接口来执行搜索,因此它几乎可以与任何具有公共接口的信息源兼容。

一旦收集到信息,Maltego 就会建立链接,以揭开姓名、电子邮件地址、别名、公司、网站、文档所有者、附属机构和其他可能对调查有用的信息之间的隐藏关系,或寻找潜在的未来问题。该程序本身在Java中运行,因此它适用于Windows、Mac和Linux平台。

该程序有一个免费版本,功能有限,称为Maltego CE。Maltego XL桌面版本每个实例运行 1,999美元。用于大规模商业用途的服务器安装起价为40,000美元,并附带完整的培训计划。

Mitaka

Mitaka作为Chrome扩展程序和Firefox插件提供,可让您从Web浏览器中搜索超过72个 IP 地址、域、URL、哈希、ASN、比特币钱包地址和各种入侵指标(IOC)的搜索引擎。

该扩展程序充当各种在线数据库的快捷方式,可以通过单击进行查询,从而节省您的时间。对于那些更喜欢有重点且更有限集合的人,也可以选择替代扩展Sputnik。

Spiderfoot

Spiderfoot是一款免费的OSINT侦察工具,它集成了多个数据源来收集和分析IP 地址、CIDR 范围、域和子域、ASN、电子邮件地址、电话号码、姓名和用户名、BTC 地址等。在 GitHub 上可用,Spiderfoot带有命令行界面和嵌入式Web服务器,用于提供直观的基于Web的GUI。

该应用程序本身带有200多个模块,非常适合红队侦察活动,以发现有关目标的更多信息或识别您或您的组织可能在互联网上无意暴露的内容。

Spyse

Spyse将自身描述为面向网络安全专业人士的“最完整的互联网资产注册中心”。Spyse 依赖于OWASP、IntelligenceX 和前面提到的Spiderfoot 等项目,收集有关网站、其所有者、相关服务器和IoT设备的公开数据。然后通过Spyse引擎对这些数据进行分析,以发现这些不同实体之间的任何安全风险和连接。

Spyse有免费计划可用,但对于计划使用Sypse API构建应用程序的开发人员,可能需要付费订阅。

BuiltWith

顾名思义,BuiltWith是一款帮你发现流行网站构建技术的工具。不同的技术堆栈和平台为不同的站点提供支持。例如,BuiltWith可以检测网站是否使用WordPress、Joomla或Drupal作为其内容管理系统(CMS),并提供更多详细信息。

BuiltWith还会生成一个网站使用的已知JavaScript/CSS库(例如jQuery或Bootstrap)的整洁列表。此外,该服务还提供安装在网站上的插件列表、框架、服务器信息、分析和跟踪信息等。BuiltWith可用于侦察目的。

更重要的是?将BuiltWith与WPScan等网站安全扫描程序结合使用(例如与WordPress漏洞数据库API集成)还可以用于发现影响网站的常见安全漏洞。

对于那些想要识别站点的主要技术堆栈的人来说,Wappalyzer可能更适合,因为它提供了更集中、更简洁的输出。亲自尝试BuiltWith和Wappalyzer,看看哪个更适合您的需求。

Intelligence X

Intelligence X 是同类首创的档案服务和搜索引擎,它不仅可以保留网页的历史版本,还可以保留由于内容令人反感或法律原因而从网络上删除的整个泄露数据集。尽管这听起来可能与 Internet Archive的Wayback Machine类似,但Intelligence X在服务重点保留的内容类型方面存在一些明显差异。在保留数据集方面,无论存在多大争议,Intelligence X 都一视同仁。

Intelligence X之前保留了超过49,000个Fortinet VPN 的列表,这些VPN被发现容易受到路径遍历缺陷的影响。本周晚些时候,这些VPN的明文密码也暴露在黑客论坛上,尽管后来这些数据已从这些论坛中删除,但仍被Intelligence X保留。

此前,该服务已经索引了从希拉里·克林顿(Hillary Clinton)和唐纳德·特朗普(Donald Trump)等著名政治人物的电子邮件服务器收集的数据。而Intelligence X最新索引的例子包括2021 年国会山骚乱的镜头以及Facebook 5.33 亿个人资料的数据泄露事件。

对于情报收集者、政治分析家、新闻记者和安全研究人员来说,此类信息在各个方面都具有难以言喻的价值。

DarkSearch.io

对于经常访问暗网的人来说,可能已经非常清楚应该在哪里寻找自己需要的信息,但对于那些新手来说,DarkSearch.io可以作为帮助其入门的好平台。与另一个暗网搜索引擎Ahmia一样,DarkSearch也是免费的,但带有用于运行自动搜索的免费API。

尽管Ahmia和DarkSearch都有.onion站点,但您不必一定要转到.onion版本或使用Tor来访问这些搜索引擎中的任何一个。您只需从常规网络浏览器访问darksearch.io即可搜索暗网。

Grep.app

您如何在互联网上搜索50万个git存储库?当然,您可以尝试 GitHub、GitLab 或 BitBucket 提供的单独搜索栏,但Grep.app可以非常高效地完成这项工作。事实上,最近Twitter用户和记者非常喜欢使用 Grep.app 来了解大约有多少存储库在使用Codecov Bash上传器:

在搜索潜伏于OSS存储库中的与IOC、易受攻击的代码或恶意软件(例如Octopus Scanner、Gitpaste-12或恶意的GitHub Action加密货币挖矿PR)相关的字符串时,Grep.app也能很好地发挥作用。

Recon-ng

使用Python工作的开发人员可以利用Recon-ng中的强大工具,该工具是用Python语言编写的。它的界面看起来与流行的Metasploit框架非常相似,从而可以减少那些有经验之人的学习曲线。它还具有许多Python模块缺乏的交互式帮助功能,因此开发人员应该能够快速上手。

Recon-ng可自动执行耗时的OSINT活动,例如剪切和粘贴。 Recon-ng并没有声称所有OSINT收集都可以通过其工具进行,但它可以用于自动化许多最流行的收集类型,为仍然必须手动完成的事情留出更多时间。

它具有非常模块化的框架和许多内置功能,使得即便是最初级Python开发人员也可以创建公开可用数据的搜索并返回良好的结果。标准化输出、与数据库交互、发出Web请求和管理API密钥等常见任务都是界面的一部分。开发人员无需编写Recon-ng来执行搜索,只需选择他们希望其执行的功能,并在几分钟内构建一个自动化模块。

Recon-ng 是免费的开源软件。可用的wiki包括有关开始使用该工具的综合信息以及使用它的最佳实践。

theHarvester

作为此列表中最简单的工具之一,theHarvester旨在捕获存在于组织拥有的网络之外的公共信息。它也可以在内部网络上找到附带的东西,但它使用的大多数工具都是面向外部的。作为渗透测试或类似练习之前的侦察步骤,它将是有效的。

theHarvester 使用的来源包括流行的搜索引擎,如Bing和Google,以及鲜为人知的搜索引擎,如dogpile、DNSdumpster和Exalead元数据引擎。它还使用Netcraft Data Mining和 AlienVault Open Threat Exchange。它甚至可以利用Shodan搜索引擎来寻找已发现主机上的开放端口。通常,Harvester工具会收集电子邮件、名称、子域、IP和URL数据。

TheHarvester无需任何特殊准备即可访问大多数公共资源。但是,其使用的部分源可能需要API密钥。此外,您的环境中还必须有Python 3.6或更高版本。

任何人都可以在GitHub上获得 theHarvester。建议您在从那里克隆时使用virtualenv创建一个隔离的Python环境。

Shodan

Shodan是一个专用搜索引擎,用于查找有关设备的情报,例如构成物联网(IoT)的数十亿设备,这些设备通常无法搜索,但如今却无处不在。它还可用于查找目标系统上的开放端口和漏洞等内容。其他一些OSINT工具(如theHarvester)将其用作数据源,但想与Shodan深度交互必须要是付费帐户。

作为OSINT工作的一部分,Shodan可以监控和搜索的范围体量令人震惊。它是少数能够检查操作技术(OT,例如在发电厂和制造设施等地方的工业控制系统中使用的那种)的引擎之一。如果没有像Shodan这样的工具,任何在部署信息技术和OT的行业中收集OSINT的工作都会存在很大的缺失。

除了相机、建筑传感器和安全设备等物联网设备外,Shodan还可以查看数据库等内容,以了解是否有任何信息可通过主界面以外的路径公开访问。它甚至可以与视频游戏一起使用,发现诸如《我的世界》(Minecraft)或《反恐精英:全球攻势》(Counter-Strike: Global Offensive)服务器隐藏在公司网络中不应该存在的地方,以及它们产生的漏洞。

任何人都可以购买Freelancer许可证并使用Shodan每月扫描多达5,120个IP地址,并返回多达一百万个结果,每月只需花费59美元;需求更多的用户可以购买企业许可证,它提供无限的结果和每月最多300,000个IP的扫描。企业版每月收费899美元,其中还包括漏洞搜索过滤器和高级支持等服务。

Metagoofil

GitHub上另一款免费提供的工具Metagoofil已经经过了优化,可以从公共文档中提取元数据。Metagoofil可以调查其能够通过公共渠道访问的几乎任何类型的文件,包括.pfd、.doc、.ppt、.xls 和许多其他文件。

Metagoofil能够搜索返回诸如与发现的文档相关联的用户名以及真实姓名(如果可用)之类的内容。它还映射了如何访问这些文档的路径,而这些文档又会提供诸如服务器名称、共享资源和有关主机组织的目录树信息之类的内容。

Metagoofil发现的一切对于黑客来说都非常有用,他们可以用它来执行诸如发起暴力密码攻击甚至网络钓鱼电子邮件之类的事情。想要保护自己的组织可以使用与攻击者相同的OSINT工具来收集信息并在恶意行为者采取主动之前保护或隐藏它。

searchcode

对于那些需要真正深入了解OSINT收集的复杂矩阵的人来说,searchcode是一款高度专业化的搜索引擎,可以在源代码中寻找有用的情报。出人意料的是,这个强大的引擎出自一名开发人员之手。

由于在执行搜索之前需要首先将代码库添加到程序中,因此搜索代码跨越了OSINT工具和旨在查找公共信息以外事物的工具之间的界限。但它仍然可被视为一种OSINT工具,因为开发人员可以使用它来发现与正在运行的应用程序或仍在开发的应用程序上的代码内部可访问敏感信息相关的问题。在后一种情况下,可以在应用程序部署到生产环境之前修复这些问题。

用户只需输入他们的搜索字段,searchcode就会返回相关结果,并在代码行中突出显示搜索词。建议的搜索包括用户名、安全漏洞(如eval $_GET调用)、不需要的活动函数(如re.compile)以及可用于发起代码注入攻击的特殊字符。

大多数情况下,searchcode返回的结果都是不言自明的。但是,如果需要,可以单击这些结果以查找更深入的信息或匹配问题。

Babel X

用户想要获取的信息并非总是英文。根据相关数据显示,只有大约四分之一的互联网用户将英语作为他们的主要语言,尽管各种消息来源称多达55%的互联网内容是英语。您需要的信息可能是中文、西班牙文或泰米尔文。

Babel Street的Babel X是一款用于公共互联网(包括博客、社交媒体、留言板和新闻网站)的多语言搜索工具。它还可以搜索暗网(包括Onion 站点),以及可以通过内容所有者的协议或许可访问的一些深层网络内容。该产品能够对其找到的信息源进行地理定位,并且可以执行文本分析以识别相关结果。Babel X目前能够搜索200多种语言。

多语言搜索的有效用例包括搜索全球新闻以获得态势感知——例如,了解勒索软件攻击的目标趋势。它还可用于发现公司在外国网站上出售的知识产权,或显示关键合作伙伴已被泄露的信息。客户还使用Babel X在非英语留言板上查找可疑攻击者的用户句柄。

Babel X的主要产品是基于云的,允许客户通过添加自己的数据源进行搜索来定制它。Babel Box是一个本地版本,但缺少Babel X的一些功能,例如访问深层网络数据源。Babel Channels 是成本最低的选项,它是一个精选的数据源集合。移动应用程序可用于所有选项。

OSINT框架

虽然上述这些工具提供了丰富的OSINT数据,但还有许多其他工具和技术可以帮助您充分了解您组织的公共足迹。发现更多工具的绝佳资源是OSINT框架,它提供了一个基于Web的界面,可以细分OSINT研究人员感兴趣的不同主题领域,并将您连接到可以帮助您嗅探所需信息的工具。

OSINT框架推荐给您的工具都是免费的,尽管有些需要注册或提供功能更齐全的付费版本。有些只是帮助构建高级谷歌搜索的工具,可以产生惊人的信息量。OSINT框架由Justin Nordine维护,并在GitHub上有一个项目页面。

OSIN是非法的吗?

并非每一次黑客入侵都涉及高级持续威胁或深入、复杂的渗透。黑客和其他人一样,将采取最简单的途径达到他们的目标。如果他们想要的信息能通过可公开访问的渠道获得,则无需尝试通过数月的努力来破解严密的网络安全防线。至少,敏感信息可以用作获取有效凭证或帮助以较少的努力或风险实现有效入侵的捷径。

虽然OSINT技术经常被恶意行为者用作发起非法攻击之前的侦察工具,但在大多数情况下,这些工具和技术本身是完全合法的——毕竟,它们旨在帮助您掌握已发布或以其他方式公开的数据。甚至政府机构也被鼓励使用OSINT技术来发现其自身网络安全防御中的漏洞。

工具本身并无好坏之分,关键在于人如何使用它。因此,建议使用开源情报工具的相关企业或研究人员可以提前制定相应相关行为准则,合法、有边界地规范工具使用行为,从而更好地做好安全防御。

    推荐阅读
  • 技校学电工怎么样(学汽车电工到山东蓝翔技师学院怎么样)

    山东蓝翔技师学院开设有汽车电工班,学期三个月。主要学习汽车的电源、起动、点火、照明、信号、仪表、音响、空调、电动座椅、电动后视镜、智能车窗、中控门锁、防盗等系统的结构原理、故障诊断与排除的维修技术;学习掌握各种车型的线路识图方法和故障诊断技术。学院备有各种国产、进口轿车、电教板模型和重型车辆供学员实习。山东蓝翔技师学院实行理实一体化教学模式,建有大型现代化实训基地,拥有充足的实习设备供学员实习。

  • 欢乐斗地主读牌器不见了(000个食品欢乐斗地主记牌器)

    特别是,有意识的标签会让你检查食品在最短保存日期之后是否仍可食用,因为标签上有一个独特的短语“经常好过”,以及一系列的图标,建议你“观察、嗅觉、味觉”。

  • 黄皮能放多久(黄皮能放多久啊)

    下面希望有你要的答案,我们一起来看看吧!新鲜的黄皮果放在阴凉干爽的地方可以保存5天。想要黄皮果的保存时间更长,可以将黄皮果制作成果酱或是腌制后放入冰箱冷藏,能保存一个月以上。黄皮放入冰箱时,可以用报纸将黄皮果连枝叶一起包起来存放。

  • 治疗小儿生长发育迟缓案例(小儿生长发育迟缓)

    治疗小儿生长发育迟缓案例赵先生的儿子叫飞飞,上幼儿小班,他发现飞飞身高比同班同学的都矮,和妻子商量后,在网上买了一些美其名曰能增高的药物。后来,赵先生带着孩子去了医院,得知孩子得了生长发育迟缓。要是确诊了小儿生长发育迟缓,是需要进行正规的治疗,要在医生的指导下用药。不能自己乱用药,盲目用药危害大。如果是因为疾病引起的矮小,一定要及时进行干预,比如生长激素缺乏的孩子,千万不要等。

  • 四川甘孜州泸定县地震受灾情况(四川甘孜州泸定县发生6.8级地震)

    来源:中国气象局据中国地震台网正式测定,9月5日12时52分在四川甘孜州泸定县发生6.8级地震,震源深度16千米,震中位于北纬29.59度,东经102.08度。四川省气象局于5日13时30分启动地震灾害气象服务三级应急响应。经确认,四川当地气象部门暂无人员伤亡。未来将继续密切关注泸定县及周边区域云系发展,以及可能带来的分散降水情况。由于泸定县近期多降雨天气,需防范降雨天气对交通、救援和应急处置工作的不利影响。

  • 2021年常熟积分调剂入学报到时间(2020年常熟积分入学)

    2021年常熟积分调剂入学报到时间:2021年7月28日(周三),上午8点到11点,下午1点到4点。进入校园戴好口罩,出示健康码,按要求做好各项防疫工作。2.小学:户口簿、监护人身份证、出生证、儿童预防接种情况评价表。

  • 剪完短发后头发蓬起来了怎么办(剪完短发后头发蓬起来该怎么解决)

    剪完短发后头发蓬起来了怎么办?下面更多详细答案一起来看看吧!在第一次剪短发的时候,建议大家留的长一点,到锁骨的位置,打理起来也是非常的方便,如果不想披散着头发,也可以扎起来。用直发棒恢复:剪短发的人群,建议在家准备一个直发棒,小一号的就可以,功率大约在20W即可,可以随身携带。使用直夹板的时候,一定要将温度调整到合适的温度,再进行夹发。

  • 心脏跳得过快会不会衰竭(竟会发展成心力衰竭)

    如果房颤反复发作的时间超过7天,就被称为持续性房颤。黄兴福医生介绍,房颤多见于老年人,75岁以上人群发病率达10%。目前广东35岁以上居民房颤发病率约为1.46%,高于全国1%的平均水平。房颤发病还与冠心病、高血压等慢性疾病有着密切关系。另外,肥胖也是房颤的高发危险因素。跟正常体重相比,肥胖引发的房颤发病率会偏高。目前依据国际指南,射频消融是阵发性房颤和持续性房颤首选一类推荐的治疗方案。

  • 小叶紫檀黑筋怎么辨别(什么是小叶紫檀的)

    在紫檀的裂隙上带的颜色叫筋,紫檀的表皮较粗松易裂,雨水等一些杂质很容易黏附并渗入紫檀后开始腐蚀坏死形成筋,做成工艺品后形成的黑色块状称之为黑斑。而黑线,某种程度上说,是小叶紫檀老料的佐证。木头的主要成分不止是纤维素,另外还有少量淀粉,蛋白质,水分及矿物质等。对于黑筋黑线目前未有权威说法,大部分黑筋黑线都同时提及的,也是小叶的一个特点。

  • 国茶是什么茶(中国的国茶是什么)

    跟着小编一起来看一看吧!国茶是什么茶中国目前还未定国茶,不过名茶倒有不少。中国十大名茶,包括西湖龙井,洞庭碧螺春,黄山毛峰,都匀毛尖,六安瓜片,君山银针,信阳毛尖,武夷岩茶,安溪铁观音,祁门红茶。