怎样将Pastebin里的信息运用在安全研究和威胁情报方面

一、媒介
从网络安全阐发和威逼情报的角度来看，Pastebin是一个难得的信息宝库。只需没有设置隐衷（private）选项（必要注册账户能力设置该选项），任何人都可以或许查看上传到pastebin数据的详细内容。
本文先容了一款PasteHunter对象，该对象可以或许应用Yara规矩从Pastebin上搜刮有代价的信息，并将结果保留到当地情况中。
二、完成计划
地下数据起源异常广，好比，黑客和剧本小子迫在眉睫地想把他们的结果推送到网站上，享用被全球瞩目标自豪感，而开辟者或网络工程师一旦呈现忽略，就会不小心把外部设置装备摆设信息和凭据信息公之于众。
这类情况下，通俗网络安全阐发师若何挑选这些数据，在网络安全阐发行业中施展这些数据的代价呢？
咱们可以或许搜刮Pastebin上的一切上传数据，反省这些数据能否包括有代价的信息。如今有许多对象可以或许供给相似功效，好比，dumpmon应用了一组正则表达式来监控相似Pastebin的多个网站，而后经由过程推特颁布监控结果。
这个资本很不错，然而我盼望本身能在更多细节上停止节制。Pastebin其实不否决咱们爬取其数据，但该网站存在某些限定前提，同一个IP地点屡次哀求后可以或许会被暂时或许永远封禁。
荣幸的是，Pastebin供给了一个API，这类API专门服务于此类义务场景。今朝，Pastebin正在搞为期几天的促销，一次付出19.95美元就可以永远领有Pro（专业版）账号。


图1. Pro账户促销
领有Pro账户后，咱们可以或许应用某个白名单IP，以每秒1次的频率哀求API。现实情况中，咱们哀求的频率其实不必要那末高。
如今咱们曾经可以或许拜访一切的数据，接下来若何处置这些数据呢？是时刻请出PasteHunter这个对象了。
这个对象现实上是一个简略的剧本，可以或许经由过程一组Yara规矩，应用pastebin API来得到数据，挑选此中婚配的数据内容，存放到elastic search引擎中，而后应用Kibana前端来展现婚配的结果。


图2. 前端仪表盘


图3. 后端已存储数据
假如你不熟悉Yara规矩，这里轻微先容一下。Yara是一种形式婚配引擎，重要用来扫描文件和分类歹意软件家属。Yara使咱们可以或许很便利地结构繁杂的婚配规矩，无需堕入正则表达式的泥潭。
装置进程异常简略，假如你必要Web界面来搜刮内容的话，你可以或许装置Elastic Search和Kibana。
固然咱们也必要抉择Python3、Yara，并将二者绑定（应用pip install yara-python这条敕令）。
装置根基情况后，咱们必要从代码库中下载代码，创立筹划义务以按期运转剧本。详细信息可以或许浏览Github上的readme文档。
代码中自带了一些规矩，这些规矩可以或许扫描最罕见的那些数据，好比暗码信息、泄漏的凭据信息、被黑的网站等等。你也可以或许创立自定义关键词的规矩文件，增加本身的关键词，比方，某个custom_keywords.yar文件以下所示：
1
2
3
4
5
6
7
8
9
10
11
/* This rule will match any of the keywords in the list */
rule custom_keywords {
    meta: author = "@KevTheHermit" info = "Part of PasteHunter"
    strings:
        $my_email = "thehermit@techanarchy.net" wide ascii nocase
        $my_domain = "techanarchy.net" wide ascii nocase
        $this_word = "This Word"
        $other_word = "More Words"
    condition:
        any of them
}
你可以或许应用这类规矩搜刮婚配的域名、邮件地点、文档名等各类信息，以懂得能否有任何数据不测泄漏或许被别人盗取。
假如你想懂得创立Yara规矩的更多细节，可以或许参考民间文档中的详细阐明。
你所要做的便是这么简略，运转剧本后，你可以或许看到数据源源不断会聚出去。
已网络的部门数据样本以下所示：


图4. Base64编码的歹意软件