深度：大数据分析公司Palantir如何帮助NSA和他的伙伴们监控全球

深度：大数据分析公司Palantir如何帮助NSA和他的伙伴们监控全球。自特朗普上任以来，他就继承了全世界最强大的间谍机器，这个狭隘且报复心强的人，将会如何利用这个原本就存在权力滥用的复杂间谍组织，非常令人不安，而他与硅谷投资大佬Peter Thiel私交甚笃的关系，也让人对这种局面难以想像。作为硅谷唯一支持并出资协助川普竞选的投资界人士，Peter Thiel和他创建的公司Palantir虽然符合特朗普喜好，但充满争议。Palantir长期为政府提供各类大数据分析挖掘服务，近期，据Theintercept网秘密获取的一批文档显示，Palantir一直致力于推动美国国家安全局(NSA)和其国际合作伙伴的全球信息收集网络建设。

以下是Theintercept的深入报道：

关于Palantir和Peter Thiel的政治立场

Palantir公司是由Facebook早期投资人、PayPal联合创始人Peter Thiel，和其他四人联合创立的，其中包括现任CEO的鬼才哲学博士Alex Karp。公司早期投资来自CIA旗下的In-Q-Tel风投基金。

Palantir最为人称道两个案例：一是在美国追捕本拉登行动中，Palantir扮演了重要的大数据情报分析角色;二是Palantir协助多家银行追回了纳斯达克前主席麦道夫Bernie Madoff所隐藏起来的数十亿美元巨款。

Palantir本意是《指环王》里那个能看到看到一切穿越时空的水晶球，在《指环王》里，这个球为进入中土世界的其他地方提供一扇窗户，是精灵们创造的魔法工具。

Palantir公司的早期产品理念完全来自于Peter Thiel，公司产品专注于大数据挖掘、处理和可视化分析显示，通过海量数据的整合处理，将特定的人、位置、实体和活动进行关联分析，最终使关系可视化，方便决策判断。

2015年12月，Palantir完成了震惊创投界的8.79亿美元融资;2016年11月25日，Palantir又完成了不明投资方的新一轮2000万美元融资，目前，公司估值远超200亿美元。

Peter Thiel(彼得·蒂尔)：硅谷教父级风险投资家，PayPal创始人、Facebook早期投资者、谷歌风险投资人、对冲基金Clarium Capital总裁，是Palantir的共同创建者，著有畅销书《Zero to One》。去年美国大选期间，在整个硅谷都支持希拉里的情况下，Peter Thiel与众不同，不但出资支持特朗普，还在后期加入了特朗普的政府过渡团队。不过，对于晕头转向的新总统来说，Thiel最能提供支持的估计还是他与Alex Karp和Joe Lonsdale于2004年共同创立的公司Palantir Technologies。

Palantir与政府情报机构的深度合作

在与美国政府的合作方面，Palantir从未掩饰过它的商业野心，要知道，CIA旗下风投公司In-Q-Tel曾是Palantir的早期投资方。据报道，Palantir2009年与联邦政府签署了高达12亿美元的合同，而Palantir却一直拒绝公开其政府客户信息。在市值高达200亿美金的现在，Palantir还将继续寻求新一轮IPO。2012年的TechCrunch采访中，在谈及与情报界的特殊关系时，Palantir董事Alex Karp以保密协议为由拒绝谈论政府业务。

Palantir这个名字是Thiel取的，来源于《指环王》剧中能穿越时空、看到一切的水晶球Palantiri(Palantir的复数形式)，它可以帮助魔王索伦监视、跟踪和威胁对手，而这也代表Palantir产品的初衷：从海量数据中找到事物之间的关联信息。Palantir公司现有两大主打产品——Palantir Gotham和Palantir Metropolis，Gotham主要用于情报、执法和国防安全领域，Metropolis用于金融领域相关的银行诈骗和对冲基金定量数据分析。Gotham通过对结构化数据(如电子数据)和非结构化数据(如图像)的高度集中化分析，得到可视化的关联线索信息，如2010年的一个视频显示，利用Palantir Gotham平台，导入武器装备批号、制造商信息、真主党训练营地等分散数据，就能快速地绘制出中东地区武器流向图。Palantir极具吸引力的特点在于，它不是单一的数据解决方案，其强大的灵活性和兼容性，足以适应任何组织机构对海量数据的处理需求。

尽管手握利润丰富而又阴暗的政府合同，但对于存在争议的政府监控项目，Palantir董事长Alex Karp似乎也毫不回避自己的立场。在2013年的福布斯采访中，他大打隐私牌，表明“政府不应该知道一个人抽了根大麻或者有婚外情这样的事情。在这方面，我们必须要保护自己不受政府监控，这样我们才能放心成为我们希望成为的那种独特、有趣以及古怪的人。”，同样的观点，Peter Thiel也指出，Palantir的公司宗旨是“减少恐怖主义以保护公民自由”。Snowden泄密事件爆发后，由于Palantir旗下有一款名为Prism软件与美国国家安全局(NSA)的“棱镜计划”英文(PRISM)同名，而被好多人混为一谈，之后，Palantir 在一份官方文件中作出了否认回应。[page]

Palantir与XKEYSCORE

Palantir公司网站中关于“隐私&公民权利”的宣传：

Palantir是一家以保护公民基本权利和隐私为主要使命的公司，公司自成立以来，在致力于提供情报分析和金融资本领域最佳解决方案的同时，实现了对公民基本权利的保护。在数据管理和治理方面，只有注重隐私和公民权利保护才能赢得公众信任，这也是Palantir在产品使用中所提倡的。虽然自由和安全互为矛盾的两者，但在在数据分析领域，我们不认为只有牺牲自由才能换来安全。

然而，从斯诺登处获取的文件显示，Palantir公司一直在帮助NSA和其合作伙伴构建基于全球的间谍网络，而这很难与其声称的注重隐私保护所相称。众所周知，NSA的项目XKEYSCORE(关键得分)可以收集获取用户在互联网上的所有痕迹，不仅包括邮件、聊天视频、网页浏览记录、图片、文档、音频、摄像头照片、搜索记录，还包括社交媒体流量、僵尸网络流量、键盘记录、漏洞可利用情况、用户名密码、上传文件、Skype会话等等。XKEYSCORE把收集数据最终形成一个检索库，方便NSA和其全球合作伙伴进行查询。

但是如何处理和归类这些复杂数据呢?Palantir公司的软件派上了用场。在Palantir海量数据分析和可视化分类服务的帮助下，XKEYSCORE变得愈发强大。

Palantir引起GCHQ的注意

Palantir引起政府情报机构的注意可以追溯到2008年。彼时，一年一度由IEEE举办的数据可视化分析年会(VisWeek)在美国召开，英国信号情报局和政府通信总部(GCHQ)的代表慕名而来，会上，来自全球政府和学术部门以及相关私营企业部门组队参加可社化分析(VAST)竞赛设计，而据GCHQ文件描述，当时Palantir团队用其数据分析软件在现场展示了一个完美的设计方案，吸引了很多潜在买家。

会上，Palantir声称利用其软件可以“让多方数据分析专家真正展现集体智慧的发挥”，在Demo展示环节，Palantir工程师利用软件针对维基百科用户进行了宗教派别和社交关系的直观分析描绘，并把这些结果应用在虚拟恐怖组织“帕莱索运动”的追踪定位中，由于实验中所有虚构人物和场景都未有明显语境说明和倾向标记，Palantir软件仅通过虚构用户对维基百科的编辑和社交关系对话，最终确定了该恐怖组织人员。

从VisWeek返会的英国政府通信总部(GCHQ)代表大受震撼，在一份机密的参会总结报告中可以看出他们对于与Palantir的合作充满期待，就连字里行间似乎都透露出一种难以抑制的兴奋感。例如，总结报告一开头就是“Palantir是由CIA投资的硅谷初创公司，公司与美国情报界用户有着深度合作”，报告认为Palantir在VisWeek上展示的Demo“值得关注”，并称这种方式可以方便GCHQ对国内的维基百科用户进行分类，而且认为Palantir的软件“非常高科技和成熟性……，我们都被震惊到了，你只有看到后才会相信这有多牛!”。

GCHQ报告认为“如果我们自行开发此类与Palantir类似功能的系统将会花费很大代价，而Palantir的服务价格又非常高昂…”，另外，GCHQ认为外包情报分析不能完全依赖于商业产品，而且Palantir公开在网站上宣称产品应用于情报分析领域，这可能会引发一些不安全的因素和担忧，最终，GCHQ还是放弃了与Palantir的直接合作。

Palantir应用于“五眼情报联盟”的情报获取

然而，据我们获取到的文件显示，两年后，在美国、英国、澳大利亚、新西兰和加拿大组成的”五眼情报联盟”中，至少有3国情报机构采用了Palantir的服务进行全球数据的采集与分析，其中就包括GCHQ。Palantir擅长从通话记录、IP地址、金融交易、名字、对话内容、旅行记录等海量零散的实体数据中找到关联信息，并通过集中分类和可社化技术描绘出这些关联信息，从而解决了现代情报收集工作中的一个重要问题：数据过载。

GCHQ把“可视化”定义为：通过多种勾勒和描绘方式提高对现有数据集的了解，而这也是Palantir对情报价值的主张：Palantir分析平台可以很好地整合结构化和非结构化数据，具备信息搜集和发现能力，同时支持知识管理和多方协作功能。Palantir致力于为情报机构提供一个可以定位到基础设施的“全栈”式分析平台。下图为GCHQ文件中描述的用于计算机网络攻击的Palantir服务平台：

在共同协定下，“五眼情报联盟”成员国通过XKEYSCORE计划收集了海量数据流和元数据，同时结合这些数据，尝试以黑客手段侵入其它国家网络。

2011年，一份关于GCHQ网络防御情报与安全小组的文件，把Palantir系统形容为具备恶意入侵功能进行数据收集的工具：通过破坏防病毒和其它安全防护软件以追踪用户和渗透网络，同时Palantir软件被形容为“汇聚零散信息并提供独特可视化显示的数据分析平台”，文件同时透露，Palantir与XKEYSCORE系统和其它情报软件被高度整合使用。Palantir系统在网络间谍工作中的应用程度相当广泛，甚至极具前瞻性和想像力。2010年GCHQ和NSA关于“掌控互联网”的监控项目文件提到，在Andriod设备监控中运用Palantir软件，可以实现基于“增强现实(AR)”的信号情报收集，然而，这种说法即使到现在也是不得人知。

在目前曝光的文件中，Palantir软件似乎被描绘成了一种增强型的胶结剂，可以满足所有“五眼情报联盟”情报机构对海量模糊数据的高效获取和关联分析。2007年，GCHQ网络防御情报与安全小组NDIST在“五眼情报联盟”内部的评估文件指出：对海量个人数据的收集是未来信号情报工作一个重要发展方向，但是当前“五眼同盟”内部分析技术实力还不足以应付，必须寻找有力的分析工具作为技术支撑。最终，技术人员在对洛克希德马丁、 Detica等14家公司的分析工具作了评测对比之后，认为后起之秀的Palantir当属最佳产品。

Palantir深受情报机构分析师欢迎

最终，Palantir不出意外地没让“五眼情报联盟”失望，在其构建的新型平台下，各种数据从四面八方汇聚而来，又通过智能关联和可视化分析方式得到了升华应用。该文件中还高调宣称，在与XKS、Spay等“五眼同盟”的10余套分析软件高度整合应用下，Palantir对数据的高效和多方位分析能力非常突出，甚至广受NSA内部数据分析师的欢迎，例如以下分析师的使用感受：

Palantir是我用过最好的分析工具，它非常直观简单，可以完成很多你从来不敢想像的任务。

今天早上，使用TWO FACE对最近3天的活动数据进行了分析，它比XKS至少可以省去一半的分析时间，非常高效。(TWO FACE貌似是Palantir系统的内部代号)

对Palantir的推崇溢于言表地体现在该文档中，在一章标题为“Unexpected Benefits”，看似营销手册的幻灯片中，宣称Palantir可以和包括谷歌地球在内的任何联网应用建立交互联系，甚至还可以在iPhone和笔记本电脑上安装使用，就连在另外一章名为“Potential Downsides(潜在影响)的幻灯片中，也还如此隐晦地对Palantir大加赞赏：“Palantir虽然很贵，但不是想像中那样离谱的贵;Palantir可以做的，就是我们所想的”。所有的这些，也意味着合作仍将继续深入，而为满足情报机构客户的特殊需求，Palantir自身也非常乐意做出适应或改变。

在GCHQ的一个内部维基网页中，分析师上传了一份对Palantir系统的日常例行使用规范，包括各方面内容：“如何从Palantir获取XKS数据….?”、“如何用Palantir进行批量搜索…?”、“如何用Palantir进行批量数据操作….?”等等。技术支撑方面，Palantir提供1对1指导培训，经常向目标客户机构派驻“前沿部署工程师”(forward-deployed engineers)，直接与客户工作互动，确保客户对产品的使用得心应手。另外，如果分析师有任何使用疑问，都可以通过一个定制的即时聊天软件进行反馈。

GCHQ的内部维基网页中还包括了澳大利亚信号情报局和NSA内部情报百科intellipedia对Palantir的秘密级使用描述链接，虽然我们无权访问这些链接的具体内容，但NSA的intellipedia嵌入HTML文件中提及了多个Palantir项目，包括Palantir Classification Helper、[Target Knowledge Base] to Palantir PXML、PalantirAuthService(TechCrunch于2013年获取的一份Palantir公司内部文档，为Palantir和NSA的合作提供了证据)。[page]

Palantir软件的超级插件Kite

在我们获取的曝光文档中，其中提及GCHQ使用的，包含一个内置名为“Kite”插件的Palantir程序，在所有相关出处文档中都作了隐匿编辑处理，而另外一份对Kite的源码分析文档中显示出Palantir对“五眼同盟”的灵活技术支持程度，前端开发人员和后台数据分析师可以就地通过Palantir平台应用或Kite程序获取相关数据。当所有获取数据被处理分析之后，会被上传到Palantir系统的数据仓库中，而平台其它工作人员可以通过类似于谷歌电子表格的方式来访问这些数据信息。Palantir平台分析师可以利用当前使用程序导入一些需要分析的静态数据，但是如果需要导入数据库或设置自动导入功能，就必须得借助插件Kite。

Kite用于导入一些情报数据并把其转换为统一可存储于数据仓库的XML文件格式，比较独特的是，Kite可以处理多种信息类型，如日期型、图像型、位置型等等，之后，GCHQ为了对一些复杂定制数据类型进行分析，竟然开放了Kite的接口开发，而最终这个导入工具被开发设计为支持静态数据、数据库和第三方数据存储等多种用例的软件。

在这种以Palantir产品为中心的数据分析环境中，还产生了另外一个工具“XKEYSCORE Helper”，该工具可以向Palantir系统内导入来自NSA管道的数据，经过进一步的调查和可视化分析之后，再分发给“五眼情报同盟”的各位分析师。由于XKEYSCORE强大的全网海量个人元数据高效获取能力，这也导致了其唯一的缺点：产生的提取信息出现超负荷现象。可以简单想像一下，搜索一个Gmail邮箱账户，或许需要遍历全球所有Gmail收件箱中得出关联信息，因此，Palantir应运而生。

Palantir让XKEYSCORE如虎添翼

Palantir软件的主要作用之一就是辅助XKEYSCORE系统进行高效的数据分析处理，就像GCHQ文档中描述的那样，依赖于工具“XKEYSCORE Helper”，可以把XKEYSCORE多种方式获取的各类数据直接导入强大的Palantir，就可以得到一些针对特定目标人物和地点的非常直观的情报信息。例如，针对东部标准时间区的14:15时刻，分析师可以使用XKEYSCORE获取到隶属莫斯科和德黑兰访问某特定网站或进行某特定Skype通话的所有IP地址，之后，把这些相关数据集导入Palantir系统，可进一步识别出这些IP地址之间的关联连接和基于谷歌地球的详细位置信息。

除XKEYSCORE之外，Palantir产品还被应用于GCHQ代号为“LOVELY HORSE”的开源情报信息项目中，该项目旨在提高GCHQ自身对Twitter、博客和媒体报道等全网公开信息的获取能力。因为此类信息多为非结构化数据，所以Palantir也大有可为，与“LOVELY HORSE”的配合相得益彰，深受好评。

强大的Palantir引发的担忧

和数据分析功能一样，Palantir的数据挖掘能力也相当出彩，可圈可点，但由此也带来一些担忧和风险。由于Palantir软件的主要功能就是辅助分析师对一些复杂不易理解的数据信息进行精选和筛分，因此，最终分析结果和决策判断的好坏，多少还和分析师自身有关。

就比如，GCHQ信号情报发展与领导小组(SDSG)的一份2011年文档就提及了一些使用Palantir的顾虑，在名为“风险与挑战“的表格中，SDSG表示“Palantir可能会使分析师过度关注数据分析方法，而忽视本质的情报需求，造成对情报分析能力的弱化和分心。”，然而，基于Palantir强大的数据分析能力，SDSG想知道如果他的技术分析师在被限制所有可访问操作权限，或根据不同分析师的技术水平，对一些必要时才能使用的功能对软件进行相应配置，会产生怎样的后果。如果Palantir继续注重于数据的情报利用问题，那么越往后，随着挖掘技术和提炼程度的加深，将会产生大量的信息图表集，可能会引发数据“过度分析”问题，而最终让分析师“迷失”的不是工作任务，而是Palantir生成的各种图表。

Palantir与公民隐私

另一方面，如果说Palantir的情报机构客户在使用Palantir产品时会存在滥用风险，那么这种情况也可能发生在以“隐私和公民自由权”为幌子的Palantir自己身上，尤其是2012年Palantir还成立了“隐私与公民自由顾问委员会”(PCAP)，更是给自己披上了一件“高级”的大衣。

而就像Palantir在Kite插件的使用协议中声称那样，用户将不会违反任何适用法律、公民隐私和第三方权利。但在如今无孔不入的监控环境下，没理由不怀疑NSA和他的伙伴们会利用Palantir产品侵犯广大民众的隐私和自由权。对于普通民众来说，这种所谓的使用协议不过是种隔靴搔痒的安慰和冠冕堂皇的麻痹罢了。