首页 > 数据库 > 其他综合 > 正文
使用Redis有序集合搭建自有IP定位解析库(纯真库)
2017-05-17 09:35:00       个评论    来源:林博的专栏  
收藏    我要投稿

使用Redis有序集合搭建自有IP定位解析库(纯真库)。网上关于IP地理位置解析的API有很多种,如IP138、百度IP定位API等,接入方便,使用简单,而且免费。缺点就是有访问次数限制。

所以有必要搭建自有的IP定位解析库。纯真库是一个比较有名的IP库,而且会不断更新,文章发布时的最新版本是2017-04-25。

一、数据源准备

下载纯真库并安装到本地,找到安装目录中提取出“qqwry.dat”

blob.png

下载IPLook工具,将“qqwry.dat”文件转换成txt文本文件

blob.png

利用数据库工具Navicat将上一步的txt文本文件导入到MySQL,表结构如下

1 2 3 4 5 6 CREATE TABLE `ip` ( `StartIP` bigint(20) NOT NULL COMMENT 'IP起始值', `EndIP` bigint(20) NOT NULL COMMENT 'IP结束值', `Country` varchar(60) NOT NULL DEFAULT '' COMMENT '国家及详细地址', `Local` varchar(300) NOT NULL DEFAULT '' ) ENGINE=InnoDB;

blob.png

二、原理

我们都知道,IP(IPv4)共有2^32=4294967296个(除去私有网段、网络ID、广播ID、保留网段、本地环回127.0.0.0网段、组播224.0.0.0网段、实际可用就是25.68亿)。这些IP,每个相邻区间,地理位置是相同的,如218.107.30.50-218.107.30.60,都是属于广东省广州市。纯真库正是利用这个特性,将相邻区间且地理位置相同的IP放在一起,将上亿个IP浓缩成40多万的区间。查找某个IP时,只需要找到IP所在区间,就能获取到相应的位置。

IPv4是由32位二进制数表示,一般的书写法为4个用小数点分开的十进制数。由于需要对区间进行比较,必需将IP转成不带“.”的长整型。

三、查询

查询的方法有多种

1、网上也有人直接读取解析dat文件,JavaPHP等语言都有相关的算法。dat文件比较大,每个IP进来都需要计算偏移量得出所在区间,性能并不高,非常耗CPU(3个线程各自循环1000次CPU上升到100%)。显然个方案不能放到生产环境去。

2、在数据库中计算区间,SQL为:

SELECT * FROM ip WHERE INET_ATON('218.107.30.50') BETWEEN StartIP AND EndIP LIMIT 1;

由于涉及到区间计算,即使加上了索引,性能也不高。

3、利用方法2,将42亿个IP全解析出来,放到新的表,查找时用“=”,可直接利用索引。这个想法很美好,但是却无法执行,42亿的表,得花多长的时间才将所有IP写进表里,后期也不好维护。

四、高效查询的解决方案

上面的3种方案,显然比较靠普的还是第2种,既然使用MySQL性能不高,那就换成Reids,直接从内存读取。Redis能支持有序集合并支持区间查找,即zRange。

将每个IP区间的结束IP(EndIP)当作score值,value中包含区间的起始IP(StartIP)和位置信息(Country)

经过试验,将MySQL中40多W的IP区间写到Redis中,只需不到10秒。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 $maxIp = -1; while (true) { // 分批每次取出50000条记录 $sql = 'select * from ip where StartIP > :ip limit 50000'; $rows = $dbConnection->createCommand($sql, [':ip' => $maxIp])->queryAll(); if (count($rows) == 0) { break; } $adds = ['ip']; foreach ($rows as $row) { $adds[] = $row['EndIP']; $adds[] = json_encode($row, JSON_UNESCAPED_UNICODE); $maxIp = $row['StartIP']; } // 将5W个记录批量写入$redis->zAdd('ip', 'EndIP1', 'row1', 'EndIP2', 'row2', 'EndIPN', 'rowN'); call_user_func_array([$redis, 'zAdd'], $adds); }

blob.png

每个IP区间之间不存在交集,每个查找只要按score查找区间[ip2long(ip), ip2long(ip) + N],N的值必需足够大,确保结束IP的值大于当前区间的结束IP。这个有点难理解,举个栗子:

有3个区间

Value Score
36 60
61 67
68 68

查找IP=50时,查找的score为[50, 50 + N],且要满足50 + N >= 60,否则就无法找到[36, 60]这个区间。

代码如下:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 $ip = '218.107.30.50'; $n = 4294967296;// n的值是总IP数,确保一定会超过结束区间 $long = ip2long($ip); $rows = $redis->zRangeByScore('ip', $long, $long + $n); if (!empty($rows)) { foreach ($rows as $row) { $obj = json_decode($row, true); if ($obj['StartIP'] <= $long && $long <= $obj['EndIP']) { return $obj; } } } return null;

此时,另外一个问题来了,由于N太大,$rows的条数会很多,造成内存浪费,需要限制返回的记录数。由于score是有序且递增的,所以每次返回数组肯定会命中索引为0的那条记录,即每次只要返回一条记录即可。好在Redis提供了limit这个参数,所以将上面的代码进行改造:

1 $rows = $redis->zRangeByScore('ip', $long, $long + $n, array('limit' => [0, 1]));

这个方案,从dat转txt,txt转DB,DB转Redis前后花了不到10分钟,性能还比前面任意一种方法都高。

五、性能测试

线上取10000个真实用户IP进行测试,平均耗时:0.28ms,最长耗时:3ms。

点击复制链接 与好友分享!回本站首页
上一篇:Java代码调用存储过程和存储方法
下一篇:jdbc-建立与数据库的连接
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站