Sat 30 Aug 2008
WorldIP Free Geolocation Tools and Firefox Plugin
Posted by Alrond | Tags: Django : GeoIP : Geolocation : Internet : nginx : Plugins for Firefox : WIPmania : WorldIP :
Until now, I didn't find the time to write, because I was working on my project. Yesterday, it was finally started!
Our project WIPmania provides a number of free products and services based on WorldIP geolocation database: so there are database itself, API for developers and Firefox plugin that displays up-to-date information about geographic location of a Web server you are currently visiting.
I didn't like other databases of IP addresses because of quality and price, so I have decided to create my own.
Price. I know two free databases, but they both provide whois data, that means not real location of the network itself, but the location of the network owner. WIPmania's main feature is just the emphasis on the real geographic location of network, this information is much more accurate.
As far as quality is concerned, even the industry giants use the whois data, without paying attention to their correctness (or, more precisely, its absence).
In the beginning, I naively thought to make the database through a few weeks and post it in my blog, but I didn't suppose that it costs so much time and structural changes: some developers, some servers around the world, our own technologies and a lot of months of hard work (a huge part of manual work).
Technical data:
The WorldIP database is available for immediate download in any of the following formats:
API is written in C++ for the highest possible speed, the answer will be generated extremely fast, the request time depends only on the channel delay.
The answer and the request to API have very simple structures and are really fast. For exemple, the request from the chinese server to the server in France takes approximately 0.6 seconds (the longest path). In Europe, this would be 0.01-0.1 second, for America - about 0.08-0.25 seconds. API is free for up to 10,000 queries a day, that's enough for most projects, if you aren't Google:)
The project is written in Django, of course:)
More detailed information can be found on the pages or in OpenBlog of WIPmania. All tools are free, the database is under a Creative Commons license.
Our project WIPmania provides a number of free products and services based on WorldIP geolocation database: so there are database itself, API for developers and Firefox plugin that displays up-to-date information about geographic location of a Web server you are currently visiting.
I didn't like other databases of IP addresses because of quality and price, so I have decided to create my own.
Price. I know two free databases, but they both provide whois data, that means not real location of the network itself, but the location of the network owner. WIPmania's main feature is just the emphasis on the real geographic location of network, this information is much more accurate.
As far as quality is concerned, even the industry giants use the whois data, without paying attention to their correctness (or, more precisely, its absence).
In the beginning, I naively thought to make the database through a few weeks and post it in my blog, but I didn't suppose that it costs so much time and structural changes: some developers, some servers around the world, our own technologies and a lot of months of hard work (a huge part of manual work).
Technical data:
The WorldIP database is available for immediate download in any of the following formats:
- CIDR (used in nginx web server);
- Text-based format (available in three languages);
- SQL format, using IP numbers instead of IP addresses for quick and simple search. It is easy to convert, there is a function ip2long ($ ip_address) in PHP available.
There are also tables with country codes and the names of these countries in three languages.
API is written in C++ for the highest possible speed, the answer will be generated extremely fast, the request time depends only on the channel delay.
The answer and the request to API have very simple structures and are really fast. For exemple, the request from the chinese server to the server in France takes approximately 0.6 seconds (the longest path). In Europe, this would be 0.01-0.1 second, for America - about 0.08-0.25 seconds. API is free for up to 10,000 queries a day, that's enough for most projects, if you aren't Google:)
The project is written in Django, of course:)
More detailed information can be found on the pages or in OpenBlog of WIPmania. All tools are free, the database is under a Creative Commons license.
English

August 30th, 2008 at 10:04 p.m.
гуд, но чёт база сильно мелкая, geoip поболе будет)
August 31st, 2008 at 11:18 a.m.
поболе - количеством диапазонов? в базе в любом случае, не больше 4 млд ip адресов :-) (как и в нашей). вопрос в том, как они разбиты по сетям.
в текстах проекта очень дотошно описывается главное различие моей идеи и всех остальных баз...
не назвал в этом посте все остальные базы, наверное, в этом моя ошибка? исправляюсь, главный крупный игрок этого сектора: maxmind. Так как он основан на whois и содержит данные о владельцах сетей(!), а не о самих сетях, база такая пухлая. В этой статье:
http://www.wipmania.com/ru/blog/why-w... можно прочитать подробнее. О хостерах, например.
Они заявляют о "реальном расположении сетей", умалчивается только, что на самом деле используется whois и что данные в whoise именно о владельцах, а не о сетях. Больше года назад я тоже работал с их базой, но 20% мусора в базе меня не устраивает. Для тех, кто использует геотаргетинг для зарабатывания денег, это еще и потерянные деньги! А если нравится, потому что "больше", можно пользоваться и им.
Другие базы предоставляют те же данные.
Еще скажу об аналоге нашего плагина, Flagfox. Конечно, мы не изобрели ip геолокацию :) есть и такой. Он использует базу maxminda. В своем описании они отрыто говорят: "основано на whois":
первый ответ в минифаке https://addons.mozilla.org/de/firefox...
August 31st, 2008 at 2:09 p.m.
Сервис интересен, но есть вопросы.
а каким образом определяется реальное расположение сети?
в чем проблема заанонсить европейскую сеть в штатах? и как вы это определите?:)
Каким образом поддерживается актуальность базы? как часто обновляется?
August 31st, 2008 at 4:41 p.m.
Детали, естественно, не раскрываются.
Использованы собственные разработки, сервера на всех континентах и данные с корневых маршрутизаторов. Вся работа велась около 8 мес, почему так долго, в посте я упомянул про "ручную работу", для выдачи именно реальной информации огромная часть диапазонов и адресов дополнительно должна была обрабатываться мануально.
Работа еще и не закончена, некоторые методы и технологии находятся в разработке, некоторые будут улучшаться. Со временем база должна выдавать максимально идеальные (правильные) результаты.
Заанонсить в whois фальшивый диапазон ничего не даст, если только не перенести сеть туда физически. BGP-анонс тоже не поможет :)
September 9th, 2008 at 11:30 a.m.
Было бы интересно сгрузить с вас базы в формате совместимом с freegeoip например для работы awstats
Оптимальным было бы выпустить программу конвертор
которая позволила бы тем кому очень надо сконвертить вашу базу в максмайндовский формат, потому что под этот формат существует масса сторонних плагинов под множество свободного софта, это поможет вам стать популярнее, написание же плагинов "под все" своими руками задача бесперспективная
September 9th, 2008 at 12:19 p.m.
Ответил на сайте:
"Совместимого бинарного формата не планируется, а плагин для awstats сделать - хорошая идея"
September 10th, 2008 at 4:58 p.m.
Вопрос интересный, мы взвесим все возможные варианты, чуть позже, так как сейчас очень загружены
February 15th, 2010 at 9:10 p.m.
Hello, I have created an Arabic localization for the WorldIP firefox plugin. You can download the files from: http://www.mediafire.com/?mrwcftgqzdg
Can you add it to the coming version.
Arabic code is: ar
February 21st, 2010 at 3:02 p.m.
2Ahmed:
Thank you, Ahmed, but filehoster says "Invalid or Deleted File"
March 3rd, 2011 at 5:20 p.m.
Здравствуйте. Очень интересный проект. Скажите, планируете ли вы добавлять поддержку более точного определения - на уровне городов?
March 10th, 2011 at 6:09 p.m.
да, конечно