English
РусскийSat 30 Aug 2008
WIPmania – полный спектр решений для геотаргетинга
Posted by Alrond | Tags: Django : GeoIP : Геолокация : Интернет : nginx : Fierefox плагины : WIPmania : WorldIP :
Давно не было времени писать, долго работал над одним проектом. Вчера, наконец, запустились!
Наш проект WIPmania представляет собой средства для геотаргетинга: база и API для веб-разработчиков и firefox-плагин для обычных пользователей.
Другие базы IP адресов не устраивали меня ни качеством, ни ценой, поэтому возникла идея сделать свою базу.
Цена. Мне известны только две бесплатные базы, и обе они предоставляют данные из whois, что означает не реальное расположение самих сетей, а расположение владельца этой сети. Отличительной особенностью же нашего сервиса является акцент именно на реальное физическое расположении сети, эта информация наиболее корректна. Ну а про качество скажу, что даже монстры этой индустрии банально используют данные из whois, не обращая внимание на их корректность (точнее ее отсутствие).
Вначале, наивно предполагая справиться за пару недель и выложить базу в блоге, я и представить не мог, сколько времени и структурных изменений это будет стоить: несколько человек в команде, несколько серверов, некоторые уже отлаженные и еще только разрабатываемые технологии и много-много месяцев работы (огромная часть ручной).
Технические данные:
В WIPmania доступны версии базы WorldIP в следующих форматах:
API для обеспечения высокой скорости работы написан на C++, поэтому генерация ответа мгновенная и время ожидания ответа зависит только от канальных задержек.
Ответ и запрос к API имеют простые структуры и работают очень быстро. Например, на запрос с китайского сервера на сервер во францию (самый долгий путь) уходит около 0.6 секунд. По европе это время составляет 0.01-0.1 секунды. Для америки в пределах 0.08-0.25 секунды. В день доступно 10.000 запросов, что достаточно для большинства проектов, если вы конечно не google :)
Сам проект написан, естественно, полностью на Django :)
Подробнее обо всем можно читать на страницах или блоге самого проекта. Да, кажется, забыл сказать, все функции бесплатны, а сама база распространяется под лицензией Creative Commons.
(0 votes, average: 0 out of 5)
Loading ...
Наш проект WIPmania представляет собой средства для геотаргетинга: база и API для веб-разработчиков и firefox-плагин для обычных пользователей.
Другие базы IP адресов не устраивали меня ни качеством, ни ценой, поэтому возникла идея сделать свою базу.
Цена. Мне известны только две бесплатные базы, и обе они предоставляют данные из whois, что означает не реальное расположение самих сетей, а расположение владельца этой сети. Отличительной особенностью же нашего сервиса является акцент именно на реальное физическое расположении сети, эта информация наиболее корректна. Ну а про качество скажу, что даже монстры этой индустрии банально используют данные из whois, не обращая внимание на их корректность (точнее ее отсутствие).
Вначале, наивно предполагая справиться за пару недель и выложить базу в блоге, я и представить не мог, сколько времени и структурных изменений это будет стоить: несколько человек в команде, несколько серверов, некоторые уже отлаженные и еще только разрабатываемые технологии и много-много месяцев работы (огромная часть ручной).
Технические данные:
В WIPmania доступны версии базы WorldIP в следующих форматах:
- CIDR формат для использования в сервере nginx,
- в текстовом формате на трех языках, в том числе и русском,
- в SQL формате с использованием IP номеров вместо IP адресов, для быстрого и простого поиска.
Преобразование простое, например в PHP для этого есть функция ip2long($ip_address).
А также таблицы с соответствиями кодов стран с названиями этих стран на трех языках.
API для обеспечения высокой скорости работы написан на C++, поэтому генерация ответа мгновенная и время ожидания ответа зависит только от канальных задержек.
Ответ и запрос к API имеют простые структуры и работают очень быстро. Например, на запрос с китайского сервера на сервер во францию (самый долгий путь) уходит около 0.6 секунд. По европе это время составляет 0.01-0.1 секунды. Для америки в пределах 0.08-0.25 секунды. В день доступно 10.000 запросов, что достаточно для большинства проектов, если вы конечно не google :)
Сам проект написан, естественно, полностью на Django :)
Подробнее обо всем можно читать на страницах или блоге самого проекта. Да, кажется, забыл сказать, все функции бесплатны, а сама база распространяется под лицензией Creative Commons.
(0 votes, average: 0 out of 5) Loading ...
Latest blog entries
August 30th, 2008 at 10:04 p.m.
гуд, но чёт база сильно мелкая, geoip поболе будет)
August 31st, 2008 at 11:18 a.m.
поболе - количеством диапазонов? в базе в любом случае, не больше 4 млд ip адресов :-) (как и в нашей). вопрос в том, как они разбиты по сетям.
в текстах проекта очень дотошно описывается главное различие моей идеи и всех остальных баз...
не назвал в этом посте все остальные базы, наверное, в этом моя ошибка? исправляюсь, главный крупный игрок этого сектора: maxmind. Так как он основан на whois и содержит данные о владельцах сетей(!), а не о самих сетях, база такая пухлая. В этой статье:
http://www.wipmania.com/ru/blog/why-w... можно прочитать подробнее. О хостерах, например.
Они заявляют о "реальном расположении сетей", умалчивается только, что на самом деле используется whois и что данные в whoise именно о владельцах, а не о сетях. Больше года назад я тоже работал с их базой, но 20% мусора в базе меня не устраивает. Для тех, кто использует геотаргетинг для зарабатывания денег, это еще и потерянные деньги! А если нравится, потому что "больше", можно пользоваться и им.
Другие базы предоставляют те же данные.
Еще скажу об аналоге нашего плагина, Flagfox. Конечно, мы не изобрели ip геолокацию :) есть и такой. Он использует базу maxminda. В своем описании они отрыто говорят: "основано на whois":
первый ответ в минифаке https://addons.mozilla.org/de/firefox...
August 31st, 2008 at 2:09 p.m.
Сервис интересен, но есть вопросы.
а каким образом определяется реальное расположение сети?
в чем проблема заанонсить европейскую сеть в штатах? и как вы это определите?:)
Каким образом поддерживается актуальность базы? как часто обновляется?
August 31st, 2008 at 4:41 p.m.
Детали, естественно, не раскрываются.
Использованы собственные разработки, сервера на всех континентах и данные с корневых маршрутизаторов. Вся работа велась около 8 мес, почему так долго, в посте я упомянул про "ручную работу", для выдачи именно реальной информации огромная часть диапазонов и адресов дополнительно должна была обрабатываться мануально.
Работа еще и не закончена, некоторые методы и технологии находятся в разработке, некоторые будут улучшаться. Со временем база должна выдавать максимально идеальные (правильные) результаты.
Заанонсить в whois фальшивый диапазон ничего не даст, если только не перенести сеть туда физически. BGP-анонс тоже не поможет :)
September 9th, 2008 at 11:30 a.m.
Было бы интересно сгрузить с вас базы в формате совместимом с freegeoip например для работы awstats
Оптимальным было бы выпустить программу конвертор
которая позволила бы тем кому очень надо сконвертить вашу базу в максмайндовский формат, потому что под этот формат существует масса сторонних плагинов под множество свободного софта, это поможет вам стать популярнее, написание же плагинов "под все" своими руками задача бесперспективная
September 9th, 2008 at 12:19 p.m.
Ответил на сайте:
"Совместимого бинарного формата не планируется, а плагин для awstats сделать - хорошая идея"
September 10th, 2008 at 4:58 p.m.
Вопрос интересный, мы взвесим все возможные варианты, чуть позже, так как сейчас очень загружены