Sat 30 Aug 2008
WIPmania – Lösungen für Geo-Targeting
Posted by Alrond | Tags: Django : GeoIP : Geolokation : Internet : nginx : Plugins für Firefox : WIPmania : WorldIP :
Ich habe seit langem nichts mehr geschrieben, da ich an einem Projekt lang gearbeitet habe. Gestern hat es endlich gestartet!
Unser Projekt WIPmania bietet eine Reihe von kostenlosen Produkten und Dienstleistungen für Geotargeting auf der Grundlage einer Datenbank an: es sind also selbst die WorldIP Datenbank der IP Adressen ganzer Welt, API ferner Zugriff zu ihr und Firefox Plugin, das Informationen über die geographische Lage des Web-Servers der Webseite anzeigt, auf der man sich grade befindet.
Andere ählichen Datenbanken haben mich weder von der Qualität, noch von dem Preis begeistert, also bin ich vor einigen Monaten auf die Idee gekommen, eine eigene zu schaffen.
Preis. Mir sind nur zwei kostenlosen Datenbanken bekannt, beide aber basieren auf Whois-Daten. Das heißt, sie zeigen nicht die reale Lage der Netze selbst, sondern deren Besitzers. Ein deutlicher Unterschied unseres Projektes ist eben die Betonung auf der realen Lage des Netzes, diese Information ist viel mehr korrekt.
Was die Qualität betrifft, selbst die Giganten der Industrie benutzen die Daten aus Whois, und machen sich nicht wirklich Sorgen um ihre Korrektheit (genau zu sagen, um Mangel an dieser).
Am Anfang habe ich naiv gedacht, für ein Paar Wochen die Datenbank zu schaffen und sie im Blog darzustellen, damals habe ich mir nicht mal vorstellen können, wieviel Zeit es kosten und welche strukturellen Veränderungen es haben wird: ein paar Entwickler im Team, ein paar Server weltweit, eigene Technologien und einige Monate harter Arbeit (riesiger Anteil davon manueller Arbeit).
Technische Daten:
Die die WorldIP Datenbank ist in folgenden Formaten verfügbar:
Für die große Geschwindigkeit ist API in C ++ geschrieben, die Generierung der Antwort ist also blitzschnell, die Wartezeit der Antwort hängt nur von der Kanalverzögerung ab.
Die Antwort und die Anfrage zur API haben sehr einfache Strukturen und sind wirklich schnell. Die Anfrage von einem chinesischen Server zu einem in Frankreich dauert z.B. etwa 0.6 Sekunden (der längste Weg). In Europe wäre dies 0.01-0.1 Sekunden gewesen, für Amerika - etwa 0.08-0.25 Sekunden. Täglich sind bis zu 10.000 Anfragen verfügbar, das reicht für die meisten Projekte, wenn Sie kein Google sind :)
Das Projekt ist selbstverständlich in Django geschrieben:)
Detaillierte Informationen kann man auf den Seiten oder im Blog des Projektes lesen. Ja, übrigens, alle Tools sind kostenlos, die Datenbank ist unter der Creative Commons Lizenz.
Unser Projekt WIPmania bietet eine Reihe von kostenlosen Produkten und Dienstleistungen für Geotargeting auf der Grundlage einer Datenbank an: es sind also selbst die WorldIP Datenbank der IP Adressen ganzer Welt, API ferner Zugriff zu ihr und Firefox Plugin, das Informationen über die geographische Lage des Web-Servers der Webseite anzeigt, auf der man sich grade befindet.
Andere ählichen Datenbanken haben mich weder von der Qualität, noch von dem Preis begeistert, also bin ich vor einigen Monaten auf die Idee gekommen, eine eigene zu schaffen.
Preis. Mir sind nur zwei kostenlosen Datenbanken bekannt, beide aber basieren auf Whois-Daten. Das heißt, sie zeigen nicht die reale Lage der Netze selbst, sondern deren Besitzers. Ein deutlicher Unterschied unseres Projektes ist eben die Betonung auf der realen Lage des Netzes, diese Information ist viel mehr korrekt.
Was die Qualität betrifft, selbst die Giganten der Industrie benutzen die Daten aus Whois, und machen sich nicht wirklich Sorgen um ihre Korrektheit (genau zu sagen, um Mangel an dieser).
Am Anfang habe ich naiv gedacht, für ein Paar Wochen die Datenbank zu schaffen und sie im Blog darzustellen, damals habe ich mir nicht mal vorstellen können, wieviel Zeit es kosten und welche strukturellen Veränderungen es haben wird: ein paar Entwickler im Team, ein paar Server weltweit, eigene Technologien und einige Monate harter Arbeit (riesiger Anteil davon manueller Arbeit).
Technische Daten:
Die die WorldIP Datenbank ist in folgenden Formaten verfügbar:
- CIDR (wird in Nginx Web-Server verwendet)
- in Textformat (in drei Sprachen)
- SQL. Es werden IP Nummer statt IP Adressen benutzt, für die einfache und schnelle Suche.
Das Konvretieren selbst ist sehr einfach, in PHP z.B. gibt es die Funktion ip2long ($ip_address).
Dazu gibt es die Tabellen mit Länder-Koden und entsprechenden Namen dieser Länder auch in drei Sprachen.
Für die große Geschwindigkeit ist API in C ++ geschrieben, die Generierung der Antwort ist also blitzschnell, die Wartezeit der Antwort hängt nur von der Kanalverzögerung ab.
Die Antwort und die Anfrage zur API haben sehr einfache Strukturen und sind wirklich schnell. Die Anfrage von einem chinesischen Server zu einem in Frankreich dauert z.B. etwa 0.6 Sekunden (der längste Weg). In Europe wäre dies 0.01-0.1 Sekunden gewesen, für Amerika - etwa 0.08-0.25 Sekunden. Täglich sind bis zu 10.000 Anfragen verfügbar, das reicht für die meisten Projekte, wenn Sie kein Google sind :)
Das Projekt ist selbstverständlich in Django geschrieben:)
Detaillierte Informationen kann man auf den Seiten oder im Blog des Projektes lesen. Ja, übrigens, alle Tools sind kostenlos, die Datenbank ist unter der Creative Commons Lizenz.
English
Deutsch

August 30th, 2008 at 10:04 p.m.
гуд, но чёт база сильно мелкая, geoip поболе будет)
August 31st, 2008 at 11:18 a.m.
поболе - количеством диапазонов? в базе в любом случае, не больше 4 млд ip адресов :-) (как и в нашей). вопрос в том, как они разбиты по сетям.
в текстах проекта очень дотошно описывается главное различие моей идеи и всех остальных баз...
не назвал в этом посте все остальные базы, наверное, в этом моя ошибка? исправляюсь, главный крупный игрок этого сектора: maxmind. Так как он основан на whois и содержит данные о владельцах сетей(!), а не о самих сетях, база такая пухлая. В этой статье:
http://www.wipmania.com/ru/blog/why-w... можно прочитать подробнее. О хостерах, например.
Они заявляют о "реальном расположении сетей", умалчивается только, что на самом деле используется whois и что данные в whoise именно о владельцах, а не о сетях. Больше года назад я тоже работал с их базой, но 20% мусора в базе меня не устраивает. Для тех, кто использует геотаргетинг для зарабатывания денег, это еще и потерянные деньги! А если нравится, потому что "больше", можно пользоваться и им.
Другие базы предоставляют те же данные.
Еще скажу об аналоге нашего плагина, Flagfox. Конечно, мы не изобрели ip геолокацию :) есть и такой. Он использует базу maxminda. В своем описании они отрыто говорят: "основано на whois":
первый ответ в минифаке https://addons.mozilla.org/de/firefox...
August 31st, 2008 at 2:09 p.m.
Сервис интересен, но есть вопросы.
а каким образом определяется реальное расположение сети?
в чем проблема заанонсить европейскую сеть в штатах? и как вы это определите?:)
Каким образом поддерживается актуальность базы? как часто обновляется?
August 31st, 2008 at 4:41 p.m.
Детали, естественно, не раскрываются.
Использованы собственные разработки, сервера на всех континентах и данные с корневых маршрутизаторов. Вся работа велась около 8 мес, почему так долго, в посте я упомянул про "ручную работу", для выдачи именно реальной информации огромная часть диапазонов и адресов дополнительно должна была обрабатываться мануально.
Работа еще и не закончена, некоторые методы и технологии находятся в разработке, некоторые будут улучшаться. Со временем база должна выдавать максимально идеальные (правильные) результаты.
Заанонсить в whois фальшивый диапазон ничего не даст, если только не перенести сеть туда физически. BGP-анонс тоже не поможет :)
September 9th, 2008 at 11:30 a.m.
Было бы интересно сгрузить с вас базы в формате совместимом с freegeoip например для работы awstats
Оптимальным было бы выпустить программу конвертор
которая позволила бы тем кому очень надо сконвертить вашу базу в максмайндовский формат, потому что под этот формат существует масса сторонних плагинов под множество свободного софта, это поможет вам стать популярнее, написание же плагинов "под все" своими руками задача бесперспективная
September 9th, 2008 at 12:19 p.m.
Ответил на сайте:
"Совместимого бинарного формата не планируется, а плагин для awstats сделать - хорошая идея"
September 10th, 2008 at 4:58 p.m.
Вопрос интересный, мы взвесим все возможные варианты, чуть позже, так как сейчас очень загружены