Объявления е1 без посредников.

Что-то ночью мне сегодня не спалось, и решил я таки доделать свою программку по отсеиванию посредников с сервиса недвижимости на е1. Кому интересно - можно потестить, скачивать здесь - [url]http://webfile.ru/4395470[/url]. Запускать необходимо файл e1.exe

Краткое описание:
Сразу хочу сказать, что программка - не онлайновая, она не лезет на е1 (и вообще не лезет в интернет). Таким образом, доступны только те объявления, которые лежат в файле 1.xml рядом с файлом программки. На данный момент там лежат все объявления о сдаче квартир, которые были размещены на е1 с полуночи 22.03.2010 (прошлый понедельник) до примерно 4х часов 31.03.2010 (сегодняшний день). Всего получается почти 10.000 объявлений, среди которых конечно дофига повторов.
Программу, которая создает этот самый файл я пока не выкладываю: во-первых, она работает далеко не быстро; во вторых, сервис недвижимости на е1, к сожалению, иногда работает с ошибками, так что получение объявлений связано с некоторыми трудностями; и в третьих - я не хочу создавать дополнительную нагрузку на серверы Е1, которая несомненно появится, если 100 человек одновременно запросят 10.000 объявлений.
Ну а теперь по программке - скриншот
Фотография из Фотогалереи на E1.ru
Все просто: выбираем нужные районы, выставляем максимальную цену аренды с коммуналкой и без коммуналки, выбираем нужное количество комнат и жмем кнопку "Отобрать".
Если хотим - меняем значение параметра "Отображать только тех, у кого не больше Х объявлений". Чуть подробнее: если в этом окошке проставлена цифра 3, то будут отображаться только те объявления, авторы которых разместили не больше 3х объявлений за вышеуказанный промежуток (22.03.10-31.03.10). Таким образом, отсеются те агенты, которые многократно клонируют каждое объявление. Алгоритм отсеивания таких агентов несовершеннен, так как у меня меньше информации, чем у админов Е1, но самых наглых посредников вроде отсеивает :-)
По умолчанию этот параметр равен 3, так как обычный пользователь типа меня может одновременно разместить не более 3х объявлений. Если выставить значение 1 - отобразятся объявления только тех авторов, у которых всего одно объявление было активно на сегодняшнее раннее утро.
Ну и наконец, полученные результаты можно отсортировать по любому столбцу - для этого необходимо щелкнуть по заголовку столбца. А если сделать двойной щелчок по выбранной строчке - откроется страница е1 с этим объявлением (правда, для этого уже нужен доступ в интернет).

Напоследок хочу сказать - программка конечно же не отсеет 100% посредников и агентов, ибо это невозможно. Она отсеет лишь тех, кто бездумно копирует каждое объявление от собственника.
С другой стороны, если вы нашли какое-то объявление с комментарием "посредник", но предполагаете, что эту квартиру когда-то размещал на е1 собственник - попробуйте отсортировать по адресу, и просмотрите все объявления по этому адресу - и возможно, вы найдете это объявление

Вроде все. Если есть вопросы, предложения, заметили ошибки - пишите.

Если программка будет пользоваться успехом - придумаю какой-нибудь механизм регулярного обновления данных с Е1, либо просто буду периодически выкладывать файл с новыми объявлениями.

[Сообщение изменено пользователем 31.03.2010 10:38]

[Сообщение изменено пользователем 31.03.2010 11:08]

Нужное дело!

ай маладца автор... ну хоть кто-то взялся! :super:

надо только как-то наладить обновления - ну да не всё сразу.

Классная вещь ! многим пригодится и глядишь е1 свой функционал доработает

а вы можете определить долю "условно-частных" объявлений с помощью этой программы? по отношению к общей массе

Очень маленький промежуток времени.

Не совсем понял, что такое "условно-частное"
Если говорить о том, сколько уникальных объявлений на е1 - то из тех 10.000 с 22.03, количество уникальных объявлений я оцениваю примерно в 700-800. Таким образом, на одно объявление приходится 12-15 копий. Часть из этих копий по прежнему от первого автора (автор с целью поднять свое объявление повыше дублирует его, но забывает удалить копию), но таких копий конечно довольно мало. Практически все копии - это копии посредников.

[Сообщение изменено пользователем 31.03.2010 11:10]

10 дней - не так уж и мало :-) И за это время набралось 10.000 объявлений. Файл с объявлениями почти 10мб весит :-)
Впрочем, постараюсь сегодня вечером запустить парсинг с начала марта, или даже с начала года.. Просто это нифига не быстрая операция, как оказалось :-( Е1 не справляется. Вот был бы у меня прямой доступ к базе данных - так тогда бы без проблем можно было бы и с начала времен объявления искать :-)

[Сообщение изменено пользователем 31.03.2010 11:06]

я вот собственник,но мне лень обновлять,объявление каждые 10 дней

недублированные объявления можно условно считать частными - классификация по косвенному признаку, хоть и по характерному, но все же не факт

вот вам и весь объем рынка аренды. ответы на все вопросы "почему так дорого". на полуторамиллионный город маловато будет

что хотел показать автор темы ? )))

пишет программы - молодец )))

но - база уже не актуальна, скачать новую е1 не даст - не дураки же :-D

саму программу еще доделывать и доделывать )) а отсортированную базу продать нельзя - закон о персональных данных ;-) продали и на следующее утро уже не программируете, а рубите лес )

а как же владельцы справочников? инфа же из открытых источниках

12) общедоступные персональные данные - персональные данные, доступ неограниченного круга лиц к которым предоставлен с согласия субъекта персональных данных или на которые в соответствии с федеральными законами не распространяется требование соблюдения конфиденциальности.

ну удачи автору в продаже базы ))))

Вот все программисты так, как не спится так делают че-нить, потом продают.
Пора зарабатывать на риелторах.

Е1 только рад таким скачивальшикам, т.к. они бесплатно, безо всякой оптимизации и прочего, увеличивают посещаемость сайта, что позволяет дороже продавать рекламу на сайте и вообще увеличивает важность и весомость сайта.

Во первых, с чего вы взяли, что я собираюсь ее продавать.
Во вторых - в каком месте вы видите распространение персональных данных? Все данные взяты из открытых источников, так что закон о персональных данных тут не очень подходит.
В третьих - я не взламывал е1, не копался во внутренностях базы данных - я лишь использовал их сервис для получения исходной информации. Вас же наверное не возмутило бы, если бы я вручную делал Copy-Paste? А закрыть доступ на сервис Недвижимость мне теоретически можно, а практически - довольно таки проблематично.
И в четвертых - это для меня лишь эксперимент. Будет пользоваться спросом - можно будет подумать об организации онлайн-версии на отдельном сайте, с ежеминутной синхронизацией баз, о сборе информации с других источников. и прочее. Не будет - ну что ж, я вообще изначально это только для себя писал, и потратил на это всего несколько часов, так что переживу :-)

Аплодирую стоя,если сейчас шакалы-посредники начинают хоть чуть-чуть нервничать, то это уже хорошо
зы Но почему-то программа у меня не запускается

[Сообщение изменено пользователем 31.03.2010 12:46]

автору респект, все отлично работает

но )) а как тогда продавать коммерческий доступ к сервису недвижимости ? )))

не, вы меня неправильно поняли ) я ваще без наездов - вам только респекты ))

наверное потому что у вас вин хп ? ))

[Сообщение изменено пользователем 31.03.2010 14:31]

Это всё говорит о том, что риэлторы - это ДАРМОЕДЫ! :ultra:
Под жопу всем им напинать! :-D

Вот блин :-( Проверял на WinXP и Win7. У вас какая операционка?
зы: не запускается вообще, или вываливается с ошибкой? Или, может быть, вы запускаете ее сразу из архива? Если да - попробуйте распаковать архив куда-нибудь и оттуда запустить

я,конечно может не компьютерный гуру,но все-таки не полный идиот :-D

ОС: Windows XP SP 3 версия 5.1 сборка 2600.xpsp_sp3_qfe.080423-1303

именно так,никаких ошибок не выдает

Снимаю шляпу перед Вами! :-) Вешь нужная и я думаю будет популярана. А то что е1 не может свой сервис доработать это все отмазки.
P.S.: на Win7 норма работает

Хорошая работа, если на отдельном хосте веб-сервис поднять, многим бы людям поддержка была.