Клиент Опции

[fantom]

Опрос на тему а вообще нужен ли собственный клиент для просмотра базы сообщений после выхода из интернета. Также для подготовки сообщений в оф-лайне и сжатия траффика (например, при выходе в инет с мобилы или IDSL)/

[Ragnar]

Адназначна нужен.

[Brutall]

Хочу клиент и ниипёт! Фантом сам же говорил, что можно нидецки ускорить форум, потому что бОльшая часть страницы форума - это шаблон, можно его на винте хранить. И есчо неплохо бы архивировать передаваемые данные, как у себя при отправке, так и на стороне сервера при получении. Это было бы нидецки труЪ.
+ западло каждый раз по новой грузить шапку, смайлики, аватары и т.д... Для меня с моим убитым момедом это критично!

[Schnapz]

Нужен - особенно он будет полезен для диалапщиков. Я сам когда в Чернихе был, постоянно форум в "упрощёнке" читал, потому что скорость иногда такая была, что с картинками читать было совершенно невозможно

[Frost]

Написать

[fantom]

Торжественно обещаю - через некоторое время будет.
В связи с систематическими сносами винды - надо ставить мастдайный барсик.

[fantom]

Воттмля зря я про мастдайный барсик заикнулся. Начал пытаться продолжить, и понял, что это тот ещ1 гемморой. Проблемы вызвал OLE-компонент "Веб-браузер" ))))
Короче, держите заготовку под Python - client.zip
если скачка невозможна, пробуйте так - Ссылки.htm на fantom lab.
Прямая ссылка с сайта точно работать должна.
Инструкция к этому безобразию прилагается.
Пока смотреть особого нечего, будем считать - это гвоздь для почину.
Размер около 4 кило.

[fantom]

Немного потрахавшись - вот вам новый вариант. Уже даже есть меню "Правка". %)))
Ой как далеко ещё до полноценного кода. Но особенность реализации на Python - пока ВСЁ делаю на классах. И это гут.

[fantom]

Клиент скоропостижно набрал вес до 10,6 кило.
Есть основные менюхи, и на очереди система входа по морде и паролю.
Из реального рабочего кода - только кнопка "Выход" в менюхе.
Были бы кости, мясо нарастёт. Сегодня у моего сайта рекорд - всего навсего 314 посещений на 21 час. Но ещё не вечер.
Походу, этот месяц будет рекордным.client.zip

Сообщение отредактировал fantom - 5.3.2006, 21:35

[Iceman]

Пара вопросов.

- Используемый язык программирования (оболочка)?
- Поддержка кодировок?
- Метод авторизации?
- Протоколы авторизации и передачи данных?
- Метод подключения к БД (без серверной части не обойдешься полюбому)?
- Работа через прокси?
- Стабильность работы?
- Методы синхронизации (не сообщений, а подписей, аватаров, информации о пользователях и т.п.)?
Пока все, что хотел узнать.

З.Ы. Сырец клиента не качал и качать не буду пока он не перейдет хотя бы в стадию альфа-тестирования. Кости и сам могу сделать за 20 минут, а толку?

Персонально для Фантома: Респект! Ты все таки решился. А я вот себя залажал в этом плане. Сорри. Мож, если помосч нужна будет, помогу чем.

[Balamut]

безполезняк. а если сообщение позавчерашнее (например) было отредактировано - как клиент об этом узнает? если он будет все мессаги перепроверять - он больше трафика скачает чем веб-морда. если проверять не будет - то смысла тем более нет - читающий через клиента будет отвечать на вопросы которые были удалены или изменены.
есть третий путь - создать еще одну таблицу в MySQL - со списком изменений, но потребуется изменять код форума чтоб при изменениях сообщений заносились данные в эту таблицу - а значит апгрейдить потом версии форума тоже придется вручную.
глухой номер. да и фантом начинает писать с конца. вместо кода пишет интерфейс.

[fantom]

Айсман:
1. Используемый язык вроде ясно написал - Python (Питон). Классическтй интерпретатор, ничего стало быть компилировать не надо.
2. Поддержка кодировок - ВСЕ!!!!! Хоешь японский, хочешь китайский, хочешь украинский.
3. Метод авторизации - самый что ни на есть обычный - логин/пароль.
4. Протоклы следующие: без шифрования GET, POST, с шифрованием MD5, SSL2, SSL3 - на выбор. Передача данных как http так и ftp. При желании можно извратиться по goofer или irc.
5. Работа через прокси - ДА! Питон - дитя интернета. Позорно ему без прокси не работать. В отличии от мастдайного барсика - легко. Питон котяру делает.
6. Стабильность работы. Актуальный вопрос. Любой оупен проект в 5 раз ошибок сожержит меньше чем проприетарный код. А Питон - классический оупен под Линукс.
7. При первом обращении на сервак за аватаром, подписью и т.д. - по любому качается. Потом - из локальной базы данных, если не было изменений.
Айсманн!
По любому серверную часть - SQL-запросы мне кто-то должен формировать на серваке. Минимум - принимать.
Офтоп. Вообще, я бы хорошенько подумал, на счёт отказа от триальной версии движка, если есть серьёзное желание делать МОЩНЫЙ портал.

Баламут:
Если сообщение было вчерашнее, и в кеше оно есть - сервак по запросу клиента оповещает, что было изменение. Для этого в базе данных есть поле "последнее изменение". Ещё можно проверять по контрольной сумме - всего 4 байта. По любому быстрее, согласись?
Я вместо кода - пишу интерфейс. Я бы не сказал, что я с конца делаю, но не по науке - это точно. Сначала должна разрабатываться структурная модель, потом функциональная, потом интерфейсы функций, а потом сами тела функций. Честное слово- так и будет ПОЗЖЕ. Пока не то что бета-альфа - вообще нулевой цикл.

[fantom]

Обновил "клиент".
Добавилась недоделанная форма логина.
Во всю юзаю принцип модульности и наследования классов.

[Iceman]

Каждая мессага в БД имеет свой уникальный номер (ключ)
Внимание, вопрос:
Есть ли поле с флагом внесены ли изменения и когда?
Сорри, потерял дамп базы при переезде на новую работу.
Если есть возможность, киньте линк на свежий дамп в ПМ (2Шнапс)

[fantom]

Все эти поля имеются.
И факт изменения, и последнее изменение, и время создания. Вплоть до того, что в базе могут сохраняться исходные варианты постов.
Всё это не так уж и сложно.
Наконец-то победил форму логина. Осталось подставить пару операторов, и можно переходить к части автосохраняемых настроек.

[Iceman]

Разбираюсь с дампом БД форума.
Спасибо, Шнапс, его уже можно потереть.
На выходных буду готовить скрипт с основными функциями как я их вижу.
Короче буду экспериментировать.
До связи.

[fantom]

www.fantom-lab.narod.ru
Это мой сайт.
Так что если что-либо не качается - все бегом туда. Ссылка там прямая, и она не меняется. Работает проверял.
Client.zip
Ссылка непосредственно на сам клиент. Юникс различает регистр символов, так что если не работает - смотрите первую ссылку.

[fantom]

Форма логина правильно передаёт параметры в главный класс.
Есть глючок с уничтожением формы логина, после её отработки. Правда он никак не влияет на работы клиента. Потом придётся к форме логина вернуться для мелкой доработки, но это уже не принципиально.
Частично реализовал функцию чтения файла конфигурации. Будет требоваться доработка, но это уже по большей части делать завтра или послезавтра.

[fantom]

Теперь клиент пытается читать и писать файлы инициализации.
Пока это у него не очень хорошо получается, но это только начало.
Размер архива первого сжатия достигает 30 кБ, после второго - 11...16 (зависит от архиватора. WinRAR показывает более хорошие результаты).

[fantom]

Клиент успешно пишет и читает логин и пароль из файла конфигурации.
На прямой цикла жизни - оформление автовхода в клиент, мелкие доработки формы логина.
from <fantom lab.> - client.zip
Примерный размер архива - 16,5 кБ.

[Balamut]

да нафик твои архивы нужны и питоновскими файлми. давай экзешники и желательно готовые а не с кнопками войти и выйти.

[fantom]

ХЗ.
Я вообще из тех соображений делал, что можно потом под любой ОСЬЮ этот клиент запускать, а ты экзешник давай, экзешник давай.
Так. Новая голосовала!
Что нада?
Экзешник, но не портируемый, или скрипт, но портируемый идеально???

[Balamut]

ХЗ.
Я вообще из тех соображений делал, что можно потом под любой ОСЬЮ этот клиент запускать, а ты экзешник давай, экзешник давай.
Так. Новая голосовала!
Что нада?
Экзешник, но не портируемый, или скрипт, но портируемый идеально???

99,999% посетителей этого форума юзают винду. вопрос - нафига мультисистемность?

[Iceman]

согласен

[fantom]

ЗАШИБИСЬ!!!!
УЖЕ ГОТОВО????
Это тебе не калькулятор!!!
--------------
Ладно. Хрен с тобой золотая рыбка.
Будет тебе экзешник.
-----------------
Движочек от сайта где?

[Balamut]

Я не программер тебе блин!
А зачем питона заставил качать? 10 метров на модеме это тебе не червяк на тракторе!

качай питона, качай клиента...
клиент нужен чтоб качать или чтоб экономить трафик? заглавная страница форума - 40 кб с копейками. питон 10 мб. 10 мб/40 кб= 250 раз можно открыть форум. может ну его на... такого клиента? тем более что он еще и на 10% не готов.
(упрощенная версия форума - ваще 18 кб.)

[fantom]

Не, ну робята....
Шо ви таки бачите???
Вона глядысь мелкомягкие какось нашого хлопцу за шквырник то взявсь?
============
Я же из лучших соображений.
Полный экзешник будет хрен знает сколько весить.
Да ещё отдельные компоненты, типа AciveX вручную регестрировать придётся.
Не всякий сообразит даже с пошаговой инструкцией.
А тут - захотел под себя клиент подмять - да без проблем. Открываешь, и меняешь что тебе самому надо. Благо тексты в компиляции не нуждаются.
Что касается размера - то скрипты опять же, раз в 15...20 меньше будут.
Никаких приблуд сбоку припёку не требуется.
Так что, наверное буду две ветки развивать.
Вот ссылка на экзешник (разумеется пока не больше чем под Питоном) - 8,5 кБ
fantom lab. for Client.exe
Файл упакован UPX. Бдут проблемы - пишите.
Однозначно не пойдёт на машинах, где не стоит ослик версии не меньше 6.0

[fantom]

Хм. Visual Basic имеет такоеже отношение к Питону, как моя Мурлыся к ножкам Буша. ))
Он не требует наличие Питона, зато требует наличие динамической библиотеки Барсика 6 версии. Да и, видимо, от многих других компонентов тоже.

[Brutall]

Фантом, в написании клиента ориентируйся на крайнюю степень ламерства, и народ к тебе потянецца
Мало кому будет охота разбирать со сложной установкой и юзанием, уж поверь!

[fantom]

Ага.
Тогда опять же: с этой стороны рулит Питон. ))))
Всё своё ношу с собой.
Хотя, если постараться, то и под клиент на Вжик Бейсике, элементарный батничек написать не сложно.
Впрочем, уже 3 дня не шкодил.
Завтра торжественно обещаю - если будет время - буду ковырять.

[fantom]

Форумский клиент "заморозился".
В связи с очередным внеплановым сносом выньдовса.
Уж простите великодушно, буду исправляться.
Уже написал, вышел в свет Python 2.5. Повод для выпить за здравие Питона, но вот не пю (к счастью).

[fantom]

Нее... Утром сегодня в вагонке субботник. Явка добровольно-обязательна.
Но при первой возможности продолжу. Чессное слово.

[alexweb]

2Fantom: К черту такие рассуждения о кроссплатформенности, когда ты для нормальной работы не можешь себе систему поставить. Не работает винда - в баню ее, ставь другую операционку, ты же все-таки на Питоне пишешь Не знаю..... может быть немного обидно прозвучит, но после чтения твоих постов возникает впечатление, что плохому танцору ........


По поводу самой идеи - я здесь уже описал, как это правильно сделать. Без серверной компоненты ты не обойдешься.

У тебя получается, что ты все равно грузишь этот гребаный html. Зачем это? От сервера нужны только данные в чистом виде, а не элементы оформления

[worldmind]

Если помечтать, то хотелось бы иметь форум выдающий ответ в xml ибо любой дополнительный скрипт на сервере это лишние проблемы с безопасностью, так, что моё мнение разобрать html и не мучаться серверными частями, задача была не столько трафик снизить сколько обеспечить диалапщикам оффлайн-клиент, законектился раз - скачал, законнектился два - закачал, вот вам и экономия

[Iceman]

2worldmind
Всё бы хорошо, но авторизация всё равно нужна. Не будет же юзер под "гостем" свои личные сообщения смотреть?
А авторизация и синхронизация баз - это уже две трети всей работы. Остальное как приятное дополнение.

[worldmind]

Я авторизацию не отрицал:
коннектимся
авторизируемся
получаем ссылку на список непрочитанных сообщений
вытягиваем список свежих тем
вытягиваем страницы с непрочитанными сообщениями
выделяем сами свежие сообщения
суём их в локальную базу
разъединяемся

Читаем, отвечаем, соединяемся и отправляем ответы

[alexweb]

Ну и как ты предлагаешь "разбирать html"? На клиенте? Ну так зачем такой клиент?
А как ты на сервере предлагаешь "разбирать html"? На черта делать двойную работу по формированию кода а затем по отрезанию лишнего.

По поводу безопасности: 100% безопасен выключенный комп в сейфе, а все остальное - уже демагогия. Это получается форум мы поставить можем, а вот плагин к нему написать - это уже небезопасно. При чем здась безопасность? Плагин будет интегрирован в форум и использовать его систему авторизации, только отдавать будет xml.

Еще проблема при разборке кода: ты выбрал один скин, а я другой и твоя прога, разбираюцая html твоего скина идет лесом.

[worldmind]

Как разбирать? Регулярными выражениями
Зачем такой клиент см. 41 и 43 посты
Безопасность? Одно дело проффесионалы полный рабочий день форумский движок пишут, а другое дело мы - в свободное время строчащие свои плагины
ты думаешь, что такие участки
<a href="#" onclick="PopUp('http://chernyahovsk.com/forum/index.php?act=attach&amp;code=showtopic&amp;tid=58', 'Attach58', 500,400); return false;" title="2 Файл(ов): просмотр"><img src='style_images/default_re/attachicon.gif' border='0' alt='Topic has attachments' /></a><a href="http://chernyahovsk.com/forum/index.php?showtopic=58&amp;hl=">Вера и религия</a>

зависят от скина?

[alexweb]

Действительно, кто из нас программер: ты или я?

это шутка была

Твой метод = работа сервера по отдаче html + дополнительная работа твоего скрипта, когда с помощью регулярных выражений (тем более !!!!!)

Плюс если он будет на сервере, то эта та же дыра. Для начала попробуй скачать топик Вера и религия с этой опцией: &mode=linearplus , потом разбери его, так как предлагаешь, посмотри на загрузку процессора, время выполнения и т.д * это все хотя бы на 10 (в это время другие люди будут просто форум грузить, а может и твоим плагином эту страницу обрабатыватьб хе-хе). После этого учти, что хостинг, скорее всего - shared и подумай: как это все будет работать и что с тобой сделает хостер.

[alexweb]

А-аааа! Я вспомнил!!!! Вам вроде веб-технологии жЭншЧына преподавала.
НизачОт ей!

Если же ты говоришь про 100% клиентское решение, то непонятно, каким образим будет проводиться проверка изменений? Хотя бы постов на последней странице. Опять скачиванием?

Если да, то тогда о чем спорим? Можно и дальше юзать то, что есть и не париться

Сообщение отредактировал alexweb - 18.4.2006, 11:21

[worldmind]

Шурик читай внимательно. Поясняю для пограничников (хорошо хоть не танкист):
Юзер сединяется с инетом, запускает программулину которая логинится на форуме, вытягивает список активных с его последненего прихода :-) тем, открывает свежие страницы этих тем (можно обратиться к упрощённой версии для уменьшения трафика и не зависимости от скинов) и вырезает из них (представь себе по дате/времени) свежие сообщения и суёт к себе в базу, после чего выходит из форума и юзер отсоединяется от инета (диалапчики время знаешь ли оплачивают) интерфейсом программулины читает посты и подготавливает ответы. пинает кнопку - идёт соединение, вход, отправка его ответов, выход.
Чего тебе не понятно?

[alexweb]

Даже если не принимать во внимание то, что я сказал (это все равно остается актуальным), то твой алгин не решает проблему оплаты инета по траффику.


И еще. Если поставить себе букмарк на страницу http://chernyahovsk.com/forum/index.php?ac...rch&CODE=getnew то нахрена тогда такой плагин? сам заходишь и по-быстрому читаешь, да еще не все новые, а только интересующие.

[worldmind]

Бесспорно это не идеальный вариант, но даже он пока не реализован, а уж о более сложных и речи нет, кто заниматься будет?

[alexweb]

У меня пока офигенные проблемы материального плана, так что right now пока не могу. Так что подобную вещь я все-таки реализую, но не сейчас.
У меня давно была идея написать подобный плагин, правда к другому форумскому движку.

Ты можешь и взяться, заодно и php освоишь

Сообщение отредактировал alexweb - 18.4.2006, 13:49

[Iceman]

2alexweb
У меня эти проблемы длятся уже минимум полгода.
Ты абсолютно прав и как программер я тебя поддерживаю.
С другой стороны я уже не раз научен горьким опытом и пока у нас нет четкой координации наших действий и дел у каждого по горло (сессия, товарищи!) предлагаю в ближайшее время заняться разработкой Технического Задания то есть самой что ни на есть простой постановкой задачи.
Когда мы поставим перед собой строго определенные задачи, нам и работать будет легче.
Поклониики "экстремального программирования" идут лесом ибо идеальная версия реализации далека от ХТМЛя.
worldmind, вообще не понимаю что ты в этот ХТМЛ так упёрся. ХТМЛ забирает около 70% траффика на себя, в то время как 30% остатка - это именно то, что нам нужно. Не проще ли передавать эти нданные напрямую.
Что касается безопасности, то скажу следующее - против лома нет приема. В Мелкософте работают тысячи афигенных программеров, однако все здесь присутствующие оконщики сидят на крякнутых форточках.
Если руки будут прямыми, то и безопасность не пострадает.

Это ИМХО. Можете попытаться оспорить.

[worldmind]

Да вы всё правильно ГОВОРИТЕ, только разговоры идут уж больше года, а я реально говорю что нет времени и возможностей строчить серверные плагины, да и клиент-то особо не попишешь. теоретически хоть движок форумский написать можно, который хмл возвращает и заточен под использование клиентского ПО, а на практике - ноль

[alexweb]

2ICEMan

С этим согласен. С написания ТЗ все начинаться и должно.
Однако сначала нужны требования (requirements) . Посему просьба ко всем предоставить эти требования.

[Iceman]

Все это прекрасно понимают.
Но.
Вот я под конец месяца, надеюсь, более-менее разгружусь.
Дело в том, что не все так просто, как кажется на первый взгляд.
Даже если каждый будет делать свою часть работы, форматы передачи данных нужно будет согласовывать, а это предполагает долгую дискуссию. Да и вообще, конечно, неплохо было бы документацию для начала накатать.
Документированные функции, соглашения, таймауты... всё это надо. Это всё нужно кому-то делать.
И не смотря на то, что долго запрягать будем, зато поедем быстро с минимумом косяков.

Для определения новизны сообщений как движок форума, так и клиент должны использовать значение поля lastvisit в БД.
Мне кто-нибудь может объяснить каким макаром там регистрируется время и дата, если значение этого поля, допустим, такое: 1145357295
Я вот что-то понять не могу.
Так же как и дата/время последнего визита пользователя регистрируется в таком формате, каждое сообщение имеет такое же свойство. Опять же если знать алгоритм сравнения всего двух полей (!!!) можно без проблем найти новые для данного пользователя сообщения.
И для этого не надо грузить ХТМЛ-страницу getnew
А дальше уже пляски с бубнами... выборка из базы этих самых сообщений и распределение их по топикам либо просто копирование если локальная таблица сообщений аналогична серверной...

2alexweb
Вечером я специально для этого создам отдельный топик "Требования к клиенту".
Опросим людей, хотя в принципе мы и сами можем выдвинуть эти требования. В идеале функциональность клиента не должна уступать функциональности форума. Быть может (опять же в идеале) она должна быть даже выше.
Но тут опять же свои "но":
Что делать с функциями администрирования/модерирования? Как их оформлять и документировать.

И, кстати, раз уж у нас на форуме появилась возможность отображения значка эксплорера в списке активных пользователей, надо будет почерепить насчет того, как наш клиент будет там светиться. Неплохо было бы... Но это так, мысль... далёкая туманная перспектива...

[alexweb]

Мне кто-нибудь может объяснить каким макаром там регистрируется время и дата, если значение этого поля, допустим, такое: 1145357295

Это количество секунд прошедшее с 1970 года до текущего момента (unix timestamp) - очень удобная штука.
Кстати функциональность клиента на xpoint.ru как раз выше функциональности самого форума. Вот так то.

Сообщение отредактировал alexweb - 18.4.2006, 14:34

[SunOfABeach]

Если помечтать, то хотелось бы иметь форум выдающий ответ в xml ибо любой дополнительный скрипт на сервере это лишние проблемы с безопасностью, так, что моё мнение разобрать html и не мучаться серверными частями, задача была не столько трафик снизить сколько обеспечить диалапщикам оффлайн-клиент, законектился раз - скачал, законнектился два - закачал, вот вам и экономия

Разбор html будет работать ровно до тех пор, пока не будет исправлен скин. С другой стороны, разбор html - задача весьма нетривиальная, тут одними re не обойдешься.

[Iceman]

Это количество секунд прошедшее с 1970 года до текущего момента (unix timestamp) - очень удобная штука.
Кстати функциональность клиента на xpoint.ru как раз выше функциональности самого форума. Вот так то.

Ага, спасиб за инфу. Никогда раньше не пользовался просто, буду знать.
Насчет функциональности клиента... как и любой программный продукт, он все равно не будет на месте стоять.
"Спектр доступных функций прямо пропорционален фантазии разработчика" ©ICEMan


А... и еще кое-что... Совсем забыл ответить.
Уменьшение траффика выгодно как диалапщикам, так и пользователям выделенных каналов равнозначно выгодны ибо:
1. Значительное сокращение траффика.
2. Быстрое переключение скинов. Обновление информации о пользователях автоматически/по требованию.
3. Сокращение времени пребывания пользователя в сети (для диалапщиков). Ибо они БЫСТРО синхронизируют базы и отключаются. Отвечают. Подключаются, дописывают данные в таблицу.

Отсюда, кстати, вопрос:
Как оведет себя сервлет при одновременной записи в базу нескольких записей с разных машин. Как реализовать многопоточность работы?
У меня есть несколько идей по этому поводу, но хотелось бы знать и ваше мнение.

[Necromant]

Отсюда, кстати, вопрос:
Как оведет себя сервлет при одновременной записи в базу нескольких записей с разных машин. Как реализовать многопоточность работы?
У меня есть несколько идей по этому поводу, но хотелось бы знать и ваше мнение.

Одновременно в базу писаться ничего не может (чисто физически)! Полюбому через очередь. Нужно продумывать структуру очереди и сортировку. А виртуальная многопоточность - всего лишь способность выстраивать в последовательную очередь любое количество запросов любого количества пользователей по заданным правилам. Отсюда и отталкивайся.

[SunOfABeach]

Как разбирать? Регулярными выражениями

Ты когда-нибудь разбирал HTML с помощью re? Камасутра - отдыхает. Это секс покруче, чем с коробкой передач от ВАЗ-2103.

Вот, например, такой код есть в исходнике страницы форума:

Код

<!--<td><div id="hilitecolor"><img class="rteimage" src="style_images/default_re/folder_rte_images/bgcolor.gif" width="25" height="24" alt="Выбор цвета фона" title="Выбор цвета фона" onclick="popcolor('hilitecolor');"></div></td>-->

Написать re для игнорирования такого участка не так уж просто, если вообще возможно.

[worldmind]

Уточни какие части этого куска изменяются в разных местах файла и будет тебе регулярное выражение или пришли файл и объясни что нужно сделать

[Iceman]

Одновременно в базу писаться ничего не может (чисто физически)! Полюбому через очередь. Нужно продумывать структуру очереди и сортировку. А виртуальная многопоточность - всего лишь способность выстраивать в последовательную очередь любое количество запросов любого количества пользователей по заданным правилам. Отсюда и отталкивайся.

Ты пользовался когда-нибудь программами-почтовиками вроде TheBat! ?
Реально организовать очередь по одному сообщению.
То есть клиент производит попытку соединения с сервером. Если сервер даёт добро клиент начинает в рамках своей сессии передачу данных. Данные передаются, допустим, единым потоком с заранее предустановленными тегами, которые будут впоследствии парсированы некоей функцией и внесены в БД.
Нам просто необходимо организовать мультисессионность соединений со скриптом так, как делает это, например, движок форума.

Ты когда-нибудь разбирал HTML с помощью re? Камасутра - отдыхает. Это секс покруче, чем с коробкой передач от ВАЗ-2103.

Вот, например, такой код есть в исходнике страницы форума:

Код

<!--<td><div id="hilitecolor"><img class="rteimage" src="style_images/default_re/folder_rte_images/bgcolor.gif" width="25" height="24" alt="Выбор цвета фона" title="Выбор цвета фона" onclick="popcolor('hilitecolor');"></div></td>-->

Написать re для игнорирования такого участка не так уж просто, если вообще возможно.

Да уж, тут Камасутра высших сфер.
Я уже как то раз занимался разбором данных из ХТМЛ и не забуду эти две бессонные недели до конца своих дней...

[SunOfABeach]

Как оведет себя сервлет при одновременной записи в базу нескольких записей с разных машин. Как реализовать многопоточность работы?
У меня есть несколько идей по этому поводу, но хотелось бы знать и ваше мнение.

А это не твоя забота, это перекладывается на плечи сервера БД. Серверный скрипт, который будет вынимать данные из БД, в данном случае является клиентом, а мускул - сервером. Для каждого пользователя запускается своя копия серверного скрипта, каждый из которых обращается к мускулу. Т.е. запускаются много клиентов для одного сервера БД. и уже сервер сам решает, кто первый с ним общаться будет.

Я, кстати, набросал примерную схему работы такого приложения тут. Сорри, что не в топик. Потом я обсудил с alexwebом это по телефону. Он утверждает, что лучше использовать ресурсы движка форума, а не дергать данные напрямую из базы.
В принципе, я с ним согласен.

Но вот только что родилась мыслишка. А что если для каждого движка написать свои запросы (как вариант - функции) и выложить их в отдельные файлы, которые будут подключаться по мере надобности.

Уточни какие части этого куска изменяются в разных местах файла и будет тебе регулярное выражение или пришли файл и объясни что нужно сделать

Это лучше ты мне объясни принцип работы твоего клиента. Что это будет? Локальное зеркало форума?
Предположим, вопрос со скачиванием и парсингом ты каким-то необыкновенным образом решишь. Хотя я сильно сомневаюсь, ну да ладно...
Как ты собираешься хранить данные? Поднимать локальный сервер БД? Так, может, проще поднять локальный apache+php+mysql. И написать скриптик, который будет синхронизировать сообщения, а? Тут, правда, возникает бАААльшой вопрос с безопасностью, но это тоже вариант. Как считаешь?

[Iceman]

Всё понятно, ясно и доходчиво.
Насчет использования движка форума я не по всем параметрам согласен. Я бы не хотел использовать функции движка так как они меняются чаще, чем структура БД. То есть возможен вариант, что при очередном обновлении движка форума (а это неизбежно) клиент откажется работать ссылаясь на ошибки в соединении или на что-нить ещё. То есть использование движка форума предполагает ориентацию на конкретный программный продукт определенной версии.
Я же думаю что клиент должен быть гибким и легко изменяемым.
Мы можем просто взять за пример некоторые функции движка и на их основе написать свои.
Еще неплохо было бы как-то связаться. Моя аська записана в профиле, включена практически круглосуточно. В крайнем случае есть мобильник.
То есть я всегда на связи.
Раз уж тема начала так бурно обсуждаться, давайте каким-то образом кооперироваться, писать документацию и начинать уже в конце концов писать клиент для форума

[alexweb]

Такс, проблема в том, что этот форум проприетарный.
А это предполагает дополнительные проблемы. Черт.
По определенным причинам я(мы) не могу(жем) разрабатывать плагины к подобной системе

Сообщение отредактировал alexweb - 19.4.2006, 8:59

[Iceman]

Но с другой стороны что нам мешает написать один (несколько) отдельных от форума скриптов, которые будут заниматься только обработкой БД самого форума?
И клиент-часть, которая будет посылать скрипту запросы и получать ответы...

[alexweb]

Я тебя в icq добавил в контакты

[alexweb]

Цитата из лицензии на сайте Invision Systems

You may not:
* reverse engineer, disassemble, or create derivative works based on the Software for distribution or usage outside your web site

В том то и дело, что я и собирался " create derivative works" и "distribution or usage outside your web site"
То есть мой интерес в разработке клиента не ограничивается только данным сайтом. Поэтому я не могу участвовать в разработке плагина для подобной системы. Я еще поговорю со знатоками буржуйских лицензий, но здается мне, что ничего хорошего из этого не выйдет.

[SunOfABeach]

Такс, проблема в том, что этот форум проприетарный.
А это предполагает дополнительные проблемы. Черт.
По определенным причинам я(мы) не могу(жем) разрабатывать плагины к подобной системе

Поэтому нужен не плагин, а прямой доступ к базе. И все лицензии идут лесом.

[SunOfABeach]

В том то и дело, что я и собирался " create derivative works" и "distribution or usage outside your web site"

Йопта!
Это есть очень хреново........

Но с другой стороны что нам мешает написать один (несколько) отдельных от форума скриптов, которые будут заниматься только обработкой БД самого форума?
И клиент-часть, которая будет посылать скрипту запросы и получать ответы...

Это и есть "derivative works based on the Software for distribution or usage outside your web site". Это и мешает...

[Iceman]

Ну да, в принципе БД форума с одной стороны является частью программного обеспечения... с другой стороны вроде бы и нет... вот и думай...

[SunOfABeach]

Ну да, в принципе БД форума с одной стороны является частью программного обеспечения... с другой стороны вроде бы и нет...

Сама БД, конечно же, частью форума не является. Но вот структура данных, как я понял, и есть объект лицензирования. Ведь в качестве сервера БД в идеале может быть взят любой продукт от csv до Oracle. Теоретически форум может работать на любом источнике данных (практически такого почти не бывает), но только с определенной структурой. Эта структура и есть интеллектуальная собственность, защищаемая лицензией.

[Iceman]

Сама БД, конечно же, частью форума не является. Но вот структура данных, как я понял, и есть объект лицензирования. Ведь в качестве сервера БД в идеале может быть взят любой продукт от csv до Oracle. Теоретически форум может работать на любом источнике данных (практически такого почти не бывает), но только с определенной структурой. Эта структура и есть интеллектуальная собственность, защищаемая лицензией.

Как то это неправильно.
Допустим, иы не будем брать за основу модули исходного движка.
Мы пишем свой собственный скрипт-обработчик БД.
С тем же успехом, написаение скрипта, который будет делать дамп БД форума может нарушить лицензию.
Структура БД не может являться интеллектуальной собственностью.
Я вот в каком-нибудь галимом скрипте пропишу что, мол у меня одна таблица называется "сессии", а другая "пользователи", налабаю лицензию и могу подавать на всех подряд в суд за то, что они используют мою интеллектуальную собственность.
С другой стороны, есть куча твикеров для Винды. Они работают с системными настройками, полями реестра, которые являются собственностью корпорации Майкрософт. И что, они тоже, получается, нарушают лицензию?
Бред это всё. Не используя документированые функции движка мы можем написать сервлет, использование которого не будет нарушать лицензионное соглашение.

[alexweb]

Значит, так.
Я открыл проект на sourceforge.net для создания плагина и клиента для системы форумов phpBB.
Проект будет распространяться по GPL лицензии, так что любой сможет взять и адаптировать под любой форум. На даном этапе статус проекта - Планирование. Поэтоиу хотелось бы видеть список необходимых фич. Запросы на новые фичи можно добавлять вот здесь. Если кто не знает английского - милости просим добавлять в этом форуме, он будет регулярно просматриваться, по крайней мере первое время.
Еще замечания: проект будет состоять из серверной и клиентской части. Задача серверной части - авторизовать клиента и в ответ на запросы клиента формировать ответы в формате XML (!). Задача клиентской части - формировать запросы на сервер и обрабатывать полученный xml, приводя его к удобочитаемому виду с помошью XSLT или иной технологии.
Все запросы будут рассматриваться только исходя из вышеописанной модели. Всякие высказывания на подонковском жаргоне, типа: "Хачу клиент и ффсё и ниипет!". Будут просто-напросто игнорироваться. Жду конструктивных запросов, предложений.

[SunOfABeach]

Как то это неправильно.

Но это так.

Допустим, иы не будем брать за основу модули исходного движка.
Мы пишем свой собственный скрипт-обработчик БД.
С тем же успехом, написаение скрипта, который будет делать дамп БД форума может нарушить лицензию.

Не может, а непременно будет нарушать.

Структура БД не может являться интеллектуальной собственностью.

И тем не менее является. Там более витиеватая формулировка, а не просто стректура таблиц БД.

Я вот в каком-нибудь галимом скрипте пропишу что, мол у меня одна таблица называется "сессии", а другая "пользователи", налабаю лицензию и могу подавать на всех подряд в суд за то, что они используют мою интеллектуальную собственность.

Там не так все просто. Такую "структуру" ты не запатентуешь, она не уникальна.

С другой стороны, есть куча твикеров для Винды. Они работают с системными настройками, полями реестра, которые являются собственностью корпорации Майкрософт. И что, они тоже, получается, нарушают лицензию?

Возможно. Я лицензию на венду не читал.

Бред это всё. Не используя документированые функции движка мы можем написать сервлет, использование которого не будет нарушать лицензионное соглашение.

Написать можем, но нарушать будем.

[SunOfABeach]

Я открыл проект на sourceforge.net для создания плагина и клиента для системы форумов phpBB.

Поздравляю!
Ты разобрался, как файлы аплоадить?

Еще замечания: проект будет состоять из серверной и клиентской части. Задача серверной части - авторизовать клиента и в ответ на запросы клиента формировать ответы в формате XML (!). Задача клиентской части - формировать запросы на сервер и обрабатывать полученный xml, приводя его к удобочитаемому виду с помошью XSLT или иной технологии.

Так, не понял...
Зачем на клиенте XSLT? Может, лучше ajax? Хотя, если решишь XSLT, я всегда пожалуйста - немного умею.

[Iceman]

Написать можем, но нарушать будем.

А что нам за это, собственно говоря, сделают?
Мы же не будем этот клиент лицензировать и продавать. (?)
Клиент распространяется, насколько я понял, по лицензии GNU GPL... Он мало того, что открыт, так ещё и предполагается что он будет работать далеко не с одним единственным IPB.

Рассмотрим ICQ.
У них есть свои протоколы. Но. Существует куча альтернативных клиентов, которые, кстати, помимо ICQ позволяют подключаться и к другим системам.
Вопрос: Альтернативные клиенты нарушают лицензии на использование протоколов ICQ?

[SunOfABeach]

А что нам за это, собственно говоря, сделают?

Чисто совестно.

Мы же не будем этот клиент лицензировать и продавать. (?)
Клиент распространяется, насколько я понял, по лицензии GNU GPL... Он мало того, что открыт, так ещё и предполагается что он будет работать далеко не с одним единственным IPB.

GPL - уже лицензия. Кроме того, она не запрещает продавать.

Рассмотрим ICQ.
У них есть свои протоколы. Но. Существует куча альтернативных клиентов, которые, кстати, помимо ICQ позволяют подключаться и к другим системам.
Вопрос: Альтернативные клиенты нарушают лицензии на использование протоколов ICQ?

Я не знаю, есть лицензии на протоколы. Думаю, их не так-то просто лицензировать, особенно если учесть существование открытых TCP и UDP, по которым эти самые ICQ протоколы ходят. Я не думаю, что если бы SIM, Gaim, Miranda, Kopete и т.п. нарушали какие-то патенты и/или лицензии, они существовали бы.

[fantom]

Я уже высказался по поводу проприетарного кода - от таких схем я лучше буду уходить. Пусть БД будет своя, несколько несоразмерная и неуклюжая - зато достоверно никаких ограничений+возможность дополнения в любой момент (в стиле Беркли).
Что касается серверной части, странно, что кто то меня пытается убедить в том, что она нужна. Я ГОВОРИЛ - НУЖНА!!!
И суть сводится именно к тому, чтобы скачивать ИНФОРМАЦИЮ, а не воду в виде хтмл.
Скины, стили, картинки - ВСЁ ЭТО можно хранить локально.
-----------
Отдельный привет АлексВеб - мой затянувшийся снос винды не есть результат моего не знания этой стороны дела. У меня есть жена, куча родственников, детишек-племяшек, жена уже последние дни беременности дохаживает, огород поджимает, баню наод строить, соревнования 6 мая (область, 10 км) - тренировки соответственно - всё это требует времени. Я вон в инет то вылез впервые за 2 недели.
---------------
ТЗ.
1. Сервер+уже имеющаяся база данных.
2. Клиент+БД БЕЗ ОГРАНИЧЕНИЙ по использованию/модификации.
3. Минимум траффика.
4. Администрирование из клиента при знании логина.
---------------
5. Возможность ЛЁГКОЙ модификации и добавления ПЛАГИНОВ/СКРИПТОВ.
----------------
Целевая платформа - любая. Язык - Python. Протокол - TCP/CPF(протокол форума Черняховска)

[Iceman]

Go-go-go! Ж)
Удачи... А я пока буду над своими проблемами думать. И немножко о клиенте.
Быть может, твой клиент будет работать лучше, чем разрабатывающийся аналог. Время покажет.

[fantom]

АйсМан!
Удачу можешь оставить себе.
Меня интересует только хорошо спланированный, ожидаемый, качественный РЕЗУЛЬТАТ. Удача - удел карточных шулеров и джентельменов удачи.
Мой/твой - интересными категориями ты глаголишь. Пока на куски идею разделять будем - результата НЕ БУДЕТ. Или будет нечто, что врядли устроит кого-либо.
------------
All programmers of Words, units! [sorry for my english]
-------------
Убив часть себя - я не стану собой.

[Iceman]

Убив часть себя - я не стану собой.

Убив часть себя, я стану другим.
В твоей же трактовке скорее должно зучать так: "Убив часть себя я перестану быть собой."
Приглашаю на философские ьеседы в топики "Суицид", "Смерть", "Смысл моей жизни" и "Свобода"

Что касается клиента... Мне не нравится ТЗ, но интересна идея. И я попробую развить её так, как вижу её сам. Только язык подучу, и разовью...

[fantom]

Хок.
Чем больше участников- тем лучше.
Пусть даже клиент-сервер так и останется недоделкой, но ведь знания то, чего-то стоят?
По поводу указанных тем, я подумаю.

[Balamut]

Как работа продвигается??? Говорят - осталось только смайлики добавить?

наоборот. кроме смайликов больше ничего нет. причем во всех смыслах.

[Iceman]

наоборот. кроме смайликов больше ничего нет. причем во всех смыслах.

[fantom]

А вот вяло\нудно толкнул лежачий камень.
Сделал прикидку как можно будет плагины подключать.
Шаблон плагина лежит в папке "Template", код без шаманства, с комментариями на великом и могучем.
Общий вес клиента в архиве - 20 кило.
Качать здесь.
Это же сообщение продублирую в родственной теме.
-----------------------------------
Оказывается в Python плагины клепать - как два пальца об асфальт. Делфя просто нервно курит.

[worldmind]

Итак, чудо xml о котором я когда-то говорил появился - форум экспортируется в xml формат rss, т.е. читать уже можно с минимальной нагрузкой на трафик - качать только новое, теоретически это поз-воляет и клиент нормальный написать, но лучше выяснить не планируется ли в движок форума встраивать двустороннюю синхронизацию, если будет тогда берешь рсс/атом агрегатор и наслаждаешься

[Iceman]

Поживём - увидим

[Schnapz]

Итак, чудо xml о котором я когда-то говорил появился - форум экспортируется в xml формат rss, т.е. читать уже можно с минимальной нагрузкой на трафик - качать только новое, теоретически это поз-воляет и клиент нормальный написать, но лучше выяснить не планируется ли в движок форума встраивать двустороннюю синхронизацию, если будет тогда берешь рсс/атом агрегатор и наслаждаешься

C ответами по РСС пока облом, он позвоялет только создавать новые темы, да и то с некислым геморроем. Так что читаем по РСС, а уж отвечать извольте в форуме.

[alexweb]

Кхе-кхе-кхе!
Значит, немного поразмыслил и решил все-таки взяться за написание клиента.
Сначала буду писать серверную часть для форума и потом непосредственно сам клиент.
Вот так вот

[_NegativE_]

Если не секрет... НЕ моглибы вы примерно сказать дату релиза клиента...

[Iceman]

Недели через две я думаю...

[alexweb]

Не удержался, извините
ТО, что внизу - это стеб, нормальный клиент будет на нормальном языке, хотя IceMan выдвинул идею также делать и падонкаффский перевод

 snapshot27.jpg ( 25.51 килобайт ) Кол-во скачиваний: 106

Если не секрет... НЕ моглибы вы примерно сказать дату релиза клиента...

Не в курсе, сколько точно это займет, но скорее всего до версии 1.0 он дойдет на раньше чем через месяц-два.

[worldmind]

Может хрен с ней, с серверной частью, сливаешь сообщения в xml, а в ответ шлёшь формочку ответа и не надо огород городить

[Iceman]

2worldmind

Блин, не надо, я щас умру...
Обсуждалось это всё уже. Посмеялись.
Как будет сделано, так и будет сделано

[worldmind]

Блин, не надо, я щас умру...
Обсуждалось это всё уже. Посмеялись.
Как будет сделано, так и будет сделано

Не путай, обсуждалось, когда экспорта в RSS небыло, не умел форум в xml экспортировать свои сообщения

[Iceman]

Всё равно траффик будет слишком велик.
Оставь это на совести разработчика.

[alexweb]

WorldMind, если покажешь мне как авторизацию с помощью рсс сделать я тебе буду прэй полчиса
Кстати, у тебя я помню проблемы с аськой былииз-за портов закрытых. Я решил проблему - ставь себе jabber, я дам адрес сервака, который работает по стандартному порту и имеет транспорты на icq, msn, aim, yahoo. Будем базарить .

Jabber рулит!

[alexweb]

Не путай, обсуждалось, когда экспорта в RSS небыло, не умел форум в xml экспортировать свои сообщения

Да, не было. Но у меня идея сделать прогу, которая будет висеть в трее и к примеру раз в 15 минут опрашивать форум и запрашивать только те сообщения (топик, пользователь), которые тебе нужны. Плюс, в перспективе, думаю приделать возможность администрирования.

Средств RSS для этого явно недостаточно. Как я писал где-то повыше, я думаю использовать SOAP для обмена между сервером и клиентом. Конечно, SOAP запрос занимает чуть-чуть больше чем просто HTTP запрос, но это роли никакой не играет.
ВОт как выглядит запрос

Код

POST /InStock HTTP/1.1
Host: www.example.org
Content-Type: application/soap+xml; charset=utf-8
Content-Length: nnn

<?xml version="1.0"?>
<soap:Envelope
xmlns:soap="http://www.w3.org/2001/12/soap-envelope"
soap:encodingStyle="http://www.w3.org/2001/12/soap-encoding">

  <soap:Body xmlns:m="http://www.example.org/stock">
    <m:GetStockPrice>
      <m:StockName>IBM</m:StockName>
    </m:GetStockPrice>
  </soap:Body>

</soap:Envelope>

А вот как выглядит запрос сейчас
http://chernyahovsk.com/forum/

Код

GET /forum/ HTTP/1.1
Host: chernyahovsk.com
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.3) Gecko/20060426 Firefox/1.5.0.3
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-us,en;q=0.7,ru;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Cookie: b=b; globalmessupdtime=1158679081; topicmode=linear; forum_read=a%3A2%3A%7Bi%3A11%3Bi%3A1147858528%3Bi%3A57%3Bi%3A1148726913%3B%7D; collapseprefs=; globalmessupdmess=2; member_id=фыв; pass_hash=пвролпллралоыврроророолол; session_id=ыафывафывафывафываывфываe; topicsread=фываыфвафывафывафывафывафываыфваывфыва

Как видишь, ненамного увеличивается траффик на сам запрос, но это вообще полная фигня, так как основная нагрузка идет из-за html. По моей же идее отдаваться контент от сервера будет в xml формате внутри soap ответа, причем я еще собираюсь паковать xml в gzip.

[Iceman]

Идея мне нравиццо.

[worldmind]

WorldMind, если покажешь мне как авторизацию с помощью рсс сделать я тебе буду прэй полчиса
Кстати, у тебя я помню проблемы с аськой былииз-за портов закрытых. Я решил проблему - ставь себе jabber, я дам адрес сервака, который работает по стандартному порту и имеет транспорты на icq, msn, aim, yahoo. Будем базарить

Проблемы были на предыдущей работе. А здесь у меня пока подключение непостоянное, как будет постоянный онлайн - увидишь меня в джаббере, авторизация в РСС и не нужна, все равно посредством рсс пока можно только сливать сообщения - это, знаете ли, весьма минимизирует трафик и не требует лишних телодвижений - всё стандартизированно, а для авторизации из главной страницы форума вычленить форму, минимизировав её объём, и использовать в клиенте, аналогично и с ответом - разобраться как в форме ответа идентифицируется юзер и тема и получить маленький шаблон для ответа.
Но я думаю, что более красиво было бы если бы движок поддерживал нормальный экспорт и импорт в xml, помойму atom поддерживает двустороннюю синхронизацию, тогда бы не пришлось ничего писать, взял rss/atom аггрегатор и наслаждайся скоростью и низким трафиком, так что надо дрючить Invision Power - жаль мы не лицензионный движок юзаем, если бы были бабки на покупку, я б ипбшников замучил жалобами

[alexweb]

Но я думаю, что более красиво было бы если бы движок поддерживал нормальный экспорт и импорт в xml, помойму atom поддерживает двустороннюю синхронизацию, тогда бы не пришлось ничего писать, взял rss/atom аггрегатор и наслаждайся скоростью и низким трафиком, так что надо дрючить Invision Power - жаль мы не лицензионный движок юзаем, если бы были бабки на покупку, я б ипбшников замучил жалобами

Возможно тут ты прав, старая обезьяна Я изучу спецификацию atom и посмотрю, что можно сделать.

[worldmind]

Возможно тут ты прав, старая обезьяна Я изучу спецификацию atom и посмотрю, что можно сделать.

Google объединила стандарты RSS и Atom получилась GData http://code.google.com/apis/gdata/index.html
Там и таблица сравнения форматов, только новые темы таким способом создавать не удастся