Длинна файлов форума

Тут я выявил недостаток, при создании слишком больших файлов тем, форум работает медленно, так как происходит чтение файла в буфер, и последующая работа с ним.

Вот думаю пока как более грамотно это поправит...
Пока тестирую предварительно файл базы будет ограничен гигабайтным размером, правда предусмотрено и более большее увеличение. в теории до 2^72 степени. Хотя вероятно уменьшу этот размер, тогда таблица позиционирования головки харда форума будет меньше. пока 9 байт на позиционирование отвел я.

Так, ну вот что я наваял короче

Код:

Итак, после моих переделак вышли такие параметры таблиц/файл базы данных на форуме.

ОСОБЕННОСТИ:
1) Длинна файлы базы (таблицы) до 2,1 гиг
2) Длинна записываемого файла (строки в таблице) до 1,68 мегабайт.
Быстрая запись, и редактирование строк.

Дефрагментация файловой системы планируется "на лету" или по кроновским задачам.

Таблица позиционирования головок диска хранит в себе данные о начале файле, и его длинне в 32 битном фармате (для сжатия). Редактирование записей и их добавление осуществляется одинаково по времени БЕЗ ПЕРЕЗАПИСИ ФАЙЛА С ДАННЫМИ!!!!!!!!!!!

Заметим что в оригинальном движке форума при изменении/редактировании админом чего либо файлы базы переписываются.
Также отличительной особенностью является что при чтении из файла, происходит чтение ТОЛЬКО необходимого сектора, а не записывание файла в память php и работа с ним.

Потестирую еще, посмотрю как и что, но главное что такие методы работы ускорят работу с файлами, и снизят нагрузку на сервер = ускорят работу форума.

Пример (скрипт) скачать можно http://dow.exergo.ru/data.zip Ну и с индексовой странички побаловаться записямя в базу, и чтение строк из нее.

Попробую доработать еще пару опций таблиц, сделать функцию дефрагментации, и думаю все будет нормально ;)

Выложу модуль с документацией, это будет видимо почти аналог нормальной БД, но на файлах, причем с достаточно быстрым доступом, в 10-100 раз быстре чем скажем на этом форуме. Правда для мелких файлов отличия малозаметны будут. Но зато можно будет строить более сложные структуры БЕЗ ПОТЕРИ СКОРОСТИ РАБОТЫ С БАЗОЙ!!!!!!!!!!!!!!

Одна из причин почему в этом форуме много файлов "базы данных" потомучто если положить все в один то это до утра ждать придется пока откроется страница)))) Для файлов может это и оптимально, хотя тут как сказать.

Выложу когда полное описание моих таблиц и как с ними работать, думаю многие оценят это.
Кстати, некоторые параметры не дадут пользователю записать в файл скрипты, которые могут привести к "падению" сайта/форума, а следовательно можно не писать проверки и замены что сделано в оригинальном форуме. Следовательно мы получим несколько больше возможнотей + скорость работы намного выше. Но на мелких файлах вероятно проиграем, но когда на форуме будет большее 500 постов это будет куда быстрее работать чем оригинал, а следовательно и иные "тяжеловесы".

Хотя некоторые совсем легкие форумы вероятно обойдут нас((( но зато мы сможем добится полноценной работы используя ТОЛЬКО средства php.

Кстати, потестил работу скрипта работы с базой, при размере таблицы базы в 350 мегабайт, скорость работы приятно удивила Так что я думаю в итоге будет очень простой механизм работы с базой и функции понятные интуитивно и все это на php.

Вот тут

Код:

для таких маштабов нужно один форум на страну иметь. не более

Цитата:

Цитата:

Это что. У форума ваще БД не просто избыточна а СВЕРХИЗБЫТОЧНА, одни и те же данные дублируются в разных файлах. Имя юзера, название темы, первое сообщение. Вместо того чтобы как положено в нормальной БД делать все по ключевым полям. Когда я учился у нас преподы выгоняли вон переделывать весь курсовик за такие реализации БД. Ну и не забываем про функцию serialize для текста.

qwerty, Верно.

Ну сама база данного форума конечно верно. С другой стороны я то хосу чохранить php а не подключать иные базы данных.

Тут то и проблемка, как хранить записи, понятно что если записей под сотню то храни как хочеш, а если их под сто тыщ???
Тобиш пока я работаю над реализацией динамических полей, и их хранение а в частности ИЗМЕНЕНИЕ. В обычной базе есть поле "Фрагментировано" тобиш налету база не совсем хорошо делает фрагментацию когда что-то в ней меняеш, для этого у нее встроенная "кнопка" ест, нажав на которую происходит оптимизация базы.
Иными словами, надо на php сделать аналог MySQL.

Кстати есть брать поля с фиксированной длинной (выставить при создании таблицы) то тут проблем с фрагментацией почти нет, пишется при изменении поверх и все, а вот если пишем в базу например текст поста... то когда он пишется, у меня, в конец своей таблицы, и в другом файле просто пишется 10 байт, первые 6 байт это место откуда надо считывать файл, и 4 за ним, это его длинна.

Когда нам надо считать ТЕКСТОВУЮ запись, например запись номер 17, то мы знаем что у нас в таблице позиционирования блоки по 10 байт, берем и считываем с 170 по 180 байт, в php делаем потом чтото типа
ну вот код начинаная от точки позиционирования

Код:

Про сохренить php чет не понял. serialize это стандартная функция php. Собствено вы как раз делаете ключевые слова. Однакао имхо.. Проще не парить мозги и сразу переписать форум на mysql, плюс дополнительный скрипт для конвертирования текстовой БД в sql-формат штоб уадмина не возникало проблем при переходе на мускульную версию. А там уж сразу есть и оптимизация и все остальное. И главное индексацию по тексту сделать. Видели как в phpbb это делается? Впрочем сие классический метод.

Набросал тут как примерно может выглядеть эта база.

Типа того

create table wr_users(
user_id int(10) auto_increment,
username varchar(64),
password varchar(64),
status int default '0',
email varchar(64),
regtime timestamp,
birthday varchar(32),
icg varchar(16),
gender int,
homesite varchar(255),
town varchar(255),
work varchar(255),
sign text,
avatar varchar(255),
forum_status varchar(255) defalut 'Участник форума',
reputation int default '0',
primary key (user_id)
);

create table wr_mainforum(
forum_id int auto_increment,
forum_razdel varchar(6) default '',
forumname varchar(255),
forumdesc text,
lasttopic_id int(10),
lastmsg_id int(10),
primary key(forum_id),
key lasttopic_id (lasttopic_id),
key lastmsg_id (lastmsg_id)
);

create table wr_topics (
topic_id int(10) auto_increment,
forum_id int,
user_id int(10) default '0',
guestname varchar(64) default '',
topicname varchar(255),
pubtime timestamp,
lastmsgtime varchar(32),
primary key(topic_id)
key forum_id (forum_id),
key user_id (user_id)
);

create table wr_messages(
message_id int(10) auto_increment,
topic_id int(10),
user_id int(10) default '0',
guestname varchar(64) default '',
pubtime timestamp,
message text,
primary key (message_id),
key topic_id (topic_id),
key user_id (user_id)
);

По имени переменных думаю разберетесь.

Цитата: