Хранения текста в базе

[Псих]

Сразу извиняюсь, если вопрос уже обсуждался.
Я столкнулся с необходимостью реализации хранения больших объемов в базе.
Грубо говоря html + текст.
Вопрос.. из вашего опыта, как лучше это все хранить...
Просто загнать все в text ячейку?
Видимые для меня проблемы:
1. Скорость загрузки далека от идеала(сравнительно со статическим html)
2. Правильность форматирования текста
3. Разбитие на страницы

Заранее благодарен!

[RaZEr]

1. Скорость загрузки далека от идеала(сравнительно со статическим html)

Воевать за каждую миллисекунду нужно только когда у тебя проект с посещаемостью не менее 10К. В остальных случаях это изобретение велосипеда.

2. Правильность форматирования текста

А каким образом хранение в БД может этому помешать?

3. Разбитие на страницы

Проще всего хранить уже в разбитом виде. А разбивать лучше всего руками.

[Псих]

RaZEr:
Воевать за каждую миллисекунду нужно только когда у тебя проект с посещаемостью не менее 10К

Просто я замечаю, что на диалапе тяжеловато текст большой из базы берется!
И без 10к посетителей!

[RaZEr]

Так скорее виноват диалап

[Псих]

я имел ввиду по отношению к загрузке той же страницы локально!

[RaZEr]

локально, - это с того же сервера но в html?

[Псих]

тьфу. этож надо было такое сморознуть.
Я имел ввиду:
Берется страница статическая с этим же текстом
и берется динамическая , которая берет этот текст из базы!

И сравнивается.
так вот статическая быстрее грузится!

[RaZEr]

Возможно. Причины тому разные. Если условиться что динамику и статику отдаёт один и тот же сервер без каких-либо лишних наворотов, то самое вероятное: тормозит сервер БД. Нет, я не отрицаю - passthru() быстрее mysql_query(), но не настолько, чтобы это ощущалось визуально.

[Псих]

RaZEr
Я не имел ввиду под статической страницей использование passthru.
Имел ввиду просто *.html страницу

RaZEr:
но не настолько, чтобы это ощущалось визуально.

А это не зависит от размера текста в базе?

[RaZEr]

А это не зависит от размера текста в базе?

Конечно зависит. В твоём случае когда сервер отдаёт тебе простой html файл, ему ненадо запускать жирный php со всеми модулями.

По сути ненадо хранить тексты в базе, если нет ответа на вопрос - "зачем это надо?"

[Self Author]

Во-первых, диалап тут совершенно не при чём. Диалап тормозит, когда страница уже готова для получения, а её никак не могут получить. А разница html или сгенерированная страница - это ощущается ещё до того, как она начинает получаться.
Вообще, конечно, апач отдаёт тексты быстрее, чем мускул. Но это зависит от:
1. Загруженности мускула
2. Оптимизации БД.
У меня вот тексты хранятся в базе. И текстов уже почти 1500. Всего база около 5М. Есть там и таблицы, в которых до 100000 строк...
Дело в том, что большие тексты надо выделять в отдельные таблицы с двумя полями: id и text. Причём id сделать первичным индексом и выбирать из этой таблицы только одну запись по этому индексу. А все остальные параметры, которые не занимают много места, отложить в другую таблицу и уже по ней делать различные выборки и т.п.

[Псих]

Self Author:
ело в том, что большие тексты надо выделять в отдельные таблицы с двумя полями

Какие по вашему тексты называются большими?

RaZEr
Зачем надо.. вот тут подходим к ключевому вопросу....
чтобы потом можно было поиск осуществлять

да и просто, чтобы интерактивность обеспечить...

[Self Author]

Псих:
Какие по вашему тексты называются большими?

Я думаю, это понятие относительное. Я почувствовал замедление работы, когда моя таблица с текстами стала перевешивать 3М. А тут уж, думаю, разницы нет, то ли куча мелких текстов, то ли немного, но больших.
У меня средний размер текста - 2,5К

[/7y3uK]

Псих:
чтобы потом можно было поиск осуществлять

а не проще ли тогда воспользоваться каким-нибудь индексером (поисковиком)? Ну не верю я что для ПХП не бывает поисковиков, которые могут строить индексы для поиска по текстовым файлам и по данным в БД. Все равно с большим текстом like будет медленно работать, а нормальный поисковик ощутимо быстрее... Вот, к примеру, поисковик для С, авось для ПХП похожее что-нить есть... http://incubator.apache.org/lucene4c/

[EvroStandart]

Псих:
Какие по вашему тексты называются большими?

Которые больше 256 символов. То есть именно тексты а не надписи. У меня сделано примерно также, как у Self Author. Есть куча таблиц со всякими полями типа CHAR(80) и есть одна таблица в которой тексты типа MEDIUMTEXT. Один текст используется для заполнения одной страницы. Соответственно я каждый раз выбираю по порядковому номеру только один текст. И всё летает.

[Self Author]

EvroStandart:
У меня сделано примерно также, как у Self Author.

Посыпаю голову пеплом...
Это я только решил так сделать. А всё никак не сделаю. Вот и ворочается еле-еле. Аж посетителей жалко...

[Псих]

EvroStandart:
о порядковому номеру только один текст. И всё летает.

если я не ошибаюсь, это обычная теория нормализации

[EvroStandart]

Псих:
если я не ошибаюсь, это обычная теория нормализации

Ж?пой чую что многие её незнают

[Naked]

Скажу как делаю я - составляю таблицу из двух полей id | text , возможно бывает и больше, например третье поле, где хранится стиль для этого текста, кстати, можно сделать еще четвертое поле с ключевыми словами (надо только чтб их было немного). Потом просто выбираю по id, иногда на id ставлю индекс - это увеличивает соответственно скорость select'a но сильно уменьшает скорость insert'а здесь нужно выбирать (причем это достаточно хорошо видно). поиск выбираю регулярным выражением (в мускуле это видимо LIKE, в посгресе я делаю просто ~), оно делается для конечного пользователя практически моментально, ибо оно на то и регулярное выражение. Безусловно нужно для каждой отдельной страницы делать свою запись в таблице, а еще лучше разбивать вообще весь контент просто логически, т.к. в данном случае чем больше разобьешь, тем быстрее будет работать (но это только в данном случае, т.к. даже логических блоков, скорее всего не много - <1000). Что касается скорости, то статика будет быстрее это точно, но скорость торможения на динамике зависит (и это 99% от всего торможения) от коннекта к самой базе (а базы, особенно у хостингов, а не у выделенных серваков слегка тормозят - отсюда и визуальное торможение), т.к. сам запрос на хорошем серваке - просто не заметно. А вообще для этого

Псих:
да и просто, чтобы интерактивность обеспечить...

и не только могу предложить следующий способ (так делал один из сайтов): весь текст страниц хранится в базе, через админ панель ты его изменяешь, а сами страницы - статика, просто в админке делаешь кнопку - "Обновить на сайте" и при этом все данные из базы перегоняются в статику - в итоге админ панель удобная и конечному пользователю вываливается быстрая статика

[Self Author]

Naked:
весь текст страниц хранится в базе, через админ панель ты его изменяешь, а сами страницы - статика, просто в админке делаешь кнопку - "Обновить на сайте" и при этом все данные из базы перегоняются в статику - в итоге админ панель удобная и конечному пользователю вываливается быстрая статика

У меня на сайте 3000 страниц (по мнению Яндекса). И мне нужно добавить какой-нибудь пункт меню или ещё что-нибудь, что должно лежать на каждой из этих страниц. Сколько же времени скрипт будет переписывать эти 3000 файлов?