Author Topic: Почините форум…  (Read 27353 times)

0 Members and 1 Guest are viewing this topic.

Offline Red Khan

  • Global Moderator
  • *
  • Posts: 46224
  • Gender: Male
Reply #300 on: January 23, 2019, 14:45
Бэкап доступен только по фтп, там нет rsync.
Я правильно понимаю что есть ещё и бэкап сервер? Для rsync нужен ssh.

Offline mnashe

  • Administrator
  • *
  • Posts: 45081
  • Gender: Male
Reply #301 on: January 23, 2019, 14:48
Как-то потом это еще все это нужно реализовать и уметь из этой всей каши восстановить состояние на определенный момент.
Скорее тогда надо будет получить SQL-запросом список всех актуальных файлов и сопоставить его с полным списком в каталоге, полученном распаковкой всех однодневных бэкапов (+ домашнего бэкапа, если всё как я предложил).
Как, пользуясь таким списком, удалить всё лишнее из каталога на домашнем компьютере, я знаю. И делаю это за несколько секунд.
Как сделать это на линукс-сервере, я не в курсе. Но наверняка есть средства. В крайнем случае — опять же, через домашний компьютер, тем более если часть файлов уже там. Это же не каждодневная процедура, а восстановление после аварии.
Ну и сейчас это надо бы проделать, раз
Где-то там 800 МБ оверхеда получается.
Адепт единственного числа и безродового склонения
שָׁלוֹם עֲלֵיכֶם!

Offline RawonaM

  • Posts: 43559
Reply #302 on: January 23, 2019, 14:51
Пока что я смотрю решения для хостинга имеджей, все эти готовые так или иначе как-то хитрят, какие-то в них недочеты и вообще надежность похоже 0.

Вчера поигрался с postimages и обнаружил, что он приставил к ссылке моей картинки еще одну ссылку - дело это владельцев сайта или злоумышленников - не знаю. То же самое гуглится и про imgbb напр. https://wildguzzi.com/forum/index.php?topic=96888.0

Все-таки хостинг картинок неприбыльный бизнес, приходится прибегать к крайностям. Например радикал линкает все картинки на свою главную страницу - это лишено смысла с точки зрения пользователя, но там - куча рекламы, а главное повышается количество ссылок на страницу.

С postimages тоже странно - линки созданные с помощью плагина для SMF тоже линкают на главную страницу, а линки созданные на странице картинки линкают на картинку.

Пока что склоняюсь к тому, что фотографии тоже лучше хостить самим (но разделять ЛФ и картинки), а если это начнет перегружать сервер, тогда нужно будет заново думать, что с ними делать.

Offline wandrien

  • Posts: 8258
Reply #303 on: January 23, 2019, 14:57
Вспоминается, как на основе IPFS пытались сделать хостинг картинок, и как ничего из этого не вышло. Хостинг большую часть времени лежит...

Reply #304 on: January 23, 2019, 15:12
У меня безумная идея.

Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А кто хочет больше — за донат на хостинг. :smoke:

А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.

Reply #305 on: January 23, 2019, 15:12
Почему б не поднять на домене ещё один сайт - photogallery.lingvoforum.net, поставить туда движок джумлы или ещё чего и не прикрутить плагин галлереи (мб. даже с BBcode)? Будем там постить что нужно. Мб прикрутить туда часть БД с зареганными юзерами, чтобы можно было создавать закрытые галлереи.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

Reply #306 on: January 23, 2019, 15:14
У меня безумная идея.

Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А кто хочет больше — за донат на хостинг. :smoke:

А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.
Безумные идеи как показывает практика возникают независимо и одновременно
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

Offline From_Odessa

  • Posts: 45553
  • Gender: Male
  • Кожаный проказник
Reply #307 on: January 23, 2019, 15:19
Безумные идеи как показывает практика возникают независимо и одновременно
Великие умы мыслят одинаково (с) :)
Шансы есть всегда. Даже, когда их нет (с) М. Фоменко
Многие думают, что футбол - это вопрос жизни и смерти. Ерунда. Футбол куда важнее (с) Б. Шенкли
Программирование - ещё один вид искусства (с) From_Odessa
Ничто не делает ужин таким вкусным, как отсутствие обеда (с) М. Жванецкий

Offline RawonaM

  • Posts: 43559
Reply #308 on: January 23, 2019, 15:21
Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Давайте, только писать интеграцию кто будет? ;)

А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.
А что за это такое - IPFS?

Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А в чем смысл ограничений? И что остальным делать? Опять радикалить.
Донатывать никто не будет все-равно, это стопудово, если можно на радикал картинки вылить, за что платить?

Почему б не поднять на домене ещё один сайт - photogallery.lingvoforum.net, поставить туда движок джумлы или ещё чего и не прикрутить плагин галлереи (мб. даже с BBcode)? Будем там постить что нужно. Мб прикрутить туда часть БД с зареганными юзерами, чтобы можно было создавать закрытые галлереи.
Я вынашиваю идею с https://chevereto.com/ , че-то он мне очень понравился, но других я толком и не посмотрел. На нем построен imgbb, postimages и еще многие.
У этого чеверето есть и беплатная версия: https://github.com/Chevereto/Chevereto-Free

Покажите что другие умеют, я бы посмтрел. Что чеверето умеет мне нравится и главное что кодить не надо ничего, вся интеграция готова (не юзер аккаунтов, а постинг).

Reply #309 on: January 23, 2019, 15:22
Вспоминается, как на основе IPFS пытались сделать хостинг картинок, и как ничего из этого не вышло. Хостинг большую часть времени лежит...
Лежит по какой причине?

Offline wandrien

  • Posts: 8258
Reply #310 on: January 23, 2019, 15:39
Давайте, только писать интеграцию кто будет? ;)
Кто-нибудь. Вон нас тут сколько красавцев.
С организацией git-а определимся, и можно приступать помаленьку...


А что за это такое - IPFS?
P2P-система доставки контента с адресацией контента по хэшам через DHT.

Тут cloudflare подключился к движухе, после чего я стал с интересом смотреть на это дело:
https://www.cloudflare.com/distributed-web-gateway/
https://blog.cloudflare.com/distributed-web-gateway/

Любой контент, который раздается в IPFS (откуда угодно, кем угодно) может быть получен по хэшу:
  • Если вы запустите ноду IPFS локально.
  • Если вы отправите HTTP-запрос к любому гейту IPFS-WEB, не важно к какому. Просто меняем домен, не трогая остальную часть URL, и получаем тот же самый контент.

При этом узлы еще и кэшируют контент. Потенциально, кто угодно в мире может закешировать контент, и пока ваш сервер в дауне, этот кто-то угодно окажется источником контента.

Это позволяет очень гибко масштабировать доставку контента. При таком подходе задача добавления контента в систему, хранения контента и доставки контента — это три разные задачи, отвязанные друг от друга.

Т.е. потенциально я сейчас могу у себя локально захостить какие-нибудь картинки, а ссылки на них давать через публичный гейт. Картинки будут видны по обычным URL-ам.

Мнаше может с локалхоста раздавать картинки для форума, освободив место на хостинге для загрузки новой порции картинок. Или вы. Или я. :)

Reply #311 on: January 23, 2019, 15:41
Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.

Reply #312 on: January 23, 2019, 15:42
Честно говоря давно движками не занимался - помню толь джумлу с ее кучей плагинов, в том числе галлерейных. Или вордпресс. Ну, и насколько помню, такой движок можно к сужествующей БД прикрутить в части аккаунтов.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

Offline RawonaM

  • Posts: 43559
Reply #313 on: January 23, 2019, 15:51
Давайте, только писать интеграцию кто будет? ;)
Кто-нибудь. Вон нас тут сколько красавцев.
Завидую вашей мотивации и оптимизму, но проект интеграции с любой системой достаточно сложен, уязвим и требует постоянной поддержки. Думаю овчинка не стоит выделки - что оно дает? Избавляет пользователя от регистрации на втором сайте? Ну это небольшая проблема. Думаю сам бы я предпочел два разных аккаунта.

Offline wandrien

  • Posts: 8258
Reply #314 on: January 23, 2019, 15:59
Завидую вашей мотивации и оптимизму, но проект интеграции с любой системой достаточно сложен, уязвим и требует постоянной поддержки.
Ну, хуже ЛФ-у точно не будет - если ничего не трогать, то ничего не меняется.
В отношении ЛФ меня сейчас в первую очередь интересует пофиксить несколько мелочей в движке, что досаждают годами, а дальше видно будет. Интеграция аккаунтов задача сложная, не спорю.

Если вы хотите развернуть отдельный хостинг картинок, то делайте как считаете нужным, разумеется. Но поскольку всплыла тема, которой я сам интересуюсь достаточно активно, я поделился соображениями.

Offline RawonaM

  • Posts: 43559
Reply #315 on: January 23, 2019, 16:04
Если вы хотите развернуть отдельный хостинг картинок, то делайте как считаете нужным, разумеется. Но поскольку всплыла тема, которой я сам интересуюсь достаточно активно, я поделился соображениями.
Так я и хочу эти соображения поддержать и развить, но как-то приземленно, в такое русло, которое реально осуществить без особых long-term commitments. Слушаю внимательно предложения и буду рад совместной работе.

В отношении ЛФ меня сейчас в первую очередь интересует пофиксить несколько мелочей в движке, что досаждают годами, а дальше видно будет.
Отлично!

Ну, хуже ЛФ-у точно не будет - если ничего не трогать, то ничего не меняется.
Интеграция аккаунтов открывает новую потенциальную дыру безопасности.


Reply #316 on: January 23, 2019, 16:07
Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?

Reply #317 on: January 23, 2019, 16:11
Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?
Видимо то инструмент, а сайт стол - и все хотят этот инструмент взять; я так это понял.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

Offline wandrien

  • Posts: 8258
Reply #318 on: January 23, 2019, 16:14
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?
У них именно морда лежала долгое время - хочешь добавить картинку, а там ничего не работает. Я так понимаю, это был эксперимент и обкатка технологии.

Этот хостер — почти как обычный хостер картинок: принимает файлы и хранит их. Но не рассовывает их для раздачи на собственном десятке поддоменов, а отдаёт ссылку на гейт ipfs.info (раньше отдавал, сейчас на гейт cloudflare ссылается). Сами файлы, которые успел закешировать гейт, были доступны, а морда лежала.

Reply #319 on: January 23, 2019, 16:33
Есть вопрос. Насколько я понимаю, расширять хостинг ЛФ нет ресурсов в том числе финансовых. Какую задачу решает галлерея в этом случае?

~~~

Что касается IPFS. Я долго следил за этой технологией, но практического применения особо не видел.

А сейчас у меня сложился паззл и возникла идея. Думаю, что для таких сообществ, как ЛФ, в современных условиях это потенциально полезная технология. Часто они собой представляют несколько технически грамотных специалистов и несколько десятков или сотен обычных пользователей разного уровня заинтересованности. Специалисты занимаются проектом как хобби и не намерены в него вкладывать большие деньги, а пользователи даже сильно замотивированные не хотят посылать деньги непонятно кому непонятно на что.

Но с другой стороны, когда есть конкретная и понятная возможность помочь, желающих намного больше. И админы проекта могут поучаствовать своим железом (которое в любом случае покупают для личного использования), и пользователи могут развернуть какие-то субпроекты или еще как-то помочь. Проблема в реализации, веб-хостинг как таковой - централизованная технология. А вот IPFS эту проблему как раз решает.

В общем, это не готовая технология. Это повод задуматься о возможных перспективах.

Offline RawonaM

  • Posts: 43559
Reply #320 on: January 23, 2019, 16:48
В общем, это не готовая технология. Это повод задуматься о возможных перспективах.
Очень хорошие рассуждения.

Есть вопрос. Насколько я понимаю, расширять хостинг ЛФ нет ресурсов в том числе финансовых. Какую задачу решает галлерея в этом случае?
Решает вопрос разделения важного от не очень важного. Кроме того, удобно картинки загружать, просматривать, лайкать, удалят через специализированный хостинг, через форум это делать неудобно. Если бы можно было эту задачу делегировать другим людям - хорошо было бы, но я выше написал, что все не так радужно. Поэтому возникла идея хостить картинки у себя, при этом сохранить разделение.

Требования к надежности, бэкапу и т.п. на картиночном хостинге ниже, ведь картинки скорее всего у пользователей есть где-то в другом месте (если нет, то стоит напомнить, что должны быть), а сообщения ЛФ бесценны, тогда как вне контекста ЛФ они имеют небольшое значение.

В идеале ресурсов хватит на все картинки, но что если не? Ну тогда например при превышении определенных ресурсов хостинг картинок можно настроить, что они потом будут, скажем, предупреждая пользователя, удаляться или сами пользователи будут удалять оттуда картинки. Worst case scenario - у нас нет денег и все картинки пропадут - это все равно не так страшно и это грозит абсолютно любому хостингу картинок, в случае если он будет у нас, мы на это решение можем повлиять.

Если допустим какая-то критическая ситуация, то восстановить ЛФ проще, чем восстановить картинки. Поэтому стоит отделить одно от другого.

Я понятно написал или не очень?

Offline wandrien

  • Posts: 8258
Reply #321 on: January 23, 2019, 17:22
Требования к надежности, бэкапу и т.п. на картиночном хостинге ниже, ведь картинки скорее всего у пользователей есть где-то в другом месте (если нет, то стоит напомнить, что должны быть), а сообщения ЛФ бесценны, тогда как вне контекста ЛФ они имеют небольшое значение.

В идеале ресурсов хватит на все картинки, но что если не? Ну тогда например при превышении определенных ресурсов хостинг картинок можно настроить, что они потом будут, скажем, предупреждая пользователя, удаляться или сами пользователи будут удалять оттуда картинки. Worst case scenario - у нас нет денег и все картинки пропадут - это все равно не так страшно и это грозит абсолютно любому хостингу картинок, в случае если он будет у нас, мы на это решение можем повлиять.

Если допустим какая-то критическая ситуация, то восстановить ЛФ проще, чем восстановить картинки. Поэтому стоит отделить одно от другого.
Ясно!  ;up:

Offline RawonaM

  • Posts: 43559
Reply #322 on: January 23, 2019, 17:27
У платной версии Chevereto есть возможность использовать External storage, среди них AWS S3
https://chevereto.com/docs/storages

Я пытался прикинуть, сколько будет стоить хостить наши картинки там и все мои подсчеты показывают, что это почти бесплатно. Однако мне сложно поверить в это, точно как подпишешься туда, так сразу ууупс 1000 долларов счет нарисуется. Тут есть у кого опыт с AWS или с облаками вообще?

Reply #323 on: January 23, 2019, 19:14
У меня сегодня вдохновение. Вот https://images.lingvoforum.net/
Некоторые уже наверное заметили кнопки.
Только не нападайте сразу, пока на стадии тестирования, ничего не обещаю про загруженные картинки, но постараемся их сохранить навсегда.

Offline wandrien

  • Posts: 8258
Reply #324 on: January 23, 2019, 19:15
За 2 часа?!  :o Огонь!  :=

 

With Quick-Reply you can write a post when viewing a topic without loading a new page. You can still use bulletin board code and smileys as you would in a normal post.

Note: this post will not display until it's been approved by a moderator.
Name: Email:
Verification:
Type the letters shown in the picture
Listen to the letters / Request another image
Type the letters shown in the picture:
√49 Напишите ответ строчными буквами:
«Сто одёжек, все без застёжек» — что это?: