Главное меню
Мы солидарны с Украиной. Узнайте здесь, как можно поддержать Украину.

Почините форум…

Автор Wolliger Mensch, апреля 5, 2018, 22:36

0 Пользователи и 1 гость просматривают эту тему.

Red Khan

Цитата: RawonaM от января 23, 2019, 13:22
Бэкап доступен только по фтп, там нет rsync.
Я правильно понимаю что есть ещё и бэкап сервер? Для rsync нужен ssh.

mnashe

Цитата: RawonaM от января 23, 2019, 13:22
Как-то потом это еще все это нужно реализовать и уметь из этой всей каши восстановить состояние на определенный момент.
Скорее тогда надо будет получить SQL-запросом список всех актуальных файлов и сопоставить его с полным списком в каталоге, полученном распаковкой всех однодневных бэкапов (+ домашнего бэкапа, если всё как я предложил).
Как, пользуясь таким списком, удалить всё лишнее из каталога на домашнем компьютере, я знаю. И делаю это за несколько секунд.
Как сделать это на линукс-сервере, я не в курсе. Но наверняка есть средства. В крайнем случае — опять же, через домашний компьютер, тем более если часть файлов уже там. Это же не каждодневная процедура, а восстановление после аварии.
Ну и сейчас это надо бы проделать, раз
Цитата: RawonaM от января 23, 2019, 12:27
Где-то там 800 МБ оверхеда получается.
Адепт единственного числа и безродового склонения
שָׁלוֹם עֲלֵיכֶם!

RawonaM

Пока что я смотрю решения для хостинга имеджей, все эти готовые так или иначе как-то хитрят, какие-то в них недочеты и вообще надежность похоже 0.

Вчера поигрался с postimages и обнаружил, что он приставил к ссылке моей картинки еще одну ссылку - дело это владельцев сайта или злоумышленников - не знаю. То же самое гуглится и про imgbb напр. https://wildguzzi.com/forum/index.php?topic=96888.0

Все-таки хостинг картинок неприбыльный бизнес, приходится прибегать к крайностям. Например радикал линкает все картинки на свою главную страницу - это лишено смысла с точки зрения пользователя, но там - куча рекламы, а главное повышается количество ссылок на страницу.

С postimages тоже странно - линки созданные с помощью плагина для SMF тоже линкают на главную страницу, а линки созданные на странице картинки линкают на картинку.

Пока что склоняюсь к тому, что фотографии тоже лучше хостить самим (но разделять ЛФ и картинки), а если это начнет перегружать сервер, тогда нужно будет заново думать, что с ними делать.

wandrien

Вспоминается, как на основе IPFS пытались сделать хостинг картинок, и как ничего из этого не вышло. Хостинг большую часть времени лежит...

wandrien

У меня безумная идея.

Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А кто хочет больше — за донат на хостинг. :smoke:

А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.

TestamentumTartarum

Почему б не поднять на домене ещё один сайт - //photogallery.lingvoforum.net, поставить туда движок джумлы или ещё чего и не прикрутить плагин галлереи (мб. даже с BBcode)? Будем там постить что нужно. Мб прикрутить туда часть БД с зареганными юзерами, чтобы можно было создавать закрытые галлереи.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

TestamentumTartarum

Цитата: wandrien от января 23, 2019, 14:12
У меня безумная идея.

Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А кто хочет больше — за донат на хостинг. :smoke:

А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.
Безумные идеи как показывает практика возникают независимо и одновременно
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

From_Odessa

Цитата: TestamentumTartarum от января 23, 2019, 14:14
Безумные идеи как показывает практика возникают независимо и одновременно
Великие умы мыслят одинаково (с) :)

RawonaM

Цитата: wandrien от января 23, 2019, 14:12
Давайте и в самом деле развернём хостинг картинок, увязанный с пользовательской базой ЛФ.
Давайте, только писать интеграцию кто будет? ;)

Цитата: wandrien от января 23, 2019, 14:12
А сам хостинг будет построен с использованием IPFS, что даст дополнительный уровень надежности и масштабируемости.
А что за это такое - IPFS?

Цитата: wandrien от января 23, 2019, 14:12
Ограничение на максимальный размер данных для пользователя — в зависимости от количества постов и возраста аккаунта.
А в чем смысл ограничений? И что остальным делать? Опять радикалить.
Донатывать никто не будет все-равно, это стопудово, если можно на радикал картинки вылить, за что платить?

Цитата: TestamentumTartarum от января 23, 2019, 14:12
Почему б не поднять на домене ещё один сайт - //photogallery.lingvoforum.net, поставить туда движок джумлы или ещё чего и не прикрутить плагин галлереи (мб. даже с BBcode)? Будем там постить что нужно. Мб прикрутить туда часть БД с зареганными юзерами, чтобы можно было создавать закрытые галлереи.
Я вынашиваю идею с https://chevereto.com/ , че-то он мне очень понравился, но других я толком и не посмотрел. На нем построен imgbb, postimages и еще многие.
У этого чеверето есть и беплатная версия: https://github.com/Chevereto/Chevereto-Free

Покажите что другие умеют, я бы посмтрел. Что чеверето умеет мне нравится и главное что кодить не надо ничего, вся интеграция готова (не юзер аккаунтов, а постинг).

RawonaM

Цитата: wandrien от января 23, 2019, 13:57
Вспоминается, как на основе IPFS пытались сделать хостинг картинок, и как ничего из этого не вышло. Хостинг большую часть времени лежит...
Лежит по какой причине?

wandrien

Цитата: RawonaM от января 23, 2019, 14:21
Давайте, только писать интеграцию кто будет? ;)
Кто-нибудь. Вон нас тут сколько красавцев.
С организацией git-а определимся, и можно приступать помаленьку...


Цитата: RawonaM от января 23, 2019, 14:21
А что за это такое - IPFS?
P2P-система доставки контента с адресацией контента по хэшам через DHT.

Тут cloudflare подключился к движухе, после чего я стал с интересом смотреть на это дело:
https://www.cloudflare.com/distributed-web-gateway/
https://blog.cloudflare.com/distributed-web-gateway/

Любой контент, который раздается в IPFS (откуда угодно, кем угодно) может быть получен по хэшу:

  • Если вы запустите ноду IPFS локально.
  • Если вы отправите HTTP-запрос к любому гейту IPFS-WEB, не важно к какому. Просто меняем домен, не трогая остальную часть URL, и получаем тот же самый контент.
При этом узлы еще и кэшируют контент. Потенциально, кто угодно в мире может закешировать контент, и пока ваш сервер в дауне, этот кто-то угодно окажется источником контента.

Это позволяет очень гибко масштабировать доставку контента. При таком подходе задача добавления контента в систему, хранения контента и доставки контента — это три разные задачи, отвязанные друг от друга.

Т.е. потенциально я сейчас могу у себя локально захостить какие-нибудь картинки, а ссылки на них давать через публичный гейт. Картинки будут видны по обычным URL-ам.

Мнаше может с локалхоста раздавать картинки для форума, освободив место на хостинге для загрузки новой порции картинок. Или вы. Или я. :)

wandrien

Цитата: RawonaM от января 23, 2019, 14:22
Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.

TestamentumTartarum

Честно говоря давно движками не занимался - помню толь джумлу с ее кучей плагинов, в том числе галлерейных. Или вордпресс. Ну, и насколько помню, такой движок можно к сужествующей БД прикрутить в части аккаунтов.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

RawonaM

Цитата: wandrien от января 23, 2019, 14:39
Цитата: RawonaM от Давайте, только писать интеграцию кто будет? ;)
Кто-нибудь. Вон нас тут сколько красавцев.
Завидую вашей мотивации и оптимизму, но проект интеграции с любой системой достаточно сложен, уязвим и требует постоянной поддержки. Думаю овчинка не стоит выделки - что оно дает? Избавляет пользователя от регистрации на втором сайте? Ну это небольшая проблема. Думаю сам бы я предпочел два разных аккаунта.

wandrien

Цитата: RawonaM от января 23, 2019, 14:51
Завидую вашей мотивации и оптимизму, но проект интеграции с любой системой достаточно сложен, уязвим и требует постоянной поддержки.
Ну, хуже ЛФ-у точно не будет - если ничего не трогать, то ничего не меняется.
В отношении ЛФ меня сейчас в первую очередь интересует пофиксить несколько мелочей в движке, что досаждают годами, а дальше видно будет. Интеграция аккаунтов задача сложная, не спорю.

Если вы хотите развернуть отдельный хостинг картинок, то делайте как считаете нужным, разумеется. Но поскольку всплыла тема, которой я сам интересуюсь достаточно активно, я поделился соображениями.

RawonaM

Цитата: wandrien от января 23, 2019, 14:59
Если вы хотите развернуть отдельный хостинг картинок, то делайте как считаете нужным, разумеется. Но поскольку всплыла тема, которой я сам интересуюсь достаточно активно, я поделился соображениями.
Так я и хочу эти соображения поддержать и развить, но как-то приземленно, в такое русло, которое реально осуществить без особых long-term commitments. Слушаю внимательно предложения и буду рад совместной работе.

Цитата: wandrien от января 23, 2019, 14:59
В отношении ЛФ меня сейчас в первую очередь интересует пофиксить несколько мелочей в движке, что досаждают годами, а дальше видно будет.
Отлично!

Цитата: wandrien от января 23, 2019, 14:59
Ну, хуже ЛФ-у точно не будет - если ничего не трогать, то ничего не меняется.
Интеграция аккаунтов открывает новую потенциальную дыру безопасности.


RawonaM

Цитата: wandrien от января 23, 2019, 14:41
Цитата: RawonaM от Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?

TestamentumTartarum

Цитата: RawonaM от января 23, 2019, 15:07
Цитата: wandrien от января 23, 2019, 14:41
Цитата: RawonaM от Лежит по какой причине?
Потому что публичный, бесплатный и без регистрации, и ему роняют фронт-энд толпы желающих попользоваться, насколько мне известно.
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?
Видимо то инструмент, а сайт стол - и все хотят этот инструмент взять; я так это понял.
P.S. Мнение опубликовано. ГКК.
P.P.S. Осторожно, ругаюсь бронетанками!

wandrien

Цитата: RawonaM от января 23, 2019, 15:07
Так что-то я не очень понял, если контент поставляется с таких мелких разных систем, независящих друг от друга, каким образом весь сайт может лежать?
У них именно морда лежала долгое время - хочешь добавить картинку, а там ничего не работает. Я так понимаю, это был эксперимент и обкатка технологии.

Этот хостер — почти как обычный хостер картинок: принимает файлы и хранит их. Но не рассовывает их для раздачи на собственном десятке поддоменов, а отдаёт ссылку на гейт //ipfs.info (раньше отдавал, сейчас на гейт cloudflare ссылается). Сами файлы, которые успел закешировать гейт, были доступны, а морда лежала.

wandrien

Есть вопрос. Насколько я понимаю, расширять хостинг ЛФ нет ресурсов в том числе финансовых. Какую задачу решает галлерея в этом случае?

~~~

Что касается IPFS. Я долго следил за этой технологией, но практического применения особо не видел.

А сейчас у меня сложился паззл и возникла идея. Думаю, что для таких сообществ, как ЛФ, в современных условиях это потенциально полезная технология. Часто они собой представляют несколько технически грамотных специалистов и несколько десятков или сотен обычных пользователей разного уровня заинтересованности. Специалисты занимаются проектом как хобби и не намерены в него вкладывать большие деньги, а пользователи даже сильно замотивированные не хотят посылать деньги непонятно кому непонятно на что.

Но с другой стороны, когда есть конкретная и понятная возможность помочь, желающих намного больше. И админы проекта могут поучаствовать своим железом (которое в любом случае покупают для личного использования), и пользователи могут развернуть какие-то субпроекты или еще как-то помочь. Проблема в реализации, веб-хостинг как таковой - централизованная технология. А вот IPFS эту проблему как раз решает.

В общем, это не готовая технология. Это повод задуматься о возможных перспективах.

RawonaM

Цитата: wandrien от января 23, 2019, 15:33
В общем, это не готовая технология. Это повод задуматься о возможных перспективах.
Очень хорошие рассуждения.

Цитата: wandrien от января 23, 2019, 15:33
Есть вопрос. Насколько я понимаю, расширять хостинг ЛФ нет ресурсов в том числе финансовых. Какую задачу решает галлерея в этом случае?
Решает вопрос разделения важного от не очень важного. Кроме того, удобно картинки загружать, просматривать, лайкать, удалят через специализированный хостинг, через форум это делать неудобно. Если бы можно было эту задачу делегировать другим людям - хорошо было бы, но я выше написал, что все не так радужно. Поэтому возникла идея хостить картинки у себя, при этом сохранить разделение.

Требования к надежности, бэкапу и т.п. на картиночном хостинге ниже, ведь картинки скорее всего у пользователей есть где-то в другом месте (если нет, то стоит напомнить, что должны быть), а сообщения ЛФ бесценны, тогда как вне контекста ЛФ они имеют небольшое значение.

В идеале ресурсов хватит на все картинки, но что если не? Ну тогда например при превышении определенных ресурсов хостинг картинок можно настроить, что они потом будут, скажем, предупреждая пользователя, удаляться или сами пользователи будут удалять оттуда картинки. Worst case scenario - у нас нет денег и все картинки пропадут - это все равно не так страшно и это грозит абсолютно любому хостингу картинок, в случае если он будет у нас, мы на это решение можем повлиять.

Если допустим какая-то критическая ситуация, то восстановить ЛФ проще, чем восстановить картинки. Поэтому стоит отделить одно от другого.

Я понятно написал или не очень?

wandrien

Цитата: RawonaM от января 23, 2019, 15:48
Требования к надежности, бэкапу и т.п. на картиночном хостинге ниже, ведь картинки скорее всего у пользователей есть где-то в другом месте (если нет, то стоит напомнить, что должны быть), а сообщения ЛФ бесценны, тогда как вне контекста ЛФ они имеют небольшое значение.

В идеале ресурсов хватит на все картинки, но что если не? Ну тогда например при превышении определенных ресурсов хостинг картинок можно настроить, что они потом будут, скажем, предупреждая пользователя, удаляться или сами пользователи будут удалять оттуда картинки. Worst case scenario - у нас нет денег и все картинки пропадут - это все равно не так страшно и это грозит абсолютно любому хостингу картинок, в случае если он будет у нас, мы на это решение можем повлиять.

Если допустим какая-то критическая ситуация, то восстановить ЛФ проще, чем восстановить картинки. Поэтому стоит отделить одно от другого.
Ясно!  ;up:

RawonaM

У платной версии Chevereto есть возможность использовать External storage, среди них AWS S3
https://chevereto.com/docs/storages

Я пытался прикинуть, сколько будет стоить хостить наши картинки там и все мои подсчеты показывают, что это почти бесплатно. Однако мне сложно поверить в это, точно как подпишешься туда, так сразу ууупс 1000 долларов счет нарисуется. Тут есть у кого опыт с AWS или с облаками вообще?

RawonaM

У меня сегодня вдохновение. Вот https://images.lingvoforum.net/
Некоторые уже наверное заметили кнопки.
Только не нападайте сразу, пока на стадии тестирования, ничего не обещаю про загруженные картинки, но постараемся их сохранить навсегда.

wandrien


Быстрый ответ

Обратите внимание: данное сообщение не будет отображаться, пока модератор не одобрит его.

Имя:
Имейл:
Проверка:
Оставьте это поле пустым:
Наберите символы, которые изображены на картинке
Прослушать / Запросить другое изображение

Наберите символы, которые изображены на картинке:

√36:
ALT+S — отправить
ALT+P — предварительный просмотр