Пару мыслей которые родились по ходу обсуждения прошлой статьи.
Вот список того, что я хочу от идеальной online backup’илки.
1) Достаточно дешевую цену за каждый гигабайт. Сейчас обычный винт дает цену порядка $0.1 за гиг (и платишь один раз). Платить за $0.1 за гиг каждый месяц (а-ля Amazon S3) немножко как-то жабка. Я знаю, что существуют более дешевые сервисы, но они меня не удовлетворяют по нижеописанных параметрам.
2) Я хочу, чтобы шифрование производилось на моей стороне (хотя можно и их программой — с открытыми исходниками). В смысле, что ключ от зашифрованных данных должен быть только у меня и не у кого другого.
Они мне могут хоть весь день петь трели о том, что у них защита как в банке, но я думаю, что мелкую компанию <вставить название> на порядок легче хакнуть, чем серьезный банк. Плюс из серьезного банка можно максимум взять мои деньги, но банк их потом вернет. Если кто-то сопрет какую-то критическую для меня инфу и начнет публиковать в инете/пользоваться ей (а-ля мои кредитные карточки, пароли к банку, идентификационный код, ставки, явки и т.п.) то назад все вернуть уже будет нереально.
3) Информация должна быть физически рассредоточена и дублирована. То есть копии моих зашифрованных данных должны быть минимум в 2, а лучше в 3 разных местах. Причем компания должна предоставлять метод это проверить. Иначе землетясение/наводнение/извержение унитаза может внезапно уничтожить все нажитое непосильным трудом.
4) Из backup’ов ничего не должно стираться. Все backup’ы должны быть инкриментальными и должна быть возможность вернуться назад и найти нужный файл. В идеале, backup должен быть просто системой контроля версий, в которую раз в некоторое время сливается новая версия моих данных.
5) Компания должна оговаривать/гарантировать/доказывать, что в случае ее банкротства, они дадут возможность получить свои данные назад. Например, одна (или несколько) копий всех данных должна находиться у сторонней компании, которой заранее проплаченно поддержка системы в течении 6 месяцев после банкротства.
6) Достаточно длинный срок хранения данных после окончания оплат. Как-то не хочется уехать на месяц в отпуск и по возвращению обнаружить, что в первый день отпуска надо было оплатить услуги за год. Прошло уже 30 дней и они решили, что account дохлый и можно все порубить. Я бы сказал, что 6-9 месяцев более реалистичная цифра.
Пожалуй это основное.
как-то даже не смешно. начинается что «$0.1 за гиг каждый месяц» это дорого, а потом требования как к системам НАСА. напоминает ту статью про «зажравшихся» дизайнеров из глубинки. работу датацентров (софт, э-во, саппорт, ремонт) нужно оплачивать.
Вы приходите в магазин и видите жуткую синюю курицу за $10/кг. Вы ее покупаете?
Нет, вы ее не покупаете, а выходите из магазина. Если вы прошли по 5 магазинам и везде такие, то вы махнете рукой и купите мясо, которое например более качественно и дешевле.
То, что я перечислил лично мой пороговый уровень, когда я буду готов покупать курицу. Никакого зажирательства, а чисто перечисление моих требований.
Кстати пункты 2, 4 и 6 оочень просты и не требуют больших издержек.
В пунтке 3 они самы заинтересованы, чтобы при падении чего-то в одном из их data center бизнес не вылетел в трубу. Фактически все даже не большие фирмы работающие с важными данными хранят копии разнесенные географически.
Пожалуй, из серьезных запросов, только пункт 5 связанный с exit strategy.
Согласен. $0.1/Gb это на самом деле очень дешево. Жаба начинается если бекапов много, это понятно. Но я честно не верю что 1Tb бекапов содержит только критическую информацию. Сколько там реальной критической информации за хранение которой стоит заплатить?
1 Tb он туда и не зальет. Мериканские провайдеры имеют ограничение на 250 Гб в месяц. А где не имеют, то понижают скорость. вот и считайте, сколько туда будет этот 1Т заливаться 🙂
ну и да, согласен про критичность. важную информацию надо шифровать не при бэкапе, а всегда. т.е. номера счетов, карточек, сканы документов у меня живут на трукритовском диске, он меньше сотни мегабайт. зачем шифровать картинки/видео не понятно. но может кому-то конечно и надо (но явно не массовый рынок).
жить без оплаты 6 месяцев тоже забавно. почему-то никого не удивляет что воду, интернет отключают за месяц, а тут месяца почему-то мало 🙂
мне непонятно одно — зачем столько всяких требований, если :
— сейчас как понимаю нет никакого бэкапа
— что за данные такие, что требуют военных подвигов
может надо смотреть на задачу?
у меня робокопи раскладывает дома по двум дискам, лайв меш кладет в интернет и переодически важное пишу на болванки/внешний диск, который храню в банковской ячейке (но это если честно давно не обновлял ибо кроме фотографий другой ценной инфы почти нет, настолько мала, что просто лежит в нескольких местах)
ПС про курицу сравнения не понял. если у меня в магазине курица по 10, я не пишу пост про то как я считаю они должны стоит и расти, ибо с таким же успехом можно возмущаться что солнце встает на востоке или идет дождь. 🙂
>жить без оплаты 6 месяцев тоже забавно. почему-то никого не удивляет что воду, интернет >отключают за месяц, а тут месяца почему-то мало
Я никогда не пробовал, но подозреваю, что и воду и интернет и электричесво мне не отключат при просрочке платежа на 30 дней. Скорее они будут слать мне все увеличивающиеся счета и таки отключат через скажем 4 месяца.
>мне непонятно одно – зачем столько всяких требований, если :
>- сейчас как понимаю нет никакого бэкапа
Бекап есть. Был один внешний винт. Сейчас поставил два винта в Raid 1.
>- что за данные такие, что требуют военных подвигов
никак особых данных. но все перечисленное я не считаю военным подвигом, а скорее считаю просто ответственным backup’ом
>ПС про курицу сравнения не понял. если у меня в магазине курица по 10, я не пишу пост про >то как я считаю они должны стоит и расти, ибо с таким же успехом можно возмущаться что >солнце встает на востоке или идет дождь
а) Вы не пишите. А я пишу и не вижу тут ничего предрассудительного.
б) Солнце вряд ли изменит направление своего движения. Я уверен, что все перечисленные мной параметры (может кроме пятого) вполне будут выполнены какой-нибудь компании в течении ближайших лет.
в) Вчитайтесь в второе предложение статьи «Вот список того, что _я_ хочу от _идеальной_ online backup’илки.». У вас ведь тоже есть какие-то технические пожелания о чем-то, которые сейчас еще не слишком осуществимы (иметь дома 3d телевизор без очков за $500 или еще что-нибудь такое)?
Скажем так. $0.1/Gb дешево, если
а) аккуратно выбирать что backup’ить.
б) делать не инкрементальные backup’ы или раз в некоторое время стартовать с нуля стирая историю.
В остальных случаях, заbackup’ленная информация постепенно растет в объеме.
Согласен, В 1TB не только критическая информация. Но если я начну сейчас выделять оттуда критическую и не критическую, я убью на это кучу времени.
В целом, я сейчас на рабочем винте собрат то, что я таки хочу backup’ить и вышло порядка 40Gb. С них и начну и погляжу во что это выльется.
Цена смешная, да. Остальное обосновано.
Почему цена смешная? Попробую объяснить. Ваш домашний винчестер за .1$ это чудесно, но:
1) Провайдер услуг будет использовать не сигейт барракуду, а винчестеры энтерпрайз уровня, да еще засунутые в СХД. Могу прикинуть текущую стоимость на каком-нибудь low-end решении, но всяко ясно, что дороже домашнего винчестера.
2) Данные у провайдера, как ясно из предыдущего, лежат не на отдельных винчестерах а в RAID. прибавляем к стоимости.
3) Вы желаете хранения в 2х-3х местах — умножаем на 2-3.
4) Вы желаете хранения в 2х-3х местах — добавляем каналы связи. Толстые, надежные, с низкой задержкой.
5) Все эти винчестеры будут работать без перерыва, в отличии от Вашего домашнего — добавляем уйму электричества, охлаждения.
6) Ну про персонал, место, которое, в общем, стоит почему-то ни полразу не дешево — даже говорить не буду.
7) Плюс закладка люфта на погашение рисков, в случае, если что-то пойдет не так и прибыль.
Как-то так, в общем. не .1. Даже в месяц =)
Ну а технические требования очень даже ничего, готов ППКС.
Ну, цена смешная сегодня, через 2 года уверен, что никого особо этим не удивишь.
Цены по пунктам 1, 2, 4 (из них 3) будут идти в них.
Остальные пункты вероятнее всего останутся на месте.
Насчет использование винчестеров enterprise уровня. Скажу честно, в data storage я дуб дубом. Но мне, кажется, что основная идея тут сделать надежной систему целиком, а не каждый отдельный компонент.
Условно говоря, если выроятность вылета обычного винта за год ну скажем 10%, а enterprise уровня винта — 1%. При этом цены разняться в скажем 3 раза, то может быть выгоднее таки пользовать обычные винты и иметь софт, который следит за их качеством и автоматом выключает, когда они начинают сыпаться.
В целом не возможно сделать систему без дублирования звеньев этой системы.
Т.е. реальное хранилище, это гео-распределенное хранилище с 4U серверами, до потолка забитыми sata хитачами. Каждый нод (сервер) должен иметь дубликат в двух других хранилищах.
Но сразу хочу оговорится, что цена онлайн-хранения данных сейчас не очень упирается в цену харда.
Если бы упиралась только в неё, то цена бы была 3$ в месяц за терабайт. Я спокойно готов платить в месяц и 20$ за терабайт, но это пока не очень реально.
Согласен.
Конечно, оно будет дешеветь. Кто бы спорил. Но прямо сейчас — увы.
Ну и дело не в винтах, конечно, было бы, если бы можно было ставить обычные винты в промышленные системы хранения данных. Мы у себя, правда, обошли это дело некоторым образом для именно бекапов, но нам скорость не важна — не те объемы, а провайдеру может быть важна. А может и нет — нужно считать для каждого конкретного случая.
В принципе промышленное хранение бэкапов очень упирается в дешевизну. Я конечно понимаю, что можно взять SAN и хвастаться, что у нас харды по 500$ за 300Gb. И говорить, что мы тут способны по 6Гбит/c на канал раздавать. Только вот смысла в такой скорости для Online-бэкапов для общей массы нет.
P.S. в SAS можно ставить SATA )
А поддержку на это Вы купите? С IBM вот не всегда получается =) А без поддержки ни один энтерпрайз лететь, пожалуй, не согласится… И да, я использую для бекапа SATA и обычные полки с RAID6. Но у меня:
1) зарезервированные и предсказуемые окна копирования. То есть нет 20 пользователей на один шпиндель, которым вдруг вот прямо сейчас захочется получить свои данные.
2) У меня такие же предсказуемые требования для репликации всего этого хозяйства в оффсайт. А тут — пользователь положил файлик — изволь тут же отреплицировать его в черт знает куда, а это тоже IO.
Короче, требования хорошие, но действительно из разряда «вот хочу и все тут» 😉
Еще одно: Вы все забываете, что для Вас это бекап, то есть то, на что денег много тратить как бы и зазорно, а для провайдера услуг это основное mission-critical приложение. Потому все-таки будет Ынтрыпрайз 😉
Не совсем понял фразу насчет поддержки? Support на винты?
На системы хрнения. Они поддерживаются с определенными требованиями. Как минимум в одном случае нам сказали, что «с такими винтами мы вас не поддерживаем». Не буду называть вендора, если что 😉
ok. Из второго сообщения понял, что на винты тоже поддержка есть.
Но еще раз уточню. Имеется в виду поддержка на софт?
Нет, на весь, как было принято раньше говорить, программно-аппаратный комплекс. Я в детали не вдавался — не моя тема, могу проконсультироваться у наших спецов.
Для mission-critical даже задумываться не стану, только с поддержкой. Но для некритичного онлайн-хранения не буду — дорого.
P.S.: поддержка тем и хорошо. Что сломалось, то заменят и настроят.
Куда-то делся комментарий… В общем, я повторюсь: для вас это некритичное онлайн хранение, а для них это business- and mission-critical приложение. И тогда у них есть два варианта: пытаться бороться с CAP-теоремой или увеличивать надежность и supportability для отдельных элементов системы. Ну или забить на все, но тогда я бы серьезно подумал насчет «заплатить денег» такому провайдеру услуг =)
Все таки, сначала надо определиться по поводу хранилища и объемов.
Второе между прочим сразу же говорит об использовании лент. Как-то считал, что для целесообразного хранения на ленте объем должен превышать 50Tb инфы. Ну и естественно ленты лучше по времени хранения. К тому же они чисто механические (за исключением rfid меток, но эту метку спокойно заменить любой штрих-код). Хуже по времени доступа. Да и если хранить что-то больше чем 5 лет, то разговор о хардах отпадает.
Дальше объем бэкапов у нас определяется количеством полных копий + суммой инкрементальных или дифференциальных копий. Кол-во это зависит от схемы резервирования. Полных бэкапов за год мы вполне можем иметь и штук 10. Так что я со своими 200Gb критической инфы явно не целюсь на ленты. Мне и харда хватит. А теперь, почему мне не нравится онлайн бэкапы? Потому что тянуть долго. Ну скажем честно, если мне надо, не дай бог, конечно, тянуть эти 200Gb. То даже на канале 100mbps (а это средний канал, для крупных организаций), то я затяну данные за 5.5 часов, и самое забавное, что я их ещё не разверну к этому времени. 5.5 часов простоя — диагноз «Уволен». Т.е. онлайн-бэкапы не могут заменить локальную систему резервирования. Потому как гигабит я уже сейчас могу за очень дешево использовать. К тому же трафик в локальной сети ничего не стоит (или точнее — сущие доли копейки).Ну и свои двести гигов я за час получу и буду доволен. Так что mission-critical здесь нужен только в том случае, если каналы реально позволяют гонять такой трафик за дешево. Реально дешевле поставить второй ЦОД где-нибудь в 300-400 километрах, провести канал между ЦОДами (или арендовать), а ленты с месячным или недельным полным бэкапом дублировать, шифровать и класть в банковскую ячейку ближайшего к вам банка (где-нибудь в радиусе 500 метров). И не париться по этому поводу.
P.S.: c другой стороны online-бэкапы позволяют делать синхронизацию, и вот хранить допустим ежедневную синхронизированную копию — милое дело. Особенно для дома.
P.P.S.: не забываем про стоимость онлайн-бэкапа, минимум что я видел, это 240у.е в год за 1ТБ. Обычно это что-то в районе 400 у.е. за эти деньги мне проще найти 2U сервер и забить его сатовыми хардами в сумме на 8 ТБ, с условием raid5, 7 ТБ я получу. Сервер для этих нужд за 2500 у.е. найти не составит труда. за 300 у.е. я найду место, а за 200 у.е. окуплю сервер за год. А он мне скорее всего прослужит и все 3 года и это за 7ТБ, а не за один.
ага. понял.
2Icegreg
Блин… Я как-то непонятно объясняю наверное. =)
Вы можете там за свои деньги хранить хоть home Video. Про Вас речь и не идет совершенно — Вы клиент, клиент разумный и ничего mission-critical, что должно быть доступно 24х7 и с малым временем восстановления. Под «провайдером» я понимал компанию, которая предоставляет Вам услугу онлайн-бекапа Вашего хоум-видео. И вот для них уже эти ваши смешные ролики — mission-critical данные, поскольку это их основной бизнес — сохранить. И если они не сохранят, то они лишатся клиента, а то еще и в суд загремят. Поэтому они вынуждены будут строить систему из надежных компонент, снижать SLA или, как я уже говорил, бороться каким-то образом с математичкой =)
Вашу идею я понял, но математика нам говорит о том, что разница между sas и sata в плане железа не очень большая. В смысле гарантия всё равно 5 лет. а именно этот параметр для нас важен. Mission-critical это задачи, в первую очередь, высоких нагрузок. В online-backup хранилищах высоких нагрузок мало, они стремятся к очень маленькой цифре. И покупать тут хранилище в mission-critical обвязке не целесообразно. И цена у таких обвязок 1у.е /гиг только по харду. Да и сервера для этого в двое-трое дороже получаются )). Т.е. узел стоит в 4 раза дороже, а вероятность отказа узла, всё равно высокая. А вот если я соберу 4 машины и действительно их отправлю по разным концам города — то это будет дешевле и надежнее. И именно этим я добьюсь пресловутых 9999 и обеспечу достойный SLA.
p.s.: надеюсь что меня поймут правильно. я утверждаю, что для таких задач дорогое оборудование излишне.
Но проблемас. Подход принят (невзирая на то, что поддержка всего по отдельности может оказаться дороже, чем купить нормальное решение). Но даже это будет _существенно_ дороже отдельностоящего винчестера. Просто потому, что винчестеров нужно будет в 4 раза больше.
И остальные параметры в виде энергопотребления и прочего, чего домашний пользователь не считает обычно, и прочего — остаются на месте… =)
Кстати вот подтверждение моей идеи.
Этих ребят я ещё давно видел, только линк потерял.
http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
Т.е. сейчас они за 11k$ получают 90Tb. И продают по 5$ в месяц — неограниченный сторадж. А почему? Да потому что всё равно люди много хранить не будут. Свой канал-то ограничен. И много при случае не зальешь. Вот и получается, что на одном таком сервачке я и 1000 клиентов в среднем могу удержать. Это оправдывает все затраты и по серверу и по стойке. Жаль поддержки линуха вроде нет, ну что поделать.
Уг. Такой вариант возможен, в принципе. Только вот 11К это уже больше запрошенного (хотя можно и дешевле http://www.nix.ru/computer_hardware_news/hardware_news_viewer.html?id=165673) =)
Плюс к этому из требования 2 следует уже цифра 22-33. Плюс электричество. Плюс каналы. Плюс все прочее. Потому если их «распробуют», то им придется либо изменять тарифы, либо зажимать канал. Это кого-то устроит?
Ну и для того, чтобы достигнуть волшебного параметра 0.1 за ГБ в месяц, Виктору нужно там хранить не менее 500Г. В общем, подешевеет все скоро до нужных пределов, но пока цифра мне кажется не та при озвученных параметрах.
Ссылка к сожалению не открылась, а по поводу «распробуют», то у них уже в июне был развернут сотый сервер. К тому же я ошибся и один сервак стоит около 8k$, а не 11.
И на винты тоже, кстати. Сейчас у меня в рамках контракта на поддержку винты меняются просто, если что. Без вопросов.
1. Первый пункт — конечно можно достичь, но только без использования райдов и Ынтерпрайз оборудования, да на дешевых каналах.
2. А что собственно стесняет вас в выборе локального шифровальщика. Настрой по таймеру, что бы система делала инкремент, архивировала и шифровала(тут ну совсем ничего сложного). От online-хранилища тебе только место нужно.
3. Ну тогда готовьтесь к 2-3 кратному увеличению цены, и не плачьте по этому поводу.
4. Идеально backup — место на внешнем хранилище.
5. Вообще-то компания ничего доказывать не должна(да и нет смысла в этих доказательствах, только на деле), в нормальном режиме она и так должна вернуть вам эти данные в установленном порядке.
6. При больших объемах тебе пойдут на встречу. А держать твой бэкап — 6-9 месяцев на халяву, тогда это увеличит стоимость в месяц на 50-75%, т.е. твои соображения противоречат сами себе. С другой стороны, это можно сделать, но только если брать с тебя за overdraft добавочные деньги.
1. В целом меня интересует уровень услуг, а внутренняя реализация не так чтобы. Я чуть выше Александру Трофимову кстати отписывал насчет enterprise vs не enterprise.
2. Особенно ничего. Я просто еще это не глядел. Плюс, я не уверен, насколько хорошо инремент работает в связки с шифрование и архивацией. (Просто я с этим не копался). Кстати, если есть что-то похожее на примете — киньте ссылку.
3. Я осознаю это и тем не менее хочу цены ниже $0.1 (замечу, не плачусь, а готов платить деньги, только когда цена упадет ниже определенного предела).
5. Доказывать не должна, но я бы предпочел, чтобы она продемонстрировала что-то. Иначе, может у них все в одном месте храниться без дублирования и когда оно упадет, мне легче от того, что их засудят не будет.
6. Может быть 6-9 месяцев я перебрал. Но скажем так 30% от длительности предварительно использования (до 6 месяцев). Из этого повышение цены будет на 30%.
2. Инкрементальный бэкап с шифрованием сделать можно, но немножко геморрой.
3. Тоже хочу, но реальная цена всё же дороже, возможно когда 20TB будет стоить 30$.
5. Никак, просто никак. На объект никто не пустит, а если и пустят, то что ты там увидишь?
6. Максимум 3 месяца. Если человек пропал на больше, то это уже его проблема.
Насчет 5. Я думаю это технически можно доказать. Например заходя через разные proxy (один США, другой Европейский, третий Азиатский) получать одинаковое время доступа (благодаря тому что в каждом регионе своя копия этих данных).
Это я так… навскидку. Для того, чтобы доказать, что храниться в разных местах.
И копию подписанного контракта с внешней фирмой, что в случае банкротства все оборудование и данные переходят той фирме и она обязана поддерживать инфраструктуру минимально в течении X месяцев.
Где-то так.
5. Ну пофиг, для всех регионов одинаковый ответ до tier провайдеров ))) И ты получаешь практически одинаковый отклик ))
6. Правопреемник назначается только если была покупка, в случае если банкротство, то назначается кризис-менеджер. Так что по любому будут действия.
Насчет 5). Это я так навскидку. Думаю вполне можно вычленить характеристику, которая доказывает, что копии данных хранятся в разных местах.
6). Возможно. Но думаю контрактом таки решается.
Советую взглянуть на Wuala.com, если готов расшарить для других место на своих дисках.
Ну вуала — это хорошо, но только всё таки это не online-backup, и со стораджем проблемы, нет стопудовой гарантии, что все чанки окажутся в нужный момент. Актуально конечно, если свой вуаля сторадже упал на мертво.
Как это не online-backup? см. http://www.wuala.com/en/support/faq/c/32
С доступностью еще тоже ни разу проблем не было
«These encrypted, redundant fragments are then stored in our European data centers and in the Wuala cloud. We make sure that your data is always safe. A complete backup of your encrypted files is always kept on our servers, so that it can always be accessed and restored.»
Сам пользуюсь вуала, не знаю, как сейчас но пару лет назад, когда отключаешь локальный сторадж, вытянуть данные с других пиров было ну очень долго. Я два гига тянул день.
Надо попробовать сейчас, но тогда мне такая ситуевина не понравилась. Поймите меня правильно, если я буду ждать возврата данных сутки два гига, я потеряю всё. У меня по скромным оценкам необходимой инфы (критически важной) — около 200Gb.
Пунктам 1,2,4 (мой любимый:) crashplan удовлетворяет, остальное — не знаю.
Думаю, что вы пропустили еще один пункт, чтобы они платили вам за свое использование баксов 100 в месяц. Ну хотя бы 50. А то что, все остальное перечислили, а это — забыли. :-/
В детстве моем босоногом после такого списка обычно кто-то добавлял всегда: «Ага, карандаш и пуговку на нос»
А в нынешнем взрослом возрасте я обычно говорю: «Будьте реальнее».
Как бы вы отнеслись к следующим нескольким предложениям 10 лет, 5 лет а может и 3 года назад:
> Хочу комп с 4 процессорами, 8Gb памяти и 1Tb винтом за $700.
> Хочу unlimited wireless internet за $30/месяц
> Хочу робота, который бы мне пылесосил квартиру и стоит $200.
Карандаш и пуговку на нос? Будьте реальнее?
Ну, что же, сейчас все это реально.
Абсолютно большинство моих требований не являются космическими технологиями. Даже если что-то не реально сейчас, то через пару лет оно может быть выполнено с легкостью.