Я думаю, багато хто з тих, хто читає цю статтю знають що таке Amazon S3 ?

Для інших коротко поясню: це така система, яка дозволяє вам зберігати не обмежені обсяги інформації за досить невеликі гроші.

Ви можете використовувати S3 для зберігання своїх особистих даних, бекапов, відео, фото, контенту, завантаженого користувачами вашого сайтів і т. Д. Це дуже зручно і ряд CMS, наприклад 1С-Бітрікс , Мають вбудовані засоби роботи з Amazon S3. При цьому надійність зберігання даних на амазон дуже висока (як вони ж самі заявляють: 99,99%. Ну і сама хмарна технологія зберігання даних до цього схиляє).

Правда є нюанс: Amazon S3 - це не звичайний віддалений диск або сервер, з віддаленим доступом .. Це навіть не Яндекс.Діск або dropbox, до яких багато хто звик. До Amazon S3 можна підключитися класичними ftp, sftp або подібними способоми. У Amazon S3 є своє API для управління даними, яке при цьому має ряд обмежень. Наприклад, там можна змінити файл. Ну ось в класичному вигляді це зробити не можна. Тільки скачавши весь і завантаживши назад. Хоча API постійно розвивається, з'являються нові можливості. Але при цьому, працювати як з віддаленим дисків в вашому улюбленому фтп клієнта не вийде. Робота з файлами в Amazon S3 будується за зовсім іншими принципами, ніж робота на рівні файлової системи. Немає класичних "папок", а всі файли ви можете розбити по, так званим, bucket, що на російську перекладається, як "відро".

Свого часу у нас вже був досвід роботи з Amazon S3: ми підключали bucket для зберігання великого обсягу даних нашого корпоративного порталу, за допомогою спеціальних прийомів монтували на нашому debian сервері і за допомогою штатного механізму бекапірованія панелі управління хостингом, зберігали там сотні гігабайт бекапов.

Тому, само собою, для зберігання резервних копій в рамках нашої послуги "Комфорт" ми вибрали Amazon S3.

Бекапи скачували на локальне сховище, а потім заливалися в два різних bucket, які були географічно дуже сильно рознесені (надійність понад усе!). Для роботи з амазоном ми використовували програму DragonDisk (Програм багато, але знайти стоїть не так вже й легко).

На жаль, коли ми переїхали в новий офіс, прийшов кінець і нашому каналу в 100 мб / c. В замін довелося задовольнятися каналом всього в 20 мб / c. Ось тут то і почалися і проблеми із закачуванням бекапов на Amazon S3. Частина файлів не закачувалися, "відвалюючи" з помилками. Доводилося раз по раз повторювати завантаження помилкових файлів. При цьому в кожен новий запуск кількість помилкових файлів зменшувалася, але дуже повільно. А так як як файлів зазвичай було близько сотні і їх загальний обсяг був 30 і більше гігабайт, то все це ставало великою проблемою і нашої головним болем. Ми вже відмовилися від заливки в кожен bucket з локального сховища. Заливали в одне, а потім засобами панелі управління Amazon S3 копіювали в інший. Але це було не вирішення проблеми, а обхідний маневр, який не дуже то й допомагав. Найчастіше до наступного тижня ми не встигали вивантажувати ще минулого тижня бекапи (при цьому повторний запуск проблемних файлів на завантаження в день проводився рази два-три).

Було прийнято рішення примонтировать, як на старому доброму debian сервері, сховище Amazon S3. Але проблема залишалася, тільки тут ми навіть не мали "живого" списку невдалих спроб завантаження і не могли легко перезапустити вивантаження.

Гугленіе проблеми не приносило результатів. На подив в інтернеті в переважній більшості знайдених випадків люди захлинаючись розповідали який Amazon S3 класний, як з ним здорово працювати, як його налаштовувати і т. П. Але ні слова про проблеми, про їх вирішенні. Все що говорилося про проблеми - носило уривчастий характер і допомогти чим-небудь нам не могло.

Було розуміння того, що необхідна система, програма, яка б дуже делікатно працювала з Amazon S3 і мала дуже хорошу систему корекції помилок.

Після довгих пошуків, проб і помилок нами була знайдена програма CloudBerry Explorer for Amazon S3 . Програма має платну і безкоштовну версію. Основна відмінність платної версії: можливість завантаження файлів більше 5 гб (обмеження S3 - один файл не може важити більше 5 гб), що теж корисний і потрібний функціонал (бекапи часто перевищували ці 5 гб, а використання багатотомних архівів пов'язане зі своїми труднощами).

Зараз ми використовуємо CloudBerry Explorer і все ітерації зводяться до того, щоб запустити вивантаження на перший bucket, потім запустити вивантаження на другий bucket. Так, помилки завантаження теж бувають і тут, але дуже рідко і як правило з сотні це один, два файли. Цілком це може бути провиною проблем в офісній мережі, до того ж.

Оцініть статтю: