Недавно знайшов одні дуже цікаві міркування про перехід з HBase на Cassandra.
Обидві технології використовуються для роботи з великими розподіленими масивами даних. Кожна має свої нюанси та архітектурні рішення. За основу HBase взято підхід Google до роботи з великими масивами даних, за основу Cassandra взята робота Amazon.

Між іншим, недавно Twitter також перейшов на Cassandra.

Цікавий суб'єктивний опис відмінностей між двома провідними cloud SQL платформами. Підсумування досить типове: якщо це типовий проект без специфіки, тоді якщо ви вже зв'язались з LAMP-о подібними платформами, тоді Amazon RDS, якщо Miсrosoft платформи, тоді SQL Azure.

После статьи об архитектуре connect.ua многие спрашивали о подсистеме обслуживания медиа файлов, поэтому в этой статье речь пойдет о масштабируемых и производительных системах обслуживания медиа.

Что такое подсистема хостинга медиа вообще? Это часть системы, которая отвечает за загрузку, сохранение, преобразование (транскодирование) и отдачу медиа файлов. Зачастую эта система является наиболее ресурсоемкой ввиду больших объемов данных и процессорных затрат.

Читать о том, как построить масштабируемую систему хостинга медиа.

Connect.ua — це перший український соціальний сервіс. За два роки проект виріс у досить великий, а отже має свою власну історію масштабування і зростання.

Під час росту ми перепробували велику кількість технологій та підходів, якими я і хочу поділитися в цій статті.

Connect.ua — история роста

Twitter.com — архітектура і масштабування

У цій статті поговоримо про один із найбільш гучних і зростаючих проектів — Twitter.com (далі — Твіттер).

Розробка і розвиток цього проекту збігається із класичною схемою вдалого стартапу. Стартував проект з простенького прототипу, написаного нашвидкоруч на платформі Ruby-on-Rails. Після цього в проекті була зроблено величезна кількість змін в архітектурному і технічному плані. Твіттер не раз стикався і долав проблеми швидкого зростання навантаження.

Розробники Твіттер діляться своїм досвідом.

Читати про архітектуру і масштабування Твіттера (рос.)

Для начала, некоторые поразительные показатели проекта Ebay.com:

— Более 89 миллионов активных пользователей
— 190 миллионов товаров в 50 тыс. категорий
— Более 8 миллиардов URL запросов в день
— Большая динамика развития — сотни новых функциональных улучшений каждые 3 месяца
— 39 стран, 9 языков, 24 часа в сутки, 7 дней в неделю, круглый год
— 70 миллиардов операций чтения/записи в день
— Обработка 50 Тб данных в день
— Анализ 50 Пб данных каждый день

Дальше — 10 основных правил масштабирования от Ebay + презентация

Як стало відомо, Google переходить з Tomcat на більш легкий Jetty для свого cloud рішення App Engine.
Tomcat та Jetty є сервлет контейнерами які відповідають відповідним Java специфікаціям. Tomcat є більш «важчим», Jetty є більш «легшим».
Основні причини:
1) Менші потреби памяті
2) Більша архітектурна гнучкість (можна легше міняти частини контейнера)
3) Ширше впровадження як вбудований сервер до фреймворків

Ось так. Працював з обома контейнерами, не можу сказати нічого поганого ні про один з них. Google просто вибрала що краще підходить до даного випадку.

Цікавий опис підходу до поєднання MySQL+Memcached коли сервери є розподілені географічно. Описані проблеми цілісності кешу та проблеми, які можуть виникнути коли буде розсинхронізація даних.

Вийшла нова версія одного з найпопулярніших рішень для кешу при розробці для вебу — memcached 1.4.0.
Головні зміни:

• Бінарний протокол, який зменшує розмір запитів
• Нові статистики
• Дещо покращена швидкодія
• Декілька виправлених багів

Детальний список зміни доступний на сайті.
Завантажити нову версію memcached можна з того ж сайту.

Вийшла нова версія потужної платформи для масштабованих аплікацій GigaSpaces 7.0 XAP.
GigaSpaces використовується як in-memory база даних з можливістю паралельної обробки даних. Реалізація дозволяє добитись дуже хороших показників масштабованості, хоча і вимагає використання API яке є розширенням JavaSpaces API. GigaSpaces доступне як для Java так і для .Net платформ.

Зміни у новій версії:

• Cутєво покращена продуктивність
• Зменшено використання пам'яті на 50%. Тобто можна вміщати на 50% більше на одному вузлі
• Сутєво покращене локальне читання з партицій
• Нове адміністративне API
• Покращено підтримку стандартів Java EE. Відтепер немає необхідності спеціально модифіковувати WAR файли
• Покращено роботу Map/Reduce на спейсах(spaces)
• Вдосконалено асинхронні операції

Більш детальніший список доступний на офіційному блозі компанії.

GigaSpaces є платний, але доступні Community версії, які дозволяють безкоштовно ознайомитись з можливостями платформи.
Завантажити платформу можна з офіційного сайту.