«Когда каждый день как DDOS. Крупнейшие китайские сайты»

Раздел: Социальные сети

Вот есть в России VK и Яндекс. Всё у них замечательно, молодцы вообще ребята: и предельно высокая посещаемость, и сложность инфраструктуры, и применяемые технологии, но в мире они не столь популярны. Вот и Китай у большинства любителей, из тех, чей взгляд устремлен в Калифорнию, где каждые 3 месяца появляется hitech-компания в миллиард долларов, в картине мира просто отсутствует. Эта страна во многих вопросах, где дело касается количества, необычная, постоянно ведь на слуху города Китая, метро, мосты, порты; так вот я тут — о массивных китайских сайтах. Сравнивать с DDOS как атакой глупо, та совсем разная и она не обыденность, но есть сайты где инфраструктура заточена для миллионов, хотя бы только поэтому они показались мне интересными.

baidu.com

Лидер не только китайского интернета, но и мирового (хотя по некоторым численным показателям это почти синонимы), Baidu находится сразу за Google, Facebook, Youtube и Yahoo. Baidu — это внутренняя замена Google, и поиска и многих-многих других сервисов от карт и википедии до Google Drive (и да, у него есть свой форк Chromium и Android).

А это четвертое поколение Baidu Maps, например

В китайском интернете вот-вот будет половина населения, в сети около 600 млн. пользователей по разным данным. С помощью Baidu ищет подавляющее большинство этой аудитории (83%), что переходит в $500 млн. чистой прибыли в III квартале 2012 и шестнадцать тысяч сотрудников в штате. И бренд есть и всякие красивые офисы, конференции и свой небоскреб, планируемый к 2015.

проект Baidu Science and Technology Campus

У Baidu R&D есть какой-то блог baidu-tech.com со статьями вроде Intelligent algorithm in site quality rating system или очень даже неплохая статья "почему php такой медленный" на китайском. Даже если взять то, что у Baidu нет конкурентов из-за особенности страны, очевидно, что он бы просто не смог функционировать с таким количеством пользователей, не применяя и не пользуясь передовым опытом. Нельзя просто так взять и нанять сто тысяч китайцев, чтобы обслужить много http-запросов.

Например, новый дата-центр Baidu — один из самых больших в мире (по количеству инвестиций в 1.6 миллиарда самый). 700,000 CPU на 120 тысячах квадратных метров. Построен будет вроде как на инфрастуктуре opencompute.org, рожденного в фейсбуке. Но даже сейчас у них сотни дата центров и CDN нод по всему Китаю, чтобы обслуживать миллиарды запросов.

На таких CDN крутится как обычно всякая статика, tangram.js например —jquery-подобная javascript библиотека для разработки фронтенда, «эффективная и надежная». И подобно тому как у jquery есть jquery UI, так и тут имеется Magic. А сам tangram из примеров выглядит знакомо, и понятно почему заимствует стиль всем известного API:

function request() {
	baidu.ajax({
		url: '../../demos/baidu.ajax()/sleep.php',
		type: 'POST',
		data: {
			time: baidu.dom('#sleep-time').val()
		},					
		async: baidu.dom('#chk-async').attr('checked') === 'checked',

		success: function(responseText){
			baidu.dom('#status').html(responseText);
		}
	});
}

baidu.dom('#request').on('click', function(){ baidu.dom('#status').html('...');setTimeout(request, 50);});

Baidu поисковый гигант в первую очередь. Он спонсор распределенного хранилища HyperTable, клона BigTable. Утверждается, что HyperTable значительно быстрее HBase II на всех тестах, кроме случайного чтения равномерно распределенных ключей (the random read uniform test), где они на равных.

taobao.com

Китайский Amazon, хоть пока и уступающий в списке Alexa Top Sites оригиналу одну позицию (#11), но со строго положительной динамикой. Полмиллиарда зарегистрированных пользователей, 213 млн. из которых посетили сеть taobao.com в течение суток. Представьте себе что такое интернет магазин: это много статики, страницы с несколькими десятками изображений (как например эта), пользовательскими сессиями, процессами заказа и оформления товаров, алгоритмами рекомендации. 11 ноября на сайте этой сети tmall.com была распродажа, зафиксировавшая 10 млн. посетителей, пришедших за первую минуту, купившие за сутки товара на 3 миллиарда долларов. Всю эту статистику, кстати, выложили в китайский же аналог твиттера, weibo, в виде инфографики, которая очень даже забавная.

Снова PHP на главной странице, www.taobao.com/index_global.php

Однако php здесь только на фронтенде. Бизнес-логика написана на Java и судя по всему частично на Lua (иначе зачем модуль ngx_lua). Код многих вещей открыт code.taobao.org и можно видеть как связано одно с другим.

У taobao весьма интересный веб-сервер с открытым исходным кодом — tengine. Например, там есть динамическая загрузка модулей без перезапуска сервера, встроенный файрволл, ngx_lua, конкатенация статики nginx-http-concat ( когда-нибудь и ngx_pagespeed выйдет из альфы). Или распределенная файловая система TFS (как обычно в таки случаях high availability, high performance and low cost), также доступная под GPL 2.0. В README svn-репозитария даже предлагают присоединится к разработке.

В 2010 году поисковый гигант Baidu и японский Rakuten вложили $50 млн. в свой гигантский интернет-молл, но, не выдержав конкуренции, в 2012 его закрыли.

weibo.com

Ставший уже культовым, китайский аналог твиттера, который к слову даже в чем-то превосходит своего американского собрата. Недавний пик твиттера во время выборов — 327,452 сообщений в минуту, у weibo.com ещё в начале нового 2012 года было 481,207. Вообще говоря, Weibo обозначает микроблог и в Китае помимо собственно Sina Weibo (http://weibo.com), есть и Tencent Weibo (http://t.qq.com/) и Netease (http://163.com). И это не просто копии, у каждого проекта очень большая аудитория, по итоговому количеству зарегистрированных пользователей у Sina 368 миллионов, у Tencent 469, у Netease Weibo 200 млн. Дневная активная аудитория приблизительно в десять раз меньше. Twitter больше с некоторыми оговорками — 500M+ пользователей, из которых активных 170M (techcrunch).

В Китае судя по всему очень мало хипстерского, академического и гиковского, но очень много разного php. Вот, например, один из ведущих разработчиков PHP core team перешел из Baidu в Sina Weibo.

Свежий октябрьский редизайн Sina Weibo

Sina Weibo не только богата возможностями для пользователями, но и довольно современна технологически. Согласно блогу другого разработчика (http://timyang.net/) первая версия weibo была полностью построена на стандартном стеке LAMP (MyISAM). Вторая уже была архитектурно разделена на несколько слоев, использовала асинхронные сообщения, memcachedq, innodb в MySQL. Позднее weibo начинает использовать в больших количествах Redis, Percona, обработку падений, для каждого из слоев свое api, в презентации приводятся многие-многие тонкости, например в json-сериализации в java, бенчмарки. А ведь на подходе пятая версия. Презентации с www.qconbeijing.com/2011/ сложно понимать, хоть и очень хочется, потому что они на китайском и не переводятся на английский так легко, как обычные страницы.

qq.com

Девятый в рейтинге Alexa, один из самых посещаемых интернет-порталов Китая принадлежит Tencent Holdings. Пик одновременно подключенных к QQ Messenger пользователей больше 100 миллионов пользователей (Skype в октябре достиг только 45M). Протокол QQ protocol закрыт, но reverse инжиниринг решает, поэтому поддержка есть во многих мессенджерах. Причем 30 млн. пользователей QQ-сервисов — пользователи с платными аккаунтами.

Tencent, как упомянуто выше, также имеет и самый большой по количеству пользователей аналог твиттера, или, например, PaiPai.com — аналог аукциона ebay.

Qzone.qq.com просто поражает воображение. Это 700 млн социальная сеть. В неё загружают по 200-300 млн. фотографий в день, половина из которых — через мобильный клиент. Показатели сравнимые с Facebook.

youku.com, renren, kaixin и другие

youku.com — замена для Youtube. Есть свои сервисы и Baidu, и у Tencent. У каждого по несколько сотен миллионов часов просмотров за август, но Youku всё равно самый крупный. У него недельная аудитория в 310 миллионов уникальных посетителей (у Youtube месячная аудитория 800M).

Понятно, что какую бы нишу сайт не занимал, если он находится вверху, это автоматически означает миллионы пользователей. Очень надеюсь, кто-нибудь добавит больше конкретики — за счет чего китайцы делают сайты, выдерживающие запредельные нагрузки, только лишь благодаря своему менталитету? и почему в мире о них так мало разговоров.

Дата публикации: 2012-11-16

Источник