четверг, сентября 27, 2007

HighLoad2007

Обещанный пост о том, как прошел HighLoad. В целом мне понравилось, было интересно.
Хотя присутствовал там определенный бардак: и регистрация началась не сразу, некоторое время все толпились в предбаннике. Доклады отменялись, передвигались. Некоторые докадчики приходили без слайдов и были явно не готовы.

Доклады выложены на RuTube, похоже пока не все, но разберут их еще, я думаю. Я приведу некоторую выжимку из тех докладов, которые были подготовлены и прочитаны хорошо. И ссылки я ещё поставила на те, что нашла на RuTube, на остальные поставлю, когда они там появятся.

Павел Кудинов рассказывал о том, как он любит XML, как XML ему работать и жить помогает. И о том, что он любит REST. Я уже было успела порадоваться за человека, но тут он с гордостью упомянул, что занимается поисковым спамом и радоваться стало сложнее. В процессе доклада он препирался с ребятами из Яндекса, у них получилась грустная такая перепалка.

Анатолий Орлов из Яндекса рассказывал про высокие нагрузки в поиске. Это был один из самых популярных докладов и, пожалуй, самый лучший. Вначале он упомянул, что это не рекламный доклад, а честный. Вообще, да, народ любит скрывать нелицеприятные подробности и рассказывает не о том, как у них все работает, а о том, как оно должно работать...
Что было в докладе. Цифры, цифры, они всех очень интересуют. Точных цифр он не называл, ну чем богаты, что называется...
~30 млн запросов в день
~3 млрд документов.
Покупают самое дорогое серийное оборудование.

Что касается высоких нагрузок - рассказал, что среднее время ответа мерять бесполезно, получается что-то вроде средней температуры по больнице. Они меряют другими способами, которых у них две штуки.
Анатолий выложил слайды своего доклада, очень рекомендую посмотреть, там и про архитектуру хорошо написано, со схемами, о которых вот так кратко не расскажешь, и графики красивые нарисованы.
Там же можно посмотреть слайд, жестоко зацензуренный организаторами.

Тимур Хайруллин (он опять же из Яндекса) рассказывал про нагрузочное тестирование. Из интересного - в Яндексе используют открытые софтины для тестирования плюс пишут свое.
Поиск яндекса здоровый, его копию для тестирования поднять не получится. Тестируют на некой минимальной модели.
Еще Тимур упомянул, что Ajax позволяет уменьшить нагрузку. В зале бубнили, что это не очевидно, и вообще должна бы она, наоборот, повышаться.
Рассказал какое бывает тестирование, чем различается: Performance testing, load testing, stress testing...

Все яндексоиды упоминали, что предпочитают открытый софт, потому что если чего не работает, то можно зарыться в код и поправить. Если чего не работает в дорогущем закрытом софте, то вы посылаете запрос, вам приходит пафосный ответ, что обязательно починят, дальше его перенаправляют аутсорсерам в Индию, где вашу просьбу всего лишь через год выполнят, попутно привнеся новые, свежие интересные баги.
Именно поэтому, они, например, отазались от идеи балансировать загрузку дорогой железкой, а используют для этого IPVS.

Доклад "Хранение и обработка сверхбольших объемов информации".
Интересное решение, не похожее на современные базы данных. Коротко рассказать сложно, лучше послушать целиком. Доклад вызвал много вопросов в зале.

"Инструменты тестирования производительности"
Павел Липский из Рамблера упомянул два: ApacheBench и Apache JMeter. Этот доклад хорошо послушать после доклада Тимура.

Микрософт пытался всех убедить, что Линукс очень дорогой в поддержке, дороже решений от Микрософт. "Если у вас что-то не получится, мы вам поможем". Гики слушали это мрачно и с недоверием. "Ага, уж мы вам медом намажем" - прошептал кто-то у меня за спиной.

Выкатка кода в больших проектах. Доклад не состоялся, поэтому организаторы быстро собрали людей из Яндекса и Рамблера и посадили их отвечать на вопросы. Чего рассказали: в Яндексе используются Дебиановские пакеты, в Рамблере используется какая-то самописная пакетная система. Всё.

Несколько отличался от других доклад "Многоуровневые мониторинг веб-систем класса mission-critical". В основном все рассказывали про какие-то монструозные проекты, здесь речь шла о сравнительно небольшом проекте, который, тем не менее, довольно-таки нагружен и должен работать четко, бесперебойно.
Чего делают: прогоняют регурярно сценарий, который имитирует поведение пользователя. Если чего-то не работает, шлют админам СМСки. Они еще время от времени проверяют реакцию админов - ложные СМСки посреди ночи шлют. Эта информация вызвала оживление в зале. Доклачик сказал, что "это некоторое изуверство" и "это вызывает эмоции и не всегда позитивные".


По организации: два просторных зала, прекрасного качества еда, но... Народу раза в два больше чем туда можно уместить. Из-за этого было очень тесно, на кофе-брейках была давка. А вот то, что на английских лекциях был синхронный перевод - это плюс! Никогда такого не видела. Обычно так: не знаешь английский - ну тебе просто не повезло.


А это теплоход, который приобрел уже широкую известность :-). Там кормили на убой и давали бесплатное пиво.

Еще куча фоток с HighLoad2007.

15 коммент.:

Михаил Елашкин комментирует...

Наверно мне не повезло. Сколько не включался в трансляцию - ничего хорошего в первую половину первого дня не увидел. Либо "общий треп", либо, этот товарищ вообще порадовал, расказы о том, что реляционные СУБД вообще гадость и они их не используют, т.к. СУБД плохо строки сравнивают и матрицы перемножают ))

Алёна комментирует...

>Наверно мне не повезло. Сколько не включался в трансляцию - ничего хорошего в первую половину первого дня не увидел.

Действительно не повезло :-(
Самое время посмотреть записи выступлений, на которые я привела ссылки :-).

virens комментирует...

В общем, организация любой конференции или даже встречи - большая трата сил и нервов. А такой масштабной - тем более.

Спасибо за обзор докладов, некоторые заинтересовали, почитаю.

Pento комментирует...

Интересный отзыв. Жалко, что получилось посеитть это мероприятие.

Renny комментирует...

Спасибо за интересный обзор, Алёнушка. Ждём продолжения ;)

Dmitri Kuzmenko комментирует...

насчет Яндекса - скорее всего такие знания почти никакого опыта не дают, разве что при построении альтернативы яндексу :-) да и то.
Поэтому цифры и архитектуру раскрыть можно, т.к. применить это по факту или нельзя, или некуда, или не подойдет.

GiNeR комментирует...

Огромное спасибо!
Самое приятное из прочитанного: Яндекс предпочитает OpenSource. Но при этом их jabber-сервисы (погода, пробки) к сожалению будут работать только с их собственным клиентом.
Самое наскучившее - это MS. И так все банеры кричат "мы лучше, мы лучше, верьте нам".

Alexey Bobyakov комментирует...

А что случилось с проектором к докладу Тимура? Тимур, как всякий хороший тестер, умудрился поломать его только одним своим присутствием? :)
P.S. Доклад про архитектуру Яндекс.Поиск действительно очень интересный.

Алёна комментирует...

>А что случилось с проектором к докладу Тимура? Тимур, как всякий хороший тестер, умудрился поломать его только одним своим присутствием? :)

Ага, типа того :-)
На самом деле проблемы были не с проектором. На экране, рядом с которым я сидела, тоже цвета неправильные были.

Abu комментирует...

Чисто по-юзерски - а какая разница - что там использует Яндекс, если на первых страницах у него - сплошь реклама? (:

А за хороший рассказ - спасибо.

BMWfan комментирует...

Эх жалко что не получилось посетить данное мероприятие. Фотографии кстати почему-то не отображаются.

djdron комментирует...

А про как впечатления от "Exception #06" ? :)

Алёна комментирует...

2Abu
Чисто по-юзерски - а какая разница - что там использует Яндекс, если на первых страницах у него - сплошь реклама?

Тем не менее, это весьма успешная компания. Передовые технологии и все такое. Причем довольно открытая компания, остальные вот так запросто о своих технологиях не рассказывают.

2BMWfan
Фотографии кстати почему-то не отображаются.
Ээээ... Это единственная такая жалоба. Должны отображаться...

2djdron
как впечатления от "Exception #06" ? :)
Впечатления тут.

Виталий комментирует...

Может ли кто-нибудь сделать зеркало для видео на youtube?
С rutube очень тяжко смотреть и не удается сохранить.

djdron комментирует...

2Abu
Чисто по-юзерски - а какая разница - что там использует Яндекс, если на первых страницах у него - сплошь реклама? (:
Так google тоже вставит :)
https://adwords.google.com.ua/select/Login?hl=ru