Серверное администрирование

Запуск WebRTC медиасервера в облаке Amazon EC2 для Live видеотрансляций из браузеров и мобильных приложений

AWS Marketplace

Прежде всего хотелось бы сказать несколько слов о маркете Amazon AWS Marketplace. В отличии от Google Play и App Store, где выкладываются мобильные приложения, на AWS разработчики выкладывают серверные приложения. Здесь можно найти много интересного, начиная от бесплатного стека LAMP и заканчивая серверными Enterprise-решениями вроде SAP.

Прелесть работы с маркетом кроется в быстроте и удобстве развертывания. Требуемый сервер приложений, как правило, уже настроен, оптимально сконфигурирован и будет запущен во время запуска самого EC2 инстанса (виртуального сервера Amazon EC2). Запуск инстанса происходит из веб-интерфейса и не требует каких-то дополнительных админских знаний и умений.

Скилы по администрированию Linux, впрочем, могут потребоваться позже, во время эксплуатации. Но согласитесь, это определённо приятно — взять и начать работать, пропустив все этапы инсталляции и настройки и сэкономив час-другой времени на всякий troubleshooting и прогулки с бубном по граблям. В результате получаем живой сервер с требуемым функционалом, предварительно настроенный и уже работающий.

Подробнее

Поднимаем собственный торрент-трекер на Centos

Зачем нужен собственный торрент-трекер – вопрос не стоит. Причины могут быть разные. Поэтому сразу перейду к делу.

Вероятно, все крупные трекеры пишутся на заказ, либо индивидуально «допиливаются» известные движки. Когда стоит цель поднять собственный, например локальный трекер, чаще всего требования к нему не будут очень уж высокими, и остаётся выбрать нужный вариант из всех доступных, с перспективой на развитие.

Примерно так думал я, рассматривая и оценивая каждого кандидата. Свой выбор я остановил на TorrentPier II. Оценивая плюсы и минусы следует отметить привычный для пользователей интерфейс, схожий с небезыствестным Rutracker-ом, и техническую поддержку, пусть и в виде форума. Трекер, после небольшой настройки, без проблем работает у меня уже более года.



Подробнее

Squid + Dansguardian + c-icap + ClamAV на базе CentOS 7

Цель статьи

В Интернете доступно некоторое количество статей по настройке антивирусной защиты в связке squid + ClamAV, но нет полного материала по настройке полной связки под CentOS 7. В рамках данной статьи будет показан процесс настройки прокси сервера со следующими возможностями:

• фильтрация сайтов и ссылок по категориям;


• антивирусная защита.

Аудитория

Системные администраторы Linux



Введение

Большая часть операторов связи сейчас уже предоставляют маршрутизируемый доступ в Интернет, где фильтрация и антивирусная защита входящего траффика несколько более проблематична. В случаях, когда требуется ограничить пользователям доступ к определенным сайтам по категориям или по URL, а также требуется реализация проверки входящего веб-трафика, то в этом варианте использование прокси сервера является самым простым решением.

Squid на сегодняшний день является наиболее функциональным прокси сервером, который поддерживает большое количество возможностей. Для реализации антивирусной защиты предлагается использовать ClamAV – открытая реализация средств антивирусной защиты. Фильтрация контента по категориям будет реализована средствами Dansguardian.

Подробнее

Настройка Nginx с Let's Encrypt на CentOS 7

Наверно, многие уже в курсе, что компания Let's Encrypt раздает бесплатные SSL-сертификаты на https://letsencrypt.org. Как же его получить и настроить на своем сервере под управлением CentOS 7 и Nginx?



Введение

Давайте его получим. Let's Encrypt это новый центр сертификации (CA), который позволяет простым способом бесплатно получить и установить TLS / SSl сертификат, позволяя нам шифровать HTTPS трафик на ваших веб-серверах. Этот процесс уже автоматизирован программой letsencrypt, но, к сожалению, только под управлению веб-серверами Apache.

В этом уроке я покажу вам, как получить SSL сертификат под Nginx, CentOS 7. Также настроим автоматическое продление сертификата, так как он дается на 90 дней.

Шаг 1 — Установка клиента Letsencrypt

Итак, что мы имеем:
— Веб сервер под управлением CentOS, Nginx;
— Установленные программы Git, Bc.

На всякий случай:

sudo yum -y install git bc

Подробнее

Компиляция и подключение динамических модулей nginx



Эта статья расскажет, как скомпилировать и установить динамические модули в nginx в текущую его установку.

Я думаю, многие сталкивались с ситуацией, когда нужно установить веб-сервер, да причем хороший, к тому же с нужными модулями. Для этого nginx подходит как никакой другой лучше. И что же вы скорее всего делаете, особенно, если ставите его в первый раз? Набираете

apt-get install nginx

или

yum install nginx

Потом вы осознаете, что вам хочется попробовать модуль с http2, использовать модуль echo или добавить поддержку обработки скриптов Ruby, подключив к nginx модуль Passenger.
Если вы до этого работали с Apache2 — вас ждет разочарование. Нельзя просто так взять и поставить модуль из репозитория и активировать его в консоли (a2enmod).
С версии 1.9.11 nginx поддерживает динамические модули. Они устанавливаются не так просто, как с Apache, но это не сложно и сейчас мы это разберем.
Конечно, существуют уже готовые динамические модули от самих разработчиков nginx, которые можно поставить из репы:

sudo apt-get install nginx-module-geoip

Но здесь речь идет о модулях от третих лиц.

Подробнее

Видео докладов с Docker митапа



18-го июня мы провели Docker митап, а сегодня публикуем видео докладов.

Познавательного вам просмотра!

«Docker в Badoo: ПМЖ или временная регистрация», Антон Турецкий, Badoo



“Сеть в Docker”, Константин Назаров, Parallels



«Мониторь, автоматизируй Docker», Илья Раудсепп, Badoo



“Проникновение в Docker с примерами”, Дмитрий Столяров, Flant



Подробнее

Автоматизация развертывания Docker-контейнеров на произвольной инфраструктуре



Контейнеризация приложений сегодня является не просто модным трендом. Объективно такой подход позволяет во многом оптимизировать процесс серверной разработки путем унификации поддерживаемых инфраструктур (dev, test, staging, production). Что в итоге приводит к значительному сокращению издержек на протяжении всего цикла жизни серверного приложения.

Хотя большая часть из перечисляемых достоинств Docker является правдой, тех, кто на практике столкнется с контейнерами, может постигнуть легкое разочарование. И так как Docker не является панацеей, а всего лишь входит в список из «лекарственных средств» от рецепта автоматического деплоя, разработчикам приходится осваивать дополнительные технологии, писать дополнительный код и т.д.

Разработкой своего собственного рецепта автоматизации конфигурирования и разворачивания контейнеров на различные инфраструктуры мы занимались в последние несколько месяцев, параллельно с коммерческими проектами. А полученный результат практически полностью удовлетворил наши текущие потребности в автодеплое.

Выбор инструмента



Когда впервые возникает потребность в автоматическом деплое Docker-приложений, то первое, что подсказывает опыт (либо поисковик) — это постараться приспособить для этой задачи Docker Compose. Изначально задумывавшийся как инструмент для быстрого запуска контейнеров на тестовой инфраструктуре, Docker Compose, однако, можно использовать и на бою. Еще один вариант, который рассматривался нами в качестве подходящего инструмента — Ansible, имеющий в своем составе модули для работы с контейнерами и образами Docker.

Подробнее

Бесплатный кластер (Proxmox + Nexenta)

Наверное многие из нас, решая задачу организации небольшой IT-инфраструктуры, сталкивались с проблемой выбора гипервизора. Каким функционалом должен обладать софт и сколько за это стоит платить? А будет ли та, или иная часть решения совместима с тем, что уже есть?
И как бы, всё это погонять на стенде, чтобы убедиться в правильности выбора?
С учетом курса одной, всем известной валюты, хочется чего-то простого, без излишеств и, по возможности, бесплатного. Тем более, когда речь идет о малой или средней компании (стартапе), ограниченной в бюджете.

Что нам требуется?

• Совместимый с оборудованием гипервизор


• Кластер, с доступом к админке через веб-интерфейс


• High Availability для виртуальных машин в кластере


• Функция бэкапа и восстановления из коробки


• Доступность для понимания и работы среднему администратору (вчерашнему школьнику-студенту).

Из Open-Source решений, наиболее простым в установке и настройке является Proxmox. Чтобы не оскорблять любителей oVirt и пр. (это не рекламная статья), оговорюсь, что изначальное требование к простоте установки и администрирования, на мой взгляд, у Proxmox все же более выражено. Также, повторюсь, у нас не ЦОД, а всего лишь кластер из 2-3 нод для небольшой компании.
В качестве гипервизоров он использует KVM и LXC, соответственно держит KVM ОС (Linux, *BSD, Windows и другие) с минимальными потерями производительности и Linux без потерь.

Подробнее

Обновление ProxmoxVE 3.4 до 4.

К сожалению, в русском языке плохо передаётся разница между плановым обновлением в рамках релиза (update) и прыжком на другую версию (upgrade). ProxmoxVE нужно было обновить с версии 3.4 на 4, а под его капотом Debian 7 на Debian 8, так чтобы никто не заметил.

http://vasilisc.com/upgrade-proxmox-3-4-to-4

Настройка отправки почтовых уведомлений в Zabbix на CentOS 7

Вроде бы и задача не самая новая. И статей в гугле воз и маленькая тележка. Но почему то у меня ушла почти неделя на все эксперименты и топтания по всевозможным граблям.

Итак, задача: Сервер CentOS 7, установлен комплект LEMP, установлен сервер Zabbix 2.4.6. Нужно настроить отправку уведомлений админам на почту.

Оговорка — CentOS ставился по методу «секс и еще раз секс» — minimal installations. Ввиду этого некоторые пакеты «должные быть из коробки» не работают, ибо их никто еще не поставил.

После курения ряда мануалов стало понятно, что для отправки почты нам надо, как минимум, почтовую прокладку умеющую SMTP с авторизацией и скрипт для Zabbix.

В качестве почтового клиента используем ssmtp.

yum install ssmtp

Затем в /etc/ssmtp/ssmtp.conf

root=mailbox@mail.server #почтовый ящик zabbixa
mailhub=smtp.mail.server #Если нужен TLS, то указывает еще порт ":465"
rewriteDomain=mail.server
AuthUser=mail_username
AuthPass=mail_password
FromLineOverride=YES
#UseTLS=YES #если нужен TLS раскомментировать эту строку

Дальше была попытка выставить ssmtp в качестве подмены для sendmail и использовать команду mail (пакет mailx) для отправки почты, но письма, хоть и приходили, были не удобочитаемыми (текст приходил не в поле текста, а как бинарное вложение).

В итоге пришлось поставить mutt, в качестве замены mail.

yum install mutt

Подробнее

Краткая история масштабирования LinkedIn

Сегодня мы представляем вашему вниманию адаптированный перевод заметки главного инженера LinkedIn Джоша Клемма о процессе масштабирования инфраструктуры социальной сети.



Сервис LinkedIn был запущен в 2003 году с целью создания и поддержания сети деловых контактов и расширения возможностей поиска работы. За первую неделю в сети зарегистрировалось 2 700 человек. Спустя несколько лет число продуктов, клиентская база и нагрузка на серверы заметно выросли.

Сегодня в LinkedIn насчитывается более 350 миллионов пользователей по всему миру. Мы проверяем десятки тысяч веб-страниц каждую секунду, каждый день. На мобильные устройства сейчас приходится более 50% нашего трафика по всему миру. Пользователи запрашивают данные из наших бэкенд-систем, которые, в свою очередь, обрабатывают по несколько миллионов запросов в секунду. Как же мы этого добились?

Подробнее

Отправка Nginx-логов в Google Analytics



С наших Download-серверов каждый день скачивается несколько миллионов драйверов (статичные .exe и .zip файлов). Для анализа поведения пользователей перед нами встала задача посчитать следующие параметры: когда, сколько, как часто и даже кто именно скачивает драйверы.

Самым очевидным решением было бы использовать инструменты типа AWstat, GoAccess, ELK stack или Splunk, а в крайнем случае собирать логи Nginx.

Но у каждого варианта есть свои минусы: неудобный интерфейс, скудность данных, сложность настройки и, самое главное, отсутствие возможности строить сегменты в пользовательских отчётах.

И тогда мы решили заставить Nginx самостоятельно отправлять события в Google Analytics сразу же после скачивания файла. Мы также смогли передать в GA уникальный идентификатор пользователя ClientID.
В результате мы получили аналитику по статичным файлам, к которым раньше невозможно было привязать счетчик GA.

Под катом готовый конфиг и примеры работы нашей системы.

В прошлом посте мы рассказали о том, как отправляем события из приложения DriverPack Online, используя Analytics Measurement Protocol.

Ну а сегодня мы покажем, как трекаются загрузки статических файлов на наших Download-серверах.

Информация по загрузкам приходит в режиме «реального времени».



Подробнее

Установка gitolite на сервер Centos

Убил пару дней на установку Gitolite. Вроде куча инструкций в интернете, и процесс-то глобально не сложный. Но ни в одной статье нет полного порядка команд, которые надо проделать, чтобы все это дело заработало без проблем.

Подразумевается, что читатель понимает, что такое git и gitolite и умеет с ними работать, рассматривается только вопрос установки.

В коде надо заменить на ваши значения:
server_name_or_ip — Имя сервера или IP адрес
username — Имя пользователя, который станет администратором gitolite.

Операционные системы: сервер — Centos 6.6, компьютер с которого работаю — OS X 10.10.2

Читать далее

RedHat/Oracle Linux с NetApp FAS (SAN)

habrahabr.ru

В этой статье я хотел бы рассмотреть более узкую тему оптимизации RedHat/Oracle Linux (с виртуализацией и без) с использованием СХД NetApp FAS в среде SAN.

Для поиска и устранения узких мест в такой инфраструктуре, нужно опредилиться с компонентами инфраструктуры, среди которых их стоит искать. Разделим инфраструктуру на следующие компоненты:

• Настройки хоста c SAN (FC/FCoE)


• Настройки Ethernet сети на хосте для IP SAN ( iSCSI ).


• Собственно сам хост с ОС


• Приложениями на Хосте


• Проверка совместимости драйверов и версий ПО

Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост -> Приложение. Сейчас остановимся на Хосте…

CloudFlare + nginx = кешируем всё на бесплатном плане

habrahabr.ru



В бесплатной версии Cloudflare все замечательно (ей-богу сказка!), но список кешируемых форматов файлов весьма ограничен.
К счастью кеширование всего подряд (до 512 Мб на файл) можно настроить в одно два действия.
Первый этап, это создания Page rule для вашего CDN поддомена в панели cloudflare.
Ниже пример правила для моего поддомена. Там хранится тяжелая статика (до 500Мб на файл)


…