Теперь Вы можете получить самые вкусные, самые интересные части моих курсов  совершенно бесплатно! 

Все очень просто, я решил опубликовать их в свободном доступе и дать вам возможнось их получить прямо сейчас.

Для этого вам добавить этот продукт в корзину и оформить заказ.

Единственное, что я попрошу вас оплатить - это почтовые расходы по пересылке вам материалов.

Поэтому:

• Кладете продукт в корзину
• Заполняете свой адрес
• Оплачиваете
• И через 1-1.5 недели все материалы курсов у вас дома!

Естветственно, если материалы вам не понрявятся - на них распространяется моя 100% гарантия. В течении трех месяцев вы можете прислать их обратно и я возвращаю вам сумму полностью.

Для лучшего закрепления материалов, которые вы купили на распродаже я хотел бы провести этот тренинг онлайн еще раз.

Т.е. в формате  - вы слушаете вещание, и при этом у вас есть чат, где можно задавать вопросы. Я отвечу на вопросы либо текстом по ходу вещания, либо голосом после.

При этом это будет включать домашние задания, и я буду отчислять из онлайн вещания тех, кто ленится или просто забивает их делать.

Мне нужно получить от вас результат и навыки, а не просто дать вам очердную порцию знаний.

Высказывайтесь в комментариях :) 

Что такое ipfw?

ipfw - это фильтр пакетов IP, который используется в FreeBSD. В данный момент ipfw уже вырос из просто фильтра пакетов и превратился в мощный сетевой инструмент для обеспечения безопасности.

Что он умеет делать?

1. Как уже понятно из названия - фильтровать пакеты - часть пакетов пропускать, часть просто выкидывать.
2. Фильтровать пакеты на разных уровнях - на канальном и на сетевом.
3. Перенаправлять пакеты на другие хосты или в процессы, выполняющиеся на хосте (в частности, для NAT, для прозрачного кэширования или для тонкой настройки маршрутизации)
4. Уничтожать пакеты и генерировать соответстувющий код ответа.
5. Управлять полосой пропускания и распределением канала между разными запросами.
6. Вводить ограничения по скорости для отдельных IP/протоколов/сетей.

Логически ipfw состоит из двух больших частей - фильтрация траффика (собственно ipfw) и управление скоростью/приоритетами (dummynet).

Зачем применяется ipfw?

• Ограждать внутренюю сеть от внешних атак
• Ограждать сервер от атак снаружи и изнутри
• Четко контролировать доступ к сетевым ресурсам. Разрешать только санкционированый доступ и запрещать несакнционированый.
• Предотвращать часть атак класса 'отказ обслуживания' (DoS).
• Служит одним из слоев защиты сервера (защита на сетевом уровне).
• Логгинг траффика - разрешенных и запрещенных пакетов.
• Поддерживает трансляцию и преобразование запросов (при помощи посторонних программ)
• Проверка целостности(состояния) запросов - вам не должны приходить ответы на запросы, которых вы не посылали.

Зачем применяется dummynet?

• Ограничение скорости по отдельному сервису (скажем, для веб сервера).
• Ограничение скорости по отдельному IP (не больше 64кбит для одного IP).
• Ограничение скорость по сети (данному клиенту - не более такой-то полосы пропускания).
• Эмуляция медленных каналов связи.
• Эмуляция каналов связи с задержками.
• Эмуляция каналов связи с потерями пакетов.

Наиболее распространеная ошибка при использовании ipfw!

Та-дамм. Естественно, удаленное администрирование ipfw. Если вы не предусмотрели механизмов автоматического отключения ipfw и загрузили неправильную конфигурацию - все, пишите письма. Только доступ к консоли вас спасет.

Поэтому после одного-двух раз наученые опытом администраторы уже заранее готовятся к сценарию, что они неправильно создали конфигурацию. Даже маленькая опечатка в одну букву может лишить вас ... доступа.

Поэтому нужно заранее предусмотреть, чтоб по прошествии какого-то времени восстановились предыдущие правила конфигурации или вообще отключился бы ipfw.

Конечно, можно еще неправильно его сконфигурировать, но это уже совершенно другая история.

Тренинг по ipfw

Записывайтесь сейчас, 28 апреля цена подымется до 4000 рублей!

С 1 по 10 мая я буду проводить тренинг по ipfw / pf / NAT в FreeBSD.

 Формат тренинга - как всегда, аудиокасты и скринкасты, когда это будет нужно.

Длительность - 10 занятий, где-то по 45 минут каждое.

Будут домашние задания и задачи, которые нужно будет решать.

Зафиналивший все домашние задания получает специальный приз :) 

Если вы уже покупали у меня какой-то продукт - напишите мне, я скажу, как вам оплатить. Вам полагается 20% скидка.

Цена начинается, как всегда, в 2 раза ниже, чем цена тренинга. К началу тренинга она вырастет до номинала - до 6000 рублей.

Как форматировать текст в vim? 

Решил поделиться с вами несколькоми советами, как в vim быстро и удобно форматировать текст.

Линк на скринкаст здесь.

Все файлы тренинга здесь

В скринкасте

• indent блока текста вправо и влево
• повторение операций в vim
• склеивание строк
• автоматическое форматирование текста
• быстрая навигация между парными скобками

Файлы обучающих скринкастов по vi/vim

1. [Free] Вводный каст
2. [Free] Создание нового файла, переключение между буфферами (доступно для авторизированных на сайте пользователей, регистрация бесплатная)
3. [$$] Ввод текста, режимы ввода текста, замена текста
4. [$$] Undo/copy/paste/выделения
5. [$$] Поиск/типы шаблонов
6. [$$] Замена и подстановки
7. [$$] Форматирование текста
8. [$$] Как запускать внешние команды из vim и как их использовать
9. [$$] Tips & Tricks - нетривиальные способы редактирования текста

Бонусы:

1. [Free] Форматирование текста

Пароль для доступа - для оплативших пользователей в посте с линком на прямое вещание.

Базовые команды shell

Синтаксис, использование, тонкости работы.

Одним словом все то, что нужно новичку для того, чтоб сориентироваться в Unix на первых порах.

Один лист A4 с подробнейшей информацией.

Более 100 быстрорастворимых советов по использованию Unix/FreeBSD оболочки!

Продукт доступен к скачиванию СРАЗУ после оплаты! (Файл в формате .pdf)

Как оплатить?

Для оплаты курса добавьте его в корзину, а потом щелкните на checkout.

У вас будет три опции -

• оплатить при помощи RoboxChange (Яндекс.Деньги, СМС!, терминалы Эликснет, система Контакт)
• оплатить при помощи WebMoney (только WMR и WMZ)
• оплатить при помощи Z-Payment (СМС!, перевод через Сбербанк, ТелеБанк ВТБ24, Райффайзенбанк, Контакт/Анелик/Юнистрим/Аллюр/Мигом/WesternUnion/MoneyGram)

Ваша ТРОЙНАЯ Защита

Этот продукт я решил защитить тройной гарантией:

1. В течении 180 дней (6 месяцев!) вы можете получить деньги обратно без каких-либо вопросов.
2. Если вам не понравился продукт - вы можете получить обратно не 100%, а даже 110% от вашей оплаченой суммы (вам придется заполнить анкету и указать, что именно вам не понравилось в этом курсе)
3. Вы можете получить всю сумма обратно в течении года, если что-то из материалов тренинга у вас не работает или неправильно.

Таким образом я не оставляю никаких рисков для вас и полностью беру их на себя.

Если вы возвращаете продукт, то тогда я считаю, что он вам не подошел и нам не стоит больше работать друг с другом.

Концентрированная информацию по работе в vi/vim

Распечатываете и држите у себя под рукой, когда работаете с Vim - это поможет вам сэкономить очень много времени на первых порах.

Один лист A4 с подробнейшей информацией.

Более 100 быстрорастворимых советов по vim!

Продукт доступен к скачиванию СРАЗУ после оплаты! (Файл в формате .pdf)

Как оплатить?

Для оплаты курса добавьте его в корзину, а потом щелкните на checkout.

У вас будет три опции -

• оплатить при помощи RoboxChange (Яндекс.Деньги, СМС!, терминалы Эликснет, система Контакт)
• оплатить при помощи WebMoney (только WMR и WMZ)
• оплатить при помощи Z-Payment (СМС!, перевод через Сбербанк, ТелеБанк ВТБ24, Райффайзенбанк, Контакт/Анелик/Юнистрим/Аллюр/Мигом/WesternUnion/MoneyGram)

Ваша ТРОЙНАЯ Защита

Этот продукт я решил защитить тройной гарантией:

1. В течении 180 дней (6 месяцев!) вы можете получить деньги обратно без каких-либо вопросов.
2. Если вам не понравился продукт - вы можете получить обратно не 100%, а даже 110% от вашей оплаченой суммы (вам придется заполнить анкету и указать, что именно вам не понравилось в этом курсе)
3. Вы можете получить всю сумма обратно в течении года, если что-то из материалов тренинга у вас не работает или неправильно.

Таким образом я не оставляю никаких рисков для вас и полностью беру их на себя.

Если вы возвращаете продукт, то тогда я считаю, что он вам не подошел и нам не стоит больше работать друг с другом.

Дорогие друзья! 

У меня сейчас не самое хорошее настроение и теперь я немного буду портить его и вам.

У меня есть 3 веские причины чтоб закрыть этот проект - с Мастер группой по FreeBSD.

Во-первых, это очень низкий отклик аудиотории - я планировал набрать сюда больше людей, чем это у меня получилось за текущий момент.

Во-вторых, у меня в жизни произошли сильные измнения, которые требуют более пристального внимания к другим областям жизни. И это никак не связано с технической работой - поэтому мне достаточно сложно уделять внимание и время для технических проектов.

В-третьих -- в данный момент МастерГруппа по FreeBSD просто убыточна и отнимает больше денег, чем сама приносит - поэтому нужно просто фиксировать убытки, а не продолжать их увеличивать.

Поэтому:

1. Для тех, кто вписался в мастер группу бесплатно - точно так же бесплатно и выпадаете из нее :) 
2. Для тех, кто должен был получить МастерГруппу в качестве пакета после распродажи - я пришлю вам e-mail и дам другой, более интресный продукт, который больше повлиет на вашу жизнь (при правильном выполнении), чем просто какие-то знания по FreeBSD :) 
3. Для тех, кто оплатил Мастер Группу - есть 2 варианта - получить деньги обратно или получить доступ к этому продукту.

Что именно вы получите взамен?

Впишу я вас вот в этот мой проект ( http://gasparchilingarov.com/2008/07/25/trening-po-lichnostnomu-rostu/ ).

За 21 дней вы у вас улучшатся личные навыки контроля себя, планирования до такого состояния, что у вас ваши дела будут получаться существенно быстрей и эффективней, вам будет существенно легче вести себя в разных жизненных ситуациях и так далее.

Если вы не попадаете под категории 2 и 3 - но тем не менее хотите получить доступ к этому тренингу:

• Если вы уже покупали у меня какой-то продукт -- стоимость для вас составит всего 1200 рублей.
• Если вы не покупали у меня ничего - тогда стоимость тренинга для вас составляет 2500 рублей.

Тренинг продается БЕЗ гарантии возврата денег - потому что только от вас зависит - вы будете делать все упражнения и в результате станете эффективней, либо вы будете хлопать ушами и тогда вам ничего не поможет.

Тем, кто реально делал упражнения тренинга - он так же реально помог.

А тем, кто просто слушал записи - те так и остались стоять на свом месте.

Из чего складывается время загрузки страницы?

Сегодня я хочу вам коротко рассказать из чего складывается и от чего зависит время загрузки одной страницы в браузере, когда ее запрашивают с сервера.

Время загрузки складывается из следующих компонент:

1. Запрос DNS

2. Установка TCP соединения

3. Запрос от клиента

4. Ответ от сервера

5. Парсинг странички браузером

6. Создание новых запросов от браузера к серверу

А зависит оно от следующих параметров

1. Скорость соединения клиента

2. Скорость соединения сервера

3. Порядок загрузки объектов на странице

4. Количество параллельных запросов от браузера

5. Настройки сервера

6. Типы запросов от клиента и поддерживаемый протокол (HTTP/1.0 или HTTP/1.1)

Проверка соединений с вебсервером  apache

Для просмотра сетевых соединений в FreeBSD используется команда netstat.

Когда вы запускаете ее с ключами -an (netstat -an) она выдает вам не только список уже установленных соединений, но и список всех тех сервисов, которые ожидают входящих соединений — т.е. ожидают подключения клиента. Такие соединения отображаются в виде следующих строчек:

Proto Recv-Q Send-Q Local Address Foreign Address (state)

tcp4 0 0 *.80 *.* LISTEN

tcp4 0 0 *.443 *.* LISTEN

Приведенные строки показывают, что какое-то программное обеспечение ожидает установки соединения (статус LISTEN) с любого входящего адреса (символы *.* в поле Foreign Address) на любой адрес установленный на данной машине (звездочка в нотации *.80) на порт 80 (число 80 в нотации *.80). То есть это показывает, что работает приложение, предположительно веб-сервер, которое слушает на восьмидесятом порту (http).

Вторая строчка обозначает то же самое, но для https соединений.

Если запускать команду netstat только с ключом -n (netstat -n), то вы увидите там только уже установленные соединения.

Как интерпретировать статусы соединений?

TCP соединение может быть в нескольких разных состояниях. Они отображаются в последнем столбце команды netstat.

Возможные варианты:

LISTEN — на сервере есть какое-то ПО, которое готово принимать соединения на данный порт и как-то их обрабатывать.

Все оставшиеся статусы относятся к уже установленным соединениям:

ESTABLISHED — это статус нормально работающего соединения, по которому может передается информация в данный момент — именно с ними сейчас занят веб-сервер.

Пример (10.11.12.13 — это адрес вашего веб-сервера, 83.139.27.170 — это адрес какого-то клиента). Это соединение к веб-серверу, так как в колонке Local Address после адреса сервера стоит .80 — а это именно номер порта, на который установлено соединение.

Proto Recv-Q Send-Q Local Address Foreign Address (state)

tcp4 0 0 10.11.12.13.80 83.139.27.170.1170 ESTABLISHED

TIME_WAIT — в этом состоянии находятся соединения, для которых со стороны сервера соединение уже закрыто, а вот со стороны клиента подтверждения о закрытии пока не получено. Это нормальное состояние. Даже если от клиента не будет получено подтверждение, то через 30 секунд соединение будет уничтожено (таймаут настраивается через sysctl net.inet.tcp.msl).

FIN_WAIT_2 — это те соединения, для которых сервер уже отослал клиенту пакет с уведомлением о закрытии соединения, получил подтверждение от клиента на этот пакет, но не получил со стороны клиента пакета, который бы требовал разрыва соединения. Да, в TCP соединение должны разорвать обе стороны :) и каждая должна подтвердить, что она получила это сообщение от противоположной стороны. Это нормальное состояние соединения, и пока у вас не много клиентов — меньше нескольких тысяч — можете смело не обращать на него внимания.

Соединения в статусах TIME_WAIT и FIN_WAIT_2 дают косвенное представление о скорость соединения ваших клиентов и надежности их связи. Если у них со связью все в порядке — вы будете видеть меньше соединений в таком состоянии.

CLOSE_WAIT — а вот на эти соединения нужно смотреть ОЧЕНЬ внимательно. Этот статус обозначает, что клиент со своей стороны разорвал соединение, а вот программное обеспечение сервера его не закрыло. Соединения могут пребывать в таком состоянии какое-то время, но они не должны накапливаться. Если вы видите, что у вас постоянно висят соединения в этом состоянии и их количество увеличивается — это показатель одной единственной вещи. У вас ошибка в веб-сервере.

У apache сервера такого статуса не случается, так как он очень быстро закрывает соединения со своей стороны, если их уже закрыл клиент. Но если вы пишите свой какой-то сетевой сервис — тогда будте крайне осторожны с этим статусом.

Пожалуй это все, что я хотел вам рассказать по отладке веб-сервера и соединений к веб серверу.

Все оставшееся вы можете прочитать в книжке по настройке и оптимизации веб-сервера.

В частности, как настраивать Apache, как его оптимизировать, как повышать уровень безопасности и многое другое.

Показать все открытые файловые дескрипторы

Можно просмотреть все открытые процессом httpd файловые дескрипторы при помощи команды

fstat | grep http

С одной стороны это даст вам представление, сколько сетевых соединений открыто к apache серверу (все те строчки, в который написано internet stream tcp) и какое количество файловых дескрипторов открыто для работы с файловой системой. Их должно быть где-то в 10 раз больше, чем интернет соединений.

Просмотр только сетевых соединений

Если вы хотите посмотреть, каких клиентов обслуживает apache сервер в данный момент через сеть и в каком состоянии находятся сетевые клиенты — то вам однозначно поможет команда

netstat -an -f inet | awk '$4 ~ /\.80$|\.443$/ || /Proto/ {print }'

(Я предполагаю, что у вас веб сервер настроен для работы со стандартными портами 80 — http и 443 — https, если у вас другие порты — включите их в выражение в команде awk)

Более подробно о том, как интерпретировать эту статистику и многое другое — вы можете узнать в книге 'Создай вебсервер своему чертенку'.

Для того чтоб проверить, сколько процессов apache в системе и сколько память они занимают, нужно запустить команду

ps -ax | grep httpd | grep -v grep

Она выдаст вам информацию о количестве процессов apache, которые в данный момент запущены. Для просмотра памяти вам понадобится команда

ps -alx | grep -i 'httpd\|rss' | grep -v grep

Значения в столбце RSS — это и есть тот реальный объем памяти, который сейчас занимает в ОЗУ каждый из процессов apache.

Сегодня я хочу поделиться еще одним способом узнать статус веб-сервера и идентификации — он вообще работает или нет, а если работает, то сколько ресурсов пожирает.

Во-первых, можно включить показ статистики самим Apache сервером. Для этого открываем конфиг в /usr/local/etc/apache/httpd.conf.

Удостоверьтесь, что у вас есть строчки

LoadModule status_module libexec/apache/mod_status.so

и

AddModule mod_status.c

и они не закомментированы.

Потом ищите в файле следующие строчки

# Allow server status reports, with the URL of http://servername/server-status

# Change the ".example.com" to match your domain to enable.

#

#<Location /server-status>

# SetHandler server-status

# Order deny,allow

# Deny from all

# Allow from .example.com

#</Location>

и раскомментируете их. Если ваш веб-сервер не доступен снаружи — тогда можно просто оставить только

<Location /server-status>

SetHandler server-status

</Location>

Если доступен — тогда

<Location /server-status>

SetHandler server-status

Order deny,allow

Deny from all

Allow from ВАШ_IP_АДРЕС

</Location>

После этого перезапускаете apache (apachectl restart) и заходите любым браузером по адресу вашего веб-сервера, скажем если это на локальной машине — то на http://localhost/server-status (как пример командой lynx http://localhost/server-status ). Если браузер у вас на другой машине — подставьте вместо localhost IP адрес вашего веб-сервера.

Эта статистика позволит вам посмотреть, какие соединения в данный момент обслуживает apache, с каких адресов и какие именно документы запрашиваются.

Аудио файл с главой 'Время загрузки страницы' из книги - "Создай веб-сервер своему чертенку".

Приветствую!

Сегодняшнее поговорим о том, как правильно перезапускать apache сервер

Иногда бывает нужно перезапустить веб сервер — скажем, если какой-то скрипт зациклился и съедает все процессорное время, или если нужно внести какие-то изменения в конфигурацию веб-сервера.

В случае с apache сервером есть несколько вариантов — правильные и не-правильные (но работающие :).

Начнем с правильных вариантов:

Команда 'apachectl start' запускает веб-сервер, если он в данный момент не запущен.

Команда 'apachectl stop' останавливает веб-сервер, если он в данный момент запущен.

Команда 'apachectl restart' перезапускает веб-сервер, если он в данный момент запущен. Если он не запущен — тогда она просто выдаст сообщение об ошибке и запустит его.

Все эти действия приводят к отключению всех клиентов, которые в данный момент пользуются сервером.

Если всего-лишь нужно считать новую конфигурацию — тогда достаточно команды 'apachectl graceful'.

Вроде все просто? А как просмотреть, есть ли работающие процессы apache в данный момент?

Можно запустить команду 'ps -ax' (в Linux — 'ps ax') и отфильтровать оттуда строчки, относящиеся к вебсерверу.

Окончательная команда получится 'ps -ax | grep httpd | grep -v grep'.

Если эта команда выдает вам какой-то результат — то у вас запущен apache.

Другой способ проверить, работает ли у вас apache — это просто присоединиться к нему с консоли. Для этого можно использовать команду telnet. Выглядеть сессия будет следующим образом:

@aldan ~> telnet localhost 80

Trying 127.0.0.1...

Connected to aldan.

Escape character is '^]'.

GET / HTTP/1.0

HTTP/1.1 200 OK

Date: Fri, 07 Nov 2008 22:44:25 GMT

Server: Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4 with Suhosin-Patch

Content-Length: 7634

Connection: close

Content-Type: text/html;charset=UTF-8

<html> ..... текст страницы </html>

Самое важное здесь — это команда 'telnet localhost 80', которая устанавливает соединение с вашим веб-сервером и строчка, которую вы должны ввести - 'GET / HTTP/1.0', которая вызывает загрузку основной странички. После ввода этого заголовка 2 раза нажмите Enter.

Другой правильный способ контролировать статус веб сервера

Самым правильным способом перезапуска веб сервера, все-таки, является .... как вы и догадались - использование скриптов запуска.

Поскольку в FreeBSD они лежат в /usr/local/etc/rc.d/, то и запускать их нужно оттуда-же.

Запуск сервера - /usr/local/etc/rc.d/httpd start

Остановка сервера - /usr/local/etc/rc.d/httpd stop

Перезапуск сервера - /usr/local/etc/rc.d/httpd restart

Только это все не будет работать, если у вас не прописана следующая строчка в /etc/rc.conf

httpd_enable=YES

Добавьте ее в /etc/rc.conf и после этого можете смело использовать скрипт запуска apache.

Нецивилизованный метод контроля apache

Если вам нужно остановить работу всего httpd сервера, то от имени пользователя root сделайте команду 'killall -9 httpd' — это напрочь убьет ВСЕ процессы веб-сервера. После этого поможет только его старт заново. Если при этом у вас клиенты что-то качали с сайта — то .... до свидания, клиенты — все будут отсоединены.

Пожалуй на сегодня все с перезапуском apache :)

Больше подробностей вы можете найти в моей книжке по настройке веб сервера - «Создай вебсервер своему чертенку»

Выкладываю оглавление книги, как оно есть на сегодняшний день.

Качаем здесь.

Первый бан из Мастер Группы

У меня была нестабильность с работой этого сервиса (unixmastera.ru) и один из пользователей мастер группы, а точнее trc (он же shogun) почему-то решил что меня всячески можно задрачивать мейлами.

К его сожалению, это не так.

Поэтому:

• поздравляю trc - он стал первым отличившимся учеником
• пользователю trc возвращены деньги за мастер группу
• пользователь trc отправлен в пожизненный бан из всех моих проектов - я не хочу больше с ним работать.

Мне существенно продуктивней тратить время на пользователей, которые адекватно относятся к неполадкам и пришли сюда за результатом и для того, чтоб расти. Именно с вами, мои читатели, мы и будем взлетать дальше.

Итак, друзья, первое вещание будет 23 числа в 19:00 по Москве. Более подробно - в посте с расписанием занятий.

Сегодня мы обсуждали, как использовать команды помощи

• man - показ одной страницы помощи
• apropos - поиск в системе помощи
• использование more/less - для просмотра страниц

 Посмотреть здесь.

Вещание Мастер Группы будет идти здесь, на этом сервере.

Мой обучающий проект по Unix системам переежжает с http://freebsd.gasparchilingarov.com/ на этот домейн.

Здесь же будет организована мастер группа по Unix системе.