Записки на полях » FreeBSD

Шаманы в зазеркалье: поднимаем зеркало Ubuntu под FreeBSD

admin — Fri, 16 Apr 2010 07:29:59 +0000

Имея небольшую локалку, некоторое количество пользователей-линуксоидов и довольно тощий канал в инет, разумно было бы поднять свое зеркало репозитария Убунты, чтобы пользователи лишний раз не лазили куда не надо. Удобнее всего зеркало умеет делать сам линукс – буквально в пару команд. Но из серверов в наличии имеется только FreeBSD версии 7.2 – не смертельно конечно, но повозиться придется чуть дольше.

Перво-наперво определяемся с местом – у меня зеркало для двух версий (9.04 и 9.10) заняло около 80 гигов. Затем ставим нужные пакеты:

/usr/ports/www/p5-libwww
/usr/ports/devel/p5-LockFile-Simple
/usr/ports/archivers/p5-IO-Compress-Base
/usr/ports/archivers/p5-Compress-Zlib/
/usr/ports/archivers/p5-Compress-Raw-Zlib/
/usr/ports/archivers/p5-IO-Compress-Zlib
/usr/ports/security/p5-Digest-SHA1
/usr/ports/security/p5-MD5
/usr/ports/net/p5-URI
/usr/ports/security/gnupg

После это качаем исходники скрипта debmirror отсюда.

Качаем, распаковываем – в линуксе его можно установить, у меня он работает и без этого – достаточно просто знать, куда мы его распаковали. После этого готовим специальный скрипт:

#!/bin/sh
/home/snake/debmirror --progress --verbose \
--cleanup --nosource --md5sums --host=mirror.yandex.ru \
--root=ubuntu --ignore-release-gpg \
--dist=jaunty,jaunty-security,jaunty-updates,jaunty-backports, \
karmic,karmic-security,karmic-updates,karmic-backports 
--section=main,restricted,universe,multiverse --method=http \ 
--arch=i386,amd64  /mnt/media4/ubuntu

Кратко поясню:

# --arch         #Архитектура. Может быть i386, powerpc или amd64.
# --section=    # Секция (main/restricted/universe/multiverse). Как минимум main, restricted
# --dist=        # Релиз (кодовое название, а так же опции security, updates, backports
# --host=       # Имя сервера
# --root=       # Папка на сервере (обычно /ubuntu)
# --method=   # Протокол для передачи (http, ftp, hftp, rsync)
# /mnt/media4/ubuntu      # Директория с зеркалом
 
# --nosource      #не качает deb-src пакеты, существенно экономит место
# --progress       #показывает процесс скачивания
# --cleanup        #удаляет устаревшие пакеты
# --verbose        #показывает подробные ошибки
# --ignore-release-gpg  # не проверять gpg подпись скачиваемых пакетов. 
# Почему-то не отключается, и получать gpg ключ все равно приходится. 
# Как получить - написано ниже.
# --md5sums          # Проверять md5 хэши скачиваемых пакетов

Если при запуске скрипта вываливается вот такая ошибка:

gpgv: keyblock resource `/root/.gnupg/trustedkeys.gpg': general error
gpgv: Signature made Срд 22 Апр 2009 21:35:26 UTC using DSA key ID 437D05B5
[GNUPG:] ERRSIG 40976EAF437D05B5 17 2 00 1240436126 9
[GNUPG:] NO_PUBKEY 40976EAF437D05B5
gpgv: Can't check signature: public key not found

То выполняем вот такую команду:

snake@snake [~/.gnupg]# gpg --keyserver keyserver.ubuntu.com -a --no-default-keyring 
--keyring trustedkeys.gpg --recv-keys <key ID>

Где берем из ошибки. Получившийся файлик копируем в папку ~/.gnupg/

Когда все файлы обновлений скачаются, следует открыть доступ к папке с зеркалом через http и/или ftp, например так:

ln -s /mnt/media4/ubuntu /var/www/ubuntu

Добавим наш скрипт в cron. Для этого в файл /etc/crontab добавим:

30      4       *       *       7       root    /home/snake/umirror.sh

Наше зеркало будет обновлять раз в неделю в 4.30 утра – пакеты обновляются не так уж часто, а в случае чего-то критического никто не мешает запустить обновление вручную.

Далее остаются сущие мелочи – настроить клиента:

cd /etc/apt
sudo mv sources.list sources.list.orig
sudo mcedit sources.list
deb http://snake.khd.ru/ubuntu karmic main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-updates main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-security main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-backports main restricted universe multiverse

После этого пользователи должны вообще забыть о существовании удаленных репозиториев – разве что для какой-то экзотики.

Симлинк с подвывертом

admin — Thu, 15 Apr 2010 14:24:47 +0000

Понадобилось намедни прицепить папочку с обновлениями антивируса к домашней папке фтп-анонимуса. Обычно это делается симлинком – просто и понятно. Но ProFTPd симлинки не понимает в упор, и переходить по ним отказывается. Вывод? Нужно заставить фтп-демон думать что перед ним – обычная папка, а не какая-нибудь там ссылка. После десяти минут гугления нашел способ, гарантированно работающий под freebsd (через пять минут находится метод для Linux):

mount_nullfs /usr/local/www/data/updates /mnt/media4/ftp/updates

не забудьте только прописать это в fstab, чтобы после перезагрузки не чесать лысину “а куда оно делось?”.

Делаем по-взрослому (изучаем vlan`ы)

admin — Thu, 11 Mar 2010 08:00:45 +0000

Первый раз с самим понятием вланов (virtual LAN, VLAN) я столкнулся, проживая в студенческом общежитии (как будто я там сейчас не живу – прим. авт). Универ после ремонта разродился на нормальную ЛВС – с розетками в каждой комнате, коммутационными шкафами на лестничных клетках и 48-портовыми д-линками на этаж. На каждое общежитие студгородка было выделено по 2 влана, что добавило геморроя в настройке, но позволило избавиться от лишних бродкастов (с другой стороны, всякие VypressChat уже не работали). Сама идея очень даже неплоха – пользователи отделяются друг от друга на канальном уровне, можно крутить разные подсети на одном коммутаторе и прочие плюшки.

Интернет в общаге раздается весьма своеобразно – через два сервера. На одном крутится две дсл, на другом – еще три. Модемы подключены напрямую, т.е. в одном сервере стоит три сетевушки, во втором – четыре. Это накладывает существенные ограничения во-первых на железо (найти плату с 3 и более PCI-разъемами сложновато), а во-вторых на масштабируемость – добавлять новые сетевухи это не наш метод :). Т.к. под рукой совершенно случайно оказался управляемый DES-1226G с поддержкой вланов, решено было через этот самый коммутатор подключать модемы, оставив на серверах по две сетевушки – на вход и на выход. На “входящей”, соответственно висели интерфейсы общежитских сетей, на “выходящей” – вланы модемов.
Создается влан-интерфейс чрезвычайно просто:

snake@snake [snake]#ifconfig vlan1692 create vlan 1692 vlandev em1 inet 192.169.2.2 netmask 255.255.255.0

Здесь:
vlan1692 – имя интерфейса
vlan 1692 – так называемый тэг влана (если мы собираемся принимать на этом интерфейсе только тэгированный трафик, что и требуется)
vlandev em1 – указывает родительский интерфейс (транк) на котором и будет висеть влан
далее идет обычная настройка – ip, маска и т.д.
Чтобы изменения сохранились после перезагрузки, в rc.conf нужно добавить следующие строки:

snake@snake [snake]#cat /etc/rc.conf
hostname="snake.hostel5.ru"
ifconfig_em0="inet 10.1.0.1 netmask 255.255.255.0"
cloned_interfaces="vlan1205 vlan1690 vlan1691 vlan1692 vlan1693 vlan1694 vlan1695"
ifconfig_vlan1205="inet 10.12.5.254 netmask 255.255.255.0 vlan 1205 vlandev em0"
ifconfig_vlan1690="inet 192.169.0.2 netmask 255.255.255.0 vlan 1690 vlandev em1"
ifconfig_vlan1691="inet 192.169.1.2 netmask 255.255.255.0 vlan 1691 vlandev em1"
ifconfig_vlan1692="inet 192.169.2.2 netmask 255.255.255.0 vlan 1692 vlandev em1"
ifconfig_vlan1693="inet 192.169.3.2 netmask 255.255.255.0 vlan 1693 vlandev em1"
ifconfig_vlan1694="inet 192.169.4.2 netmask 255.255.255.0 vlan 1694 vlandev em1"
ifconfig_vlan1695="inet 192.169.5.2 netmask 255.255.255.0 vlan 1695 vlandev em1"

В нашем случае создается 7 vlan-интерфейсов – один на “входящей” сетевушке – для общежитской сети, и еще 6 на “выходящей” – часть из них используется для связи с модемами, часть – просто для мониторинга и управления.

Удалить влан интерфейс:

snake@snake [snake]#ifconfig vlan1692 destroy

Не забываем настроить соответствующим образом порты коммутатора – порт, к которому подключается “выходящая” сетевая карта сервера, должен пропускать только тэгированный трафик, порты, к которым подключены модемы – нетэгированный (потому как модемы в большинстве своем про всякую экзотику типа vlan слыхом не слыхивали), причем PVID порта должен совпадать с номером нужного влана (а у нас длинк, к слову. у других производителей все может быть совсем по другому).
Приведу простой пример – “выход” сервера подключен к 10 порту коммутатора. Модемы – соответственно к 11,12 и 13 портам. На 10 порту прописываются соответствующие вланы (для каждого модема отдельный, как мы помним) – все тэгированные, PVID не столь важен, потому что трафик будет пропускаться только тэгированный (от сервера либо с другого порта коммутатора).
На портах, к которым подключены модемы (11,12 и 13) прописываем по влану с опцией untag, и назначаем этим портам PVID, соответствующий номеру влана – таким образом весь нетэгированный трафик на этом порту будет считаться трафиком данного влана.
Если все настроено правильно – модемы должны пинговаться (если правильно настроены ип), и pppoe должен нормально подниматься. Если нет – смотрим, где и что недонастроили (например, интерфейс в настройках mpd).

Всяческие замечания, предложения и критика приветствуются.

Редирект почты на удаленный адрес

admin — Thu, 04 Mar 2010 02:42:20 +0000

Смотреть почту локально жутко неудобно, но все уведомления сыплются именно в почтовый ящик пользователя root. Чтобы настроить пересылку почты на нужный нам email выполняем следующее:

snake@snake [/etc]#ee /etc/aliases

в самом конце дописываем:
root: yourmail@domain.com
Закрываем файл, обновляем алиасы:

snake@snake [/etc]#newaliases
/etc/mail/aliases: 29 aliases, longest 18 bytes, 306 bytes total

Все, пересылка настроена. Можно проверить следюущей командой:

snake@snake [/etc]#echo "Test mail" | mail -s Test root

На указанную выше почту придет письмо с темой Test и телом Test mail

Контора пишет (Logwatch, newsyslog и другие)

admin — Thu, 04 Mar 2010 02:19:47 +0000

Каждый раз лезть на сервер, чтобы посмотреть логи быстро надоедает. Да и не всегда есть возможность зайти по ssh, а параноидальная админская душа требует ~~хлеба и зрелищ~~ получать отчеты минимум раз в сутки.

snake@snake [/etc]#cd /usr/ports/
snake@snake [ports]#make search name=logwatch
Port:   fwlogwatch-1.1_1
Path:   /usr/ports/security/fwlogwatch
Info:   A packet filter and firewall log analyzer
Maint:  michael@ranner.eu
B-deps: gettext-0.17_1 libiconv-1.13.1
R-deps: gettext-0.17_1 libiconv-1.13.1
WWW:    http://fwlogwatch.inside-security.de/
 
Port:   logwatch-7.3.6
Path:   /usr/ports/sysutils/logwatch
Info:   A log file analysis program
Maint:  trix@basement.net
B-deps:
R-deps: p5-MIME-Base64-3.08 perl-5.8.9_3
WWW:    http://www2.logwatch.org:81/

Первая утилита анализирует логи Cisco, Ipfilter и других фаерволов и IDS типа Snort, но про IPFW она похоже не знает, а потому толку от нее для меня немного. Вторая же утилита куда как интересней – это перловый скрипт, который анализирует логи и отсылает на почту админу суммарную информацию – эдакий куммулятивный лог-файл за день. Анализирует она не что попало, а лишь те сервисы, которые указаны в настройках. Более того, можно и самому писать модули для анализа нужных логов. В общем – вещь, как мне кажется, архиполезная.

Настройки лежат в /usr/local/etc/logwatch/defaults:

snake@snake [ports]#cd /usr/local/etc/logwatch/
snake@snake [logwatch]#ls
total 18
drwxr-xr-x   6 root  wheel   512  4 мар 11:06 .
drwxr-xr-x  29 root  wheel  1536  3 мар 14:46 ..
drwxr-xr-x   5 root  wheel   512  2 мар 16:31 defaults
drwxr-xr-x   2 root  wheel   512  1 мар 17:11 html
drwxr-xr-x   2 root  wheel   512  1 мар 17:11 logfiles
-rw-r--r--   1 root  wheel  4991  4 мар 11:06 logwatch.conf
drwxr-xr-x   2 root  wheel   512  1 мар 17:11 services

В папке defaults находятся умолчальные конфиги, которые никто не мешает поправить и переместить для удобства в соответствующую папку – наисвысший приоритет имеют опции, непосредственно передаваемые скрипту при запуске, затем – файлы и папок services и logfiles, а уж в последнюю очередь смотрится папка defaults.

Файл настроек снабжен подробными комментариями, но некоторые пояснения все-таки нужно сделать:

########################################################
# This was written and is maintained by:
#    Kirk Bauer 
#
# Please send all comments, suggestions, bug reports,
#    etc, to kirk@kaybee.org.
#
########################################################
 
# NOTE:
#   All these options are the defaults if you run logwatch with no
#   command-line arguments.  You can override all of these on the
#   command-line.
 
# You can put comments anywhere you want to.  They are effective for the
# rest of the line.
 
# this is in the format of  = .  Whitespace at the beginning
# and end of the lines is removed.  Whitespace before and after the = sign
# is removed.  Everything is case *insensitive*.
 
# Yes = True  = On  = 1
# No  = False = Off = 0
 
# Default Log Directory
# Папка с логами по умолчанию
LogDir = /var/log/
 
# Папка для временных файлов
TmpDir = /tmp/logwatch
 
# Кому будем отсылать уведомление. Можно указать локального
# пользователя, можно просто e-mail адрес
MailTo = root
# Здесь можно указать дополнительные адреса, на которые будут
# отсылаться уведомления
Mailto_host1 = snake@localhost
 
# Имя отправителя, от которого будем получать письма
MailFrom = snake
 
# Выводить ли отчет в консоль. Полезно при отладке и проверке
Print = No
 
# Можно сохранить отчет файл, на всякий случай
Save = /tmp/logwatch-mail
 
# Использовать ли архивы 
# (к примеру /var/log/messages.1 или /var/log/messages.1.gz)
# newsyslog позволяет производить ротацию логов и паковать старые 
# логи в архивы, допустим, раз в сутки. Нехило экономит место и 
# повышает наглядность.
#Archives = No
 
# Читать ли файлы .yesterday - тоже вид ротации логов
Range = yesterday
 
# Здесь все просто - уровень детализации отчетов
# Low = 0
# Med = 5
# High = 10
Detail = High
 
 
# Собирать ли информацию в всех сервисах, данные о которых
# лежат в папке services или только по определенному (например ftpd)
Service = All
 
# Можно выключить определенные сервисы
Service = "-zz-network"     # Prevents execution of zz-network service, which
                            # prints useful network configuration info.
Service = "-zz-sys"         # Prevents execution of zz-sys service, which
                            # prints useful system configuration info.
Service = "-eximstats"      # Prevents execution of eximstats service, which
                            # is a wrapper for the eximstats program.
# If you only cared about FTP messages, you could use these 2 lines
# instead of the above:
#Service = ftpd-messages   # Processes ftpd messages in /var/log/messages
#Service = ftpd-xferlog    # Processes ftpd messages in /var/log/xferlog
# Maybe you only wanted reports on PAM messages, then you would use:
#Service = pam_pwdb        # PAM_pwdb messages - usually quite a bit
#Service = pam             # General PAM messages... usually not many
 
# Аналогично, можно читать только определенные лог-файлы
#LogFile = messages
# например только /var/log/messages.
 
# Почтовая программа по умолчанию. Обычно используется
# sendmail или просто mail
mailer = "/usr/bin/mail"
 
#
# Собирать логи только с этого хоста. Имеет смысл, если на машине 
# хранятся не только ее собственные логи
#HostLimit = Yes

После чего в crontab добавляется строчка:

30      4       *       *       *       root    /usr/local/sbin/logwatch.pl

Которая будет запускать скрипт раз в сутки, и админу на мыло будет капать суточный отчет. Стоит отметить, что программа не анализирует изменения в файле, а только сам файл, и потому если логи не ротируются, то со временем отчет может разрастаться за счет старых записей. Один из методов борьбы с этим – настройка ротации логов с помощью newsyslog. Способ прост до безобразия – открываем /etc/newsyslog.conf и смотрим:

# comments by fr33man
# 24.11.2006
 
# лог-файл -- абсолютный путь к файлу, с которым будем работать.
# [владелец:группа] -- необязательный параметр, который указывает newsyslog'у
# кто должен являться владельцом данного лог файла
# права -- права, которые должны быть на файле
# кол-во -- максимальное количество заархивированных лог файлов.
# когда -- время, через которое архивировать лог-файл.
# флаги -- некоторые параметры, для лог-файлов:
# B - по умолчанию, newsyslog добавляет в новый лог-файл сообщение о том, что
# лог-файл был ротирован, но если лог-файл бинарный, то это сообщение испортит лог,
# с параметром B newsyslog не будет добавлятьт никаких сообщений в лог
# C - если лог-файл не существует, то его необходимо создать.
# G - если указан данный флаг, то в названии лог-файла можно 
# использовать стандартные шаблоны(например *)
# J - сжимать лог-файл, используя bzip2
# N - Не предупреждать никакой процесс, о ротации лог-файла
# W - если используете флаги Z или J, то newsyslog должен подождать, 
# пока заверщиться процесс архивации.
# Z - сжимать лог, использую gzip.
# logfilename          [owner:group]    mode count size when  flags [/pid_file] [sig_num]
/var/log/all.log                        600  3     *    @T00  J
/var/log/amd.log                        644  3     100  *     J
/var/log/auth.log                       600  3     100  *     JC
/var/log/console.log                    600  5     100  *     J
/var/log/cron                           600  3     100  *     JC
/var/log/daily.log                      640  3     *    @T00  JN
/var/log/debug.log                      600  3     100  *     JC
/var/log/kerberos.log                   600  3     100  *     J
/var/log/lpd-errs                       644  3     100  *     JC
/var/log/maillog                        640  5     *    @T00  JC
/var/log/messages                       644  5     100  *     JC
/var/log/monthly.log                    640  4     *    $M1D0 JN
/var/log/pflog                          600  3     100  *     JB    /var/run/pflogd.pid
/var/log/ppp.log        root:network    640  3     100  *     JC
/var/log/security                       600  4     100  *     JC
/var/log/sendmail.st                    640  4     *    168   B
/var/log/slip.log       root:network    640  3     100  *     JC
/var/log/weekly.log                     640  5     1    $W6D0 JN
/var/log/wtmp                           644  3     *    @01T05 B
/var/log/xferlog                        600  3     100  *     JC
/var/log/cvsup.log                      664  2    *    24    -
/var/log/cvsupd.log                     664  2    *    24    Z
/var/log/mpd.log                        644  5     100 24    JC
/var/log/stargazer.log                  644  10    100 24    JC
/var/log/ntp.log                        644  2     100 24    JC
/var/log/snmpd.log                      644  3     100 24    JC
/var/log/ups.log                        644  5     100 24    JC
/var/log/smartd.log                     644  5     100 24    JC

После чего запускаем newsyslog (первый раз его работа может занять продолжительно время) и смотрим на причесанные лог-файлы. Надеюсь теперь исчезнет проблема, при которой лог того же mpd за пару-тройку месяцев работы разрастался до неприличных размеров в несколько мегабайт:

snake@snake [logwatch]#ls /var/log
drwxr-xr-x  11 root   wheel      3072  4 мар 12:00 .
drwxr-xr-x  28 root   wheel       512 22 фев 06:41 ..
drwxr-xr-x   2 root   wheel       512 17 май  2009 ConsoleKit
-rw-r--r--   1 root   wheel        62  4 мар 12:16 alias.log
-rw-------   1 root   wheel     84044  4 мар 10:31 auth.log
-rw-------   1 root   wheel      8303 10 сен 19:00 auth.log.0.bz2
-rw-------   1 root   wheel     23230  4 мар 12:22 cron
-rw-------   1 root   wheel      5334  4 мар 05:00 cron.0.bz2
drwxr-xr-x   2 root   wheel       512 31 янв 12:56 cups
-rw-------   1 root   wheel     34729 21 фев 20:42 debug.log
-rw-------   1 root   wheel     34569  4 мар 03:05 dmesg.today
-rw-------   1 root   wheel     44774  3 мар 03:05 dmesg.yesterday
drwxr-xr-x   2 www    www         512 18 фев 16:42 httpd
-rw-------   1 root   wheel      3523  4 мар 03:05 ipfw.today
-rw-------   1 root   wheel      3519  3 мар 03:05 ipfw.yesterday
-rw-r--r--   1 root   wheel     28056  4 мар 10:30 lastlog
drwxr-xr-x   2 root   wheel       512  2 мар 16:10 logwatch
-rw-r--r--   1 root   wheel        67 12 апр  2009 lpd-errs
-rw-r-----   1 root   wheel     19952  4 мар 11:49 maillog
-rw-r-----   1 root   wheel      1111  4 мар 00:00 maillog.0.bz2
-rw-r-----   1 root   wheel      1494  3 мар 00:00 maillog.1.bz2
-rw-r--r--   1 root   wheel    195523  4 мар 12:23 messages
-rw-r--r--   1 root   wheel     10368  4 мар 12:00 messages.0.bz2
-rw-r--r--   1 root   wheel      8118  4 мар 11:00 messages.1.bz2
-rw-------   1 root   wheel       265 19 фев 03:04 mount.today
-rw-------   1 root   wheel       233 17 окт 03:04 mount.yesterday
-rw-r--r--   1 root   wheel     13020  4 мар 12:16 mpd.log
-rw-r--r--   1 root   wheel      2731  4 мар 03:00 mpd.log.0.bz2
-rw-r--r--   1 root   wheel      1786  3 мар 03:00 mpd.log.1.bz2
-rw-r--r--   1 root   wheel        60  4 мар 03:00 ntp.log
-rw-r--r--   1 root   wheel       119  4 мар 03:00 ntp.log.0.bz2
-rw-r-----   1 root   wheel     43188  4 мар 11:50 proftpd-error.log
drwxr-xr-x   3 root   wheel       512  4 мар 11:52 samba
-rw-r--r--   1 root   wheel     22550 17 апр  2009 samba.log
-rw-------   1 root   wheel     92434  4 мар 12:21 security
-rw-------   1 root   wheel      8388 27 фев 22:00 security.0.bz2
-rw-------   1 root   wheel      7238 26 фев 00:00 security.1.bz2
-rw-r-----   1 root   wheel       728  4 мар 11:09 sendmail.st
-rw-r-----   1 root   wheel       728 26 фев 03:05 sendmail.st.0
-rw-------   1 root   wheel      4711  1 фев 03:04 setuid.today
-rw-------   1 root   wheel      4802  6 ноя 03:04 setuid.yesterday
-rw-r-----   1 root   network      67 12 апр  2009 slip.log
-rw-------   1 root   wheel      5638 18 фев 11:58 userlog
-rw-r--r--   1 root   wheel      2816  4 мар 11:50 wtmp
-rw-r--r--   1 root   wheel     13332  1 мар 00:02 wtmp.0
-rw-r--r--   1 root   wheel     11264  1 фев 01:16 wtmp.1
-rw-r--r--   1 root   wheel      7788 31 дек 20:05 wtmp.2
-rw-r--r--   1 root   wheel     10692 30 ноя 23:07 wtmp.3
-rw-------   1 root   wheel     29429  3 мар 11:06 xferlog
-rw-------   1 root   wheel     25010 13 янв 18:00 xferlog.0.bz2

Боян, но все же

admin — Sun, 13 Dec 2009 06:21:36 +0000

Как-то так:

FreeBSD 8.0-RELEASE – официально

admin — Fri, 27 Nov 2009 01:46:37 +0000

Официальный анонс 8.0-RELEASE.
Changelog смотрим тут

Релиз FreeBSD 8.0

admin — Tue, 24 Nov 2009 05:38:05 +0000

На зеркалах появился релиз freebsd 8
Смотрим тут:
ftp://ftp.freebsd.org/pub/FreeBSD/releases/i386/8.0-RELEASE/
ftp://ftp.ru.freebsd.org/pub/FreeBSD/releases/i386/8.0-RELEASE/

Каждому по потребностям – шейпинг трафика при помощи IPFW

admin — Sun, 18 Oct 2009 13:37:35 +0000

Исходные данные: FreeBSD 7.2, IPFW, MPD4.3. две ADSL линии.
Задача – раздавать интернет пользователям – у каждой группы пользователей свой канал.

Итак, настраиваем mpd. В /usr/local/etc/mpd4 нас интересуют два файла:

snake@snake [mpd4]#ls -al
total 118
drwxr-xr-x   2 root   wheel    512 16 окт 22:57 .
drwxr-xr-x  24 root   wheel   1536 18 окт 20:53 ..
-rw-r--r--   1 snake  snake   2799 19 сен 00:33 mpd.conf
-rw-r--r--   1 snake  snake    638 17 сен 23:14 mpd.links

Содержимое mpd.conf:

startup:
        # configure the console
        set console port 5005
        set console ip 127.0.0.1
        set console user user test
        set console open
 
default:
        load vtk_unlim
        load vtk_unlim2
 
vtk_unlim:
        new -i ng0 pppoe_vtk pppoe_vtk #имя соединения в mpd.links
        set iface route default #установить соединение маршрутом по умолчанию
        set iface disable on-demand
        set iface idle 0
        set ipcp yes vjcomp
        set ipcp ranges 0.0.0.0/0 0.0.0.0/0
        set bundle disable multilink
        set auth authname mylogin
        set auth password MyPaSsWoRd
        set link no acfcomp protocomp
        set link disable pap chap#настройки шифрования
        set link accept chap
        set link mtu 1400 #настройка MTU
        set link keep-alive 10 60
        set link max redial 0 #число попыток реконнекта
        set bundle disable noretry #перезванивать при обрыве
        set iface up-script /usr/local/etc/mpd4/up #скрипт, выполняющийся при установке соединения
        open
 
vtk_unlim2:
        new -i ng1 pppoe_vtk2 pppoe_vtk2
        set iface route default
        set iface disable on-demand
        set iface idle 0
        set ipcp yes vjcomp
        set ipcp ranges 0.0.0.0/0 0.0.0.0/0
        set bundle disable multilink
        set auth authname mylogin2
        set auth password mYpAsSwOrD
        set link no acfcomp protocomp
        set link disable pap chap
        set link accept chap
        set link mtu 1400
        set link keep-alive 10 60
        set link max redial 0
        set bundle disable noretry
        set iface up-script /usr/local/etc/mpd4/up2
        open

Содержимое скриптов запуска:

#!/bin/sh
out_if="-interface ng0"
route delete default
route add default $out_if

Скрипт назначает наш pppoe канал маршрутом по умолчанию как для самого сервера, так и для клиентов

Скрипт up2:

#!/bin/sh
out_if="-interface ng1"
setfib 1 route add -net default $out_if
gw=`ifconfig ng1 | grep "inet" | cut -d " " -f 4`
host=`ifconfig ng1 | grep "inet" | cut -d " " -f 2`
fw="/sbin/ipfw -q"
users2=`cat /usr/local/etc/rc.fire.new | grep "users2=" | cut -d "=" -f 2`
num=`ipfw show | grep "fwd" | cut -d " " -f 1`
/usr/local/etc/rc.d/natd.sh
$fw delete $num
$fw add $num fwd $gw ip from $host to any

Суть этого скрипта в том, что он выдирает из вывода ifconfig текущие шлюз и ip (т.к. на втором соединении ип динамический) и добавляет эти значения в правило ipfw, обеспечивающее прохождение трафика. Подробней про эти правила будет ниже.

Файл mpd.links:

pppoe_vtk:
    set link type pppoe # Тип соединения PPPoE
    set pppoe iface em1 #Интерфейс, на котором создается pppoe соединение
    set pppoe service ""
    set pppoe disable incoming #запрещаем входящие соединения
    set pppoe enable originate
 
pppoe_vtk2:
    set link type pppoe
    set pppoe iface fxp0
    set pppoe service ""
    set pppoe disable incoming
    set pppoe enable originate

mpd настроен. При запуске он должен автоматически поднять соединения и мы увидим нечто вроде этого:

ng0: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
        inet 85.15.66.66 --> 85.15.64.119 netmask 0xffffffff
ng1: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
        inet 85.15.81.133 --> 85.15.80.1 netmask 0xffffffff

Не забудьте прописать в /etc/syslog.conf:

!mpd
*.*                                             /var/log/mpd.log

Теперь займемся настройкой нат. Я использовал natd. Про свежевыпущенный ipfw nat скажу ниже

Прописываем в /etc/rc.conf следующее:

snake@snake [mpd4]#cat /etc/rc.conf | grep natd
natd_enable="YES"

далее создаем файлы конфигурации (в моем случае /etc/natd2.conf, /etc/natd3.conf):

snake@snake [mpd4]#cat /etc/natd2.conf
# порт, на котором висит natd
port 8448
# интерфейс
interface ng0
# стараться не изменять порты
same_ports yes
# перенаправлять только трафик с адресом источника 10.0.0.0/8, 172.16.0.0/12 и 192.168.0.0/16.
unregistered_only yes
dynamic yes
 
# проброс портов для отдельных машин наружу
redirect_port tcp 10.12.51.24:51024 51024
redirect_port udp 10.12.51.24:51024 51024
redirect_port tcp 10.12.51.24:51025 51025
redirect_port udp 10.12.51.24:51025 51025

snake@snake [mpd4]#cat /etc/natd3.conf
port 8558
interface ng1
same_ports yes
unregistered_only yes
dynamic yes
redirect_port tcp 10.12.51.118:31027 31027
redirect_port udp 10.12.51.118:31027 31027

создаем скрипт в /usr/local/etc/rc.d

snake@snake [mpd4]#cat /usr/local/etc/rc.d/natd.sh
#!/bin/sh
/sbin/natd -f /etc/natd2.conf
/sbin/natd -f /etc/natd3.conf

Запускаем, смотрим: в sockstat должно быть что-то такое:

snake@snake [mpd4]#sockstat -l4 | grep natd
root     natd       1033  4  div4   *:8558                *:*
root     natd       1031  4  div4   *:8448                *:*

Теперь приступим к самой ответственной части – а именно настройке фаервола :)
Тут я приведу конфиг полностью, с пояснениями и комментариями
Про ядерный nat ipfw можно почтитать тут

#Создаем каналы-пайпы. Труба одна для каждой группы пользователей
$fw pipe 100 config bw $downi queue 50
$fw pipe 200 config bw $upi   queue 50
$fw pipe 300 config bw $downi queue 50
$fw pipe 400 config bw $up2 queue 50
$fw pipe 500 config bw $downvtk queue 50
$fw pipe 600 config bw $upvtk queue 50
#-----------------------------------
 
#Очереди трафика (подробнее смотрим man ipfw) 
#именно они обеспечивают справедливое распределение канала между пользователями
#inet --> LAN
$fw queue 101 config weight $tcp2w queue 50 pipe 100 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
$fw queue 102 config weight $tcp1w queue 50 pipe 100 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> inet
$fw queue 201 config weight $tcp2w queue 50 pipe 200 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
$fw queue 202 config weight $tcp1w queue 50 pipe 200 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
 
#inet --> LAN
$fw queue 301 config weight $tcp1w queue 50 pipe 300 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> inet
$fw queue 401 config weight $tcp1w queue 50 pipe 400 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
 
#VTK --> LAN
$fw queue 501 config weight $tcp2w queue 50 pipe 500 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> VTK
$fw queue 601 config weight $tcp2w queue 50 pipe 600 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
#-----------------------------------
#Настройки ядерного NAT. У меня нормально так и не заработал, но может у вас получится ;) 
$fw nat 300 config log if $wan same_ports deny_in
#-----------------------------------
#Selfcare & service
##loopback
# разрешаем ходить локалхост трафику, но только в пределах интерфейса loopback
$fwa 01000 allow ip from any to any via lo0
$fwa 01010 deny ip from any to 127.0.0.0/8
$fwa 01020 deny ip from 127.0.0.0/8 to any
#-----------------------------------
##Deny networks
# Запрещаем частные подсети на внешних интерфейсах
$fwa 1200 deny log ip from 10.0.0.0/8 to me in via $inet
$fwa 1210 deny log ip from any to 10.0.0.0/8 out via $inet
$fwa 1220 deny log ip from 172.16.0.0/12 to any in via $inet
$fwa 1230 deny log ip from any to 172.16.0.0/12 out via $inet
$fwa 1240 deny log ip from 192.168.0.0/16 to any in via $inet
$fwa 1250 deny log ip from any to 192.168.0.0/16 out via $inet
 
$fwa 1205 deny log ip from 10.0.0.0/8 to any in via $inet2
$fwa 1215 deny log ip from any to 10.0.0.0/8 out via $inet2
$fwa 1225 deny log ip from 172.16.0.0/12 to any in via $inet2
$fwa 1235 deny log ip from any to 172.16.0.0/12 out via $inet2
$fwa 1245 deny log ip from 192.168.0.0/16 to any in via $inet2
$fwa 1255 deny log ip from any to 192.168.0.0/16 out via $inet2
 
#-----------------------------------
#Allowing connetctions
#-----------------------------------
##Intranet connections
# Разрешаем соединение с сервером из локалки
$fwa 02100 allow ip from $hostel to $iplan $usr_ports in via $lan
$fwa 02110 allow ip from me to $hostel out via $lan
$fwa 02115 allow ip from me to $hostel out via $vlan
#-----------------------------------
##DNS (разрешаем связь с DNS серверами прова 
#и доступ к DNS-серверу на машине из локальной сети
$fwa 02310 allow udp from me to $vtk_dns out
$fwa 02320 allow udp from $vtk_dns to me in
$fwa 02330 allow udp from $hostel to $iplan 53 in via $lan
$fwa 02340 allow udp from $iplan 53 to $hostel out via $lan
$fwa 02350 deny udp from $hostel to $vtk_dns in via $lan
$fwa 02360 deny udp from $hostel to $vtk_dns in via $vlan
$fwa 02370 deny udp from $vtk_dns to $hostel out via $lan
$fwa 02380 deny udp from $vtk_dns to $hostel out via $vlan
#-----------------------------------
# Ради чего все затевалось - разрешаем пользователям из локалки доступ вовне
$fwa 03141 allow ip from "table(1)"  to not me in via $lan
$fwa 03142 allow ip from "table(1)" to not me in via $vlan
$fwa 03143 allow ip from not me to "table(1)" out via $lan
$fwa 03144 allow ip from not me to "table(1)" out via $vlan
#-----------------------------------
 
#NAT & queues
##Outcoming queues (исходящие очереди)
#Настройка очередей. Трафик сервера идет отдельной очередью
$fwa 05010 queue 201 ip from me to any out via $inet
$fwa 05020 queue 202 ip from $users to any out via $inet
$fwa 05030 queue 401 ip from $users2 to any out via $inet2
$fwa 05040 queue 601 ip from any to $vtk out via $wan
#-----------------------------------
##NAT
#Заворачиваем трафик от разных групп на разные natd
$fwa 07200 divert 8448 ip from $users to any out via $inet
$fwa 07250 divert 8448 ip from any to me in via $inet
$fwa 07100 divert 8558 ip from $users2 to any out via $inet2
#Говорим фаерволу, что трафик второй группы 
#нужно пускать через другой шлюз. 
#Именно это правило мы меняем, когда mpd делает реконнект
#Переменные $gw и $host определяются при каждом перезапуске
#скрипта с правилами
$fwa 07130 fwd $gw ip from $host to any
$fwa 07150 divert 8558 ip from any to me in via $inet2
# тот самый ядерный nat. оставил для примера :)
$fwa 07400 nat 300 ip from any to any via $wan
#----------------------------------
##Incoming queues (входящие очереди)
$fwa 08010 queue 101 ip from any to me in via $inet
$fwa 08020 queue 102 ip from any to $users in via $inet
$fwa 08030 queue 301 ip from any to $users2 in via $inet2
$fwa 08040 queue 501 ip from $vtk to any in via $wan
#-----------------------------------
#Allowing connections
##Outcoming allowers (разрешающие правила для соединений)
$fwa 09000 allow ip from $users to $vtk out via $wan
$fwa 09010 allow ip from me to $vtk out via $wan
$fwa 09023 allow ip from me 12553 to any out via $inet
$fwa 09034 allow ip from me 12554 to any out via $inet
$fwa 09040 allow ip from $users to any out via $inet
$fwa 09050 allow ip from $users2 to any out via $inet2
$fwa 09060 allow ip from me to any out via $inet
$fwa 09070 allow ip from me to any out via $inet2
#----------------------------------
##Incoming allowers
$fwa 09100 allow ip from $vtk to $users in via $wan
$fwa 09110 allow ip from $vtk to me in via $wan
$fwa 09120 allow ip from any to $users in via $inet
$fwa 09130 allow ip from any to $users2 in via $inet2
$fwa 09143 allow ip from any to me 12553 in via $inet
$fwa 09154 allow ip from any to me 12554 in via $inet
$fwa 09160 allow ip from any to me in via $inet
#$fwa 09700 allow ip from any to me in via $inet2
#----------------------------------
##ICMP
$fwa 50200 allow icmp from me to any
$fwa 50250 allow icmp from any to me
##Allow all outcoming
$fwa 60000 allow ip from me to any

На этом в общем-то все :) выставляем на клиентских машинах шлюзом по умолчанию наш сервер и радуемся – инет должен работать

Совместить несовместимое

admin — Sat, 17 Oct 2009 05:34:02 +0000

Увы и ах, но поддержка ntfs в *nix еще в зачаточном состоянии. Во-первых, никто не гарантируют что твои данные останутся после того как ты ребутнешь машину. Во-вторых, не гарантируется, что скормив винт винде данные будут ей корректно прочитаны. Так что рид-онли и ничего больше. Теперь надо искать свободный винт и конвертить винты в zfs.