Записки на полях » ipfw http://snake.khd.ru cat /var/log/messages Sun, 05 Feb 2012 11:22:27 +0000 en hourly 1 http://wordpress.org/?v=3.1.2 Операция “Кооперация”: IPFW, stargazer и 4 ADSL-соединения http://snake.khd.ru/2011/01/operaciya-kooperaciya-ipfw-stargazer-i-4-adsl-soedineniya-chast-1/ http://snake.khd.ru/2011/01/operaciya-kooperaciya-ipfw-stargazer-i-4-adsl-soedineniya-chast-1/#comments Wed, 19 Jan 2011 08:46:11 +0000 admin http://snake.khd.ru/?p=655 [...]]]> Общага – место крайне полезное, особенно для тех, кто умеет искать халяву. Еда, выпивка, интернет… стоит лишь немного поднапрячься. В одной из таких общаг мы и будем творить свои злобные делишки – раздавать людям интернеты анлимно и покилограммно.
Под катом много конфигов и технических терминов, так что слабонервным и гуманитариям лучше не заходить

Что мы имеем?
- 4 ADSL-модема с безлимитами на каждом
- Сервер на 8.1
- IPFW NAT
- Старгайзер в качестве биллинга

Вполне достаточно для наших целей. Перво-наперво, проверяем, чтобы в ядро было собрано с вот такими опциями:

##USER_OPTIONS
#Сам IPFW
options         IPFIREWALL
options         IPFIREWALL_FORWARD
#Включаем режим логов
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=100
#Включаем, собственно, NAT
options         IPFIREWALL_NAT
options         IPDIVERT
options         LIBALIAS
#Создаем 5 независимых таблиц маршрутизации: 4 для пользователей и одну для сервера
options         ROUTETABLES=5
options         HZ=4000

Далее просто приведу примеры своих конфигов с комментариями, ибо от howto большего и не требуется :)

Для начала – настраиваем таблицы маршрутизации. Для этого создаем файлик /usr/local/etc/rc.d/setfib1:

#!/bin/sh
# PROVIDE: SETFIB1
# REQUIRE: NETWORKING
# BEFORE: DAEMON
# 
# Add the following lines to /etc/rc.conf to enable setfib -1 at startup
# setfib1 (bool): Set to "NO" by default.
#                Set it to "YES" to enable setfib1
# setfib1_defaultroute (str): Set to "" by default
#       Set it to ip address of default gateway for use in fib 1
 
. /etc/rc.subr
 
name="setfib1"
rcvar=`set_rcvar`
 
load_rc_config $name
 
[ -z "$setfib1_enable" ] && setfib1_enable="NO"
[ -z "$setfib1_defaultroute" ] && setfib1_defaultroute=""
 
start_cmd="${name}_start"
stop_cmd="${name}_stop"
 
setfib1_start()
{
if [ ${setfib1_defaultroute} ]
then
setfib 1 route add -net default ${setfib1_defaultroute}
else
echo "Can't set defaultroute for fib 1 (setfib1_defaultroute is not set)"
fi
}
 
setfib1_stop()
{
setfib 1 route del -net default
}

Делаем его исполняемым, и так для каждой таблицы (кроме дефолтной) – т.е. четыре штуки

В rc.conf:

gateway_enable="YES"
hostname="my_server.lan"
#Интерфейс, смотрящий во внутреннюю сеть
ifconfig_fxp0="inet 10.0.0.1 netmask 255.255.255.0"
#Интерфейс, смотрящий на модемы
ifconfig_fxp1="inet 192.169.0.5 netmask 255.255.255.0"
#Каждый модем в своем влане
cloned_interfaces="vlan1691 vlan1692 vlan1693 vlan1694 vlan1695"
ifconfig_vlan1691="inet 192.169.1.5 netmask 255.255.255.0 vlan 1691 vlandev fxp1"
ifconfig_vlan1692="inet 192.169.2.5 netmask 255.255.255.0 vlan 1692 vlandev fxp1"
ifconfig_vlan1693="inet 192.169.3.5 netmask 255.255.255.0 vlan 1693 vlandev fxp1"
ifconfig_vlan1694="inet 192.169.4.5 netmask 255.255.255.0 vlan 1694 vlandev fxp1"
#влан, смотрящий в локальную сеть провайдера
ifconfig_vlan1695="inet 192.168.100.9 netmask 255.255.255.0 vlan 1695 vlandev fxp1"
#Сам сервер ходит через модем №1
defaultrouter="192.169.1.1"
setfib1_enable="YES"
setfib1_defaultroute="192.169.1.1"
setfib2_enable="YES"
setfib2_defaultroute="192.169.2.1"
setfib3_enable="YES"
setfib3_defaultroute="192.169.3.1"
setfib4_enable="YES"
setfib4_defaultroute="192.169.4.1"
#Включаем шейпинг
dummynet_enable="YES"
#Включаем фаервол
firewall_enable="YES"
firewall_logging="YES"
#Конфиг-файл фаервола
firewall_script="/usr/home/snake/net/rc.fire.conf"

Не забываем о маршрутизации:

#Подсеть провайдера
route add 192.168.0.0/16 192.168.106.1
setfib 1 route add 192.168.0.0/16 192.168.100.1
setfib 2 route add 192.168.0.0/16 192.168.100.1
setfib 3 route add 192.168.0.0/16 192.168.100.1
setfib 4 route add 192.168.0.0/16 192.168.100.1

Ну и теперь приступаем к настройкам фаервола:
1, Запрещаем весь посторонний трафик

#!/bin/sh
#IPFW--------------------------------
fw="/sbin/ipfw -q"
fwa="/sbin/ipfw -q add"
#Ifaces-----------------------------
lan="fxp0"
lan2="fxp1"
inet="vlan1691"
inet2="vlan1692"
inet3="vlan1693"
inet4="vlan1694"
ifnet="vlan1695"
 
#Selfcare & service
##loopback (1000-1020)
$fwa 01000 allow ip from any to any via lo0
$fwa 01010 deny ip from any to 127.0.0.0/8
$fwa 01020 deny ip from 127.0.0.0/8 to any
##Разрешаем доступ к модемам, иначе ничего не увидим)
$fwa 01040 allow ip from 192.169.1.0/24 to me in via $inet
$fwa 01050 allow ip from me to 192.169.1.0/24 out via $inet
$fwa 01060 allow ip from 192.169.2.0/24 to me in via $inet2
$fwa 01070 allow ip from me to 192.169.2.0/24 out via $inet2
$fwa 01080 allow ip from 192.169.3.0/24 to me in via $inet3
$fwa 01090 allow ip from me to 192.169.3.0/24 out via $inet3
$fwa 01100 allow ip from 192.169.4.0/24 to me in via $inet4
$fwa 01110 allow ip from me to 192.169.4.0/24 out via $inet4
$fwa 01120 allow ip from 192.169.5.0/24 to me in via $ifnet
$fwa 01130 allow ip from me to 192.169.5.0/24 out via $ifnet
 
#Deny packets (2000-2999)
##Через интерфейсы, смотрящие непосредственно в интернет, не должен проходить локальный траффик
$fwa 2000 deny log ip from 10.0.0.0/8 to any in via $inet
$fwa 2010 deny log ip from any to 10.0.0.0/8 out via $inet
$fwa 2020 deny log ip from 172.16.0.0/12 to any in via $inet
$fwa 2030 deny log ip from any to 172.16.0.0/12 out via $inet
$fwa 2040 deny log ip from 192.168.0.0/16 to any in via $inet
$fwa 2050 deny log ip from any to 192.168.0.0/16 out via $inet
 
$fwa 2100 deny log ip from 10.0.0.0/8 to me in via $inet2
$fwa 2110 deny log ip from any to 10.0.0.0/8 out via $inet2
$fwa 2120 deny log ip from 172.16.0.0/12 to any in via $inet2
$fwa 2130 deny log ip from any to 172.16.0.0/12 out via $inet2
$fwa 2140 deny log ip from 192.168.0.0/16 to any in via $inet2
$fwa 2150 deny log ip from any to 192.168.0.0/16 out via $inet2
 
$fwa 2200 deny log ip from 10.0.0.0/8 to me in via $inet3
$fwa 2210 deny log ip from any to 10.0.0.0/8 out via $inet3
$fwa 2220 deny log ip from 172.16.0.0/12 to any in via $inet3
$fwa 2230 deny log ip from any to 172.16.0.0/12 out via $inet3
$fwa 2240 deny log ip from 192.168.0.0/16 to any in via $inet3
$fwa 2250 deny log ip from any to 192.168.0.0/16 out via $inet3
 
$fwa 2300 deny log ip from 10.0.0.0/8 to any in via $inet4
$fwa 2310 deny log ip from any to 10.0.0.0/8 out via $inet4
$fwa 2320 deny log ip from 172.16.0.0/12 to any in via $inet4
$fwa 2330 deny log ip from any to 172.16.0.0/12 out via $inet4
$fwa 2340 deny log ip from 192.168.0.0/16 to any in via $inet4
$fwa 2350 deny log ip from any to 192.168.0.0/16 out via $inet4
 
##Через подсеть провайдера может проходить только "свой" трафик
$fwa 2300 deny log ip from 10.0.0.0/8 to any in via $ifnet
$fwa 2310 deny log ip from any to 10.0.0.0/8 out via $ifnet
$fwa 2410 deny log ip from 172.16.0.0/12 to any in via $ifnet
$fwa 2420 deny log ip from any to 172.16.0.0/12 out via $ifnet

3. Собственно, правила для выпускания в интернет

#!/bin/sh
#IPFW--------------------------------
fw="/sbin/ipfw -q"
fwa="/sbin/ipfw -q add"
#Ifaces-----------------------------
lan="fxp0"
lan2="fxp1"
inet="vlan1691"
inet2="vlan1692"
inet3="vlan1693"
inet4="vlan1694"
ifvtk="vlan1695"
#IP groups--------------------------
#Внутренняя сеть
hostel="10.0.0.0/24"
net="192.168.0.0/16"
#Internet access
##Stargazer
###Интернет для пользователей в таблице 2
$fwa 04141 allow ip from "table(2)" to not $net in via $lan
$fwa 04144 allow ip from not $net to "table(2)" out via $lan
###Внутрисеть для пользователей из табл. 3
$fwa 04241 allow ip from "table(3)" to $net in via $lan
$fwa 04244 allow ip from $net to "table(3)" out via $lan
 
#Выпускаем трафик..
##Наружу
$fwa 06010 allow ip from any to not $vtk out via $inet
$fwa 06020 allow ip from any to not $vtk out via $inet2
$fwa 06030 allow ip from any to not $vtk out via $inet3
$fwa 06040 allow ip from any to not $vtk out via $inet4
$fwa 06050 allow ip from any to $vtk out via $ifvtk
 
##Пропускаем внутрь) В таблицах 5-9 разбитые на группы пользователи
$fwa 06210 allow ip from not $net to "table(5)" in via $inet
$fwa 06220 allow ip from not $net to "table(6)" in via $inet2
$fwa 06230 allow ip from not $net to "table(7)" in via $inet3
$fwa 06240 allow ip from not $net to "table(8)" in via $inet4
$fwa 06250 allow ip from not $net to "table(9)" in via $inet4
$fwa 06260 allow ip from $net to "table(3)" in via $ifnet
 
#----------------------------------
##ICMP
$fwa 60200 allow icmp from me to any
$fwa 60250 allow icmp from any to me
##Allow all outcoming
$fwa 65000 allow ip from me to any

А теперь – самое интересное :) Шейпинг:

#!/bin/sh
#--------------------------------
fw="/sbin/ -q"
fwa="/sbin/ -q add"
fwt="/sbin/ table"
#Env---------------------------------
gw0="192.169.1.1"
gw1="192.169.1.1"
gw2="192.169.2.1"
gw3="192.169.3.1"
gw4="192.169.4.1"
gw5="192.169.5.1"
#Ifaces-----------------------------
lan="fxp0"
lan2="fxp1"
inet="vlan1691"
inet2="vlan1692"
inet3="vlan1693"
inet4="vlan1694"
ifnet="vlan1695"
#IP's-------------------------------
iplan="10.0.0.1"
ipnet="192.168.100.9"
#IP groups--------------------------
hostel="10.0.0.0/24"
net="192.168.0.0/16"
#Priority---------------------------
tcphigh=100
tcpother=40
udpall=20
ipall=20
tcp_ports="20,21,22,53,80,81,443,5190,5222,3128,8080,8081,8088,28960"
#Размер очереди прикидываем вот так:
#http://www.opennet.ru/tips/info/1411.shtml
#Queue size-------------------------
qdowni="350Kbytes"
qupi="50Kbytes"
qdownnet="550Kbytes"
qupnet="70Kbytes"
#Speed------------------------------
##Main outgoing queue
upi=500Kbit/s
##Main downloading queue
downi=3400Kbit/s
##NET outgoing queue
upnet=800Kbit/s
##net downloading queue
downnet=5000Kbit/s
#Пайпы (по одной на канал)
$fw pipe 100 config bw $downi queue $qdowni gred 0.002/10/30/0.1
$fw pipe 200 config bw $upi queue $qupi gred 0.002/10/30/0.1
$fw pipe 300 config bw $downi queue $qdowni gred 0.002/10/30/0.1
$fw pipe 400 config bw $upi queue $qupi gred 0.002/10/30/0.1
$fw pipe 500 config bw $downi queue $qdowni gred 0.002/10/30/0.1
$fw pipe 600 config bw $upi queue $qupi gred 0.002/10/30/0.1
$fw pipe 700 config bw $downi queue $qdowni gred 0.002/10/30/0.1
$fw pipe 800 config bw $upi queue $qupi gred 0.002/10/30/0.1
$fw pipe 900 config bw $downnet queue $qdownvtk gred 0.002/10/30/0.1
$fw pipe 1000 config bw $upnet queue $qupvtk gred 0.002/10/30/0.1
#-----------------------------------

#Очереди
#inet --> LAN
#Для различного типа трафика действует различный приоритет
$fw queue 101 config weight $tcphigh pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 102 config weight $tcpother pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 103 config weight $udpall pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 104 config weight $ipall pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

$fw queue 301 config weight $tcphigh pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 302 config weight $tcpother pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 303 config weight $udpall pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 304 config weight $ipall pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

$fw queue 501 config weight $tcphigh pipe 500 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 502 config weight $tcpother pipe 500 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 503 config weight $udpall pipe 500 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 504 config weight $ipall pipe 500 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

$fw queue 701 config weight $tcphigh pipe 700 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 702 config weight $tcpother pipe 700 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 703 config weight $udpall pipe 700 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 704 config weight $ipall pipe 700 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

#LAN --> inet
$fw queue 201 config weight $tcphigh pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 202 config weight $tcpother pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 203 config weight $udpall pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 204 config weight $ipall pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

$fw queue 401 config weight $tcphigh pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 402 config weight $tcpother pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 403 config weight $udpall pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 404 config weight $ipall pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

$fw queue 601 config weight $tcphigh pipe 600 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 602 config weight $tcpother pipe 600 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 603 config weight $udpall pipe 600 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 604 config weight $ipall pipe 600 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

$fw queue 801 config weight $tcphigh pipe 800 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 802 config weight $tcpother pipe 800 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 803 config weight $udpall pipe 800 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 804 config weight $ipall pipe 800 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#WAN --> LAN
$fw queue 901 config weight $tcphigh pipe 900 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 902 config weight $tcpother pipe 900 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 903 config weight $udpall pipe 900 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 904 config weight $ipall pipe 900 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

#LAN --> WAN
$fw queue 1001 config weight $tcphigh pipe 1000 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 1002 config weight $tcpother pipe 1000 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 1003 config weight $udpall pipe 1000 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 1004 config weight $ipall pipe 1000 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#-----------------------------------
#Настройки 
$fw  100 config if $inet same_ports reset deny_in
$fw  200 config if $inet2 same_ports reset deny_in
$fw  300 config if $inet3 same_ports reset deny_in
$fw  400 config if $inet4 same_ports reset deny_in
$fw  500 config if $ifnet same_ports reset deny_in
#-----------------------------------
## tables
setfib 0 route delete default
setfib 0 route add default 192.169.1.1
###Clients route tables 1200-1599
setfib 1 route delete default
setfib 1 route add default 192.169.1.1
$fwa 01210 setfib 1 ip from "table(5)" to any in recv $lan
$fwa 01220 setfib 1 ip from "table(5)" to any in recv $vlan1204
$fwa 01230 setfib 1 ip from "table(5)" to any in recv $vlan1205
setfib 2 route delete default
setfib 2 route add default 192.169.2.1
$fwa 01310 setfib 2 ip from "table(6)" to any in recv $lan
$fwa 01320 setfib 2 ip from "table(6)" to any in recv $vlan1204
$fwa 01330 setfib 2 ip from "table(6)" to any in recv $vlan1205
setfib 3 route delete default
setfib 3 route add default 192.169.3.1
$fwa 01310 setfib 3 ip from "table(7)" to any in recv $lan
$fwa 01320 setfib 3 ip from "table(7)" to any in recv $vlan1204
$fwa 01330 setfib 3 ip from "table(7)" to any in recv $vlan1205
setfib 4 route delete default
setfib 4 route add default 192.169.4.1
$fwa 01410 setfib 4 ip from "table(8)" to any in recv $lan
$fwa 01420 setfib 4 ip from "table(8)" to any in recv $vlan1204
$fwa 01430 setfib 4 ip from "table(8)" to any in recv $vlan1205
###---Table 9 for limit tariff users
$fwa 01440 setfib 4 ip from "table(9)" to any in recv $lan
$fwa 01450 setfib 4 ip from "table(9)" to any in recv $vlan1204
$fwa 01460 setfib 4 ip from "table(9)" to any in recv $vlan1205
#-----------------------------------

#NAT & queues
##Исходящие очереди
###ADSL1
$fwa 05011 queue 201 tcp from "table(5)" to any $tcp_ports out xmit $inet
$fwa 05012 queue 202 tcp from "table(5)" to not any $tcp_ports out xmit $inet
$fwa 05013 skipto 5110 tcp from "table(5)" to any out xmit $inet
$fwa 05014 queue 203 udp from "table(5)" to any out xmit $inet
$fwa 05015 skipto 5110 udp from "table(5)" to any out xmit $inet
$fwa 05016 queue 201 icmp from "table(5)" to any out xmit $inet
$fwa 05017 skipto 5110 icmp from "table(5)" to any out xmit $inet
$fwa 05018 queue 204 ip from "table(5)" to any out xmit $inet
###ADSL2
$fwa 05021 queue 401 tcp from "table(6)" to any $tcp_ports out xmit $inet2
$fwa 05022 queue 402 tcp from "table(6)" to not any $tcp_ports out xmit $inet2
$fwa 05023 skipto 5120 tcp from "table(6)" to any out xmit $inet2
$fwa 05024 queue 403 udp from "table(6)" to any out xmit $inet2
$fwa 05025 skipto 5120 udp from "table(6)" to any out xmit $inet2
$fwa 05026 queue 401 icmp from "table(6)" to any out xmit $inet2
$fwa 05027 skipto 5120 icmp from "table(6)" to any out xmit $inet2
$fwa 05028 queue 404 ip from "table(6)" to any out xmit $inet2
###ADSL3
$fwa 05031 queue 601 tcp from "table(7)" to any $tcp_ports out xmit $inet3
$fwa 05032 queue 602 tcp from "table(7)" to not any $tcp_ports out xmit $inet3
$fwa 05033 skipto 5130 tcp from "table(7)" to any out xmit $inet3
$fwa 05034 queue 603 udp from "table(7)" to any out xmit $inet3
$fwa 05035 skipto 5130 udp from "table(7)" to any out xmit $inet3
$fwa 05036 queue 601 icmp from "table(7)" to any out xmit $inet3
$fwa 05037 skipto 5130 icmp from "table(7)" to any out xmit $inet3
$fwa 05038 queue 604 ip from "table(7)" to any out xmit $inet3
###ADSL4
$fwa 05041 queue 801 tcp from "table(8)" to any $tcp_ports out xmit $inet4
$fwa 05042 queue 802 tcp from "table(8)" to not any $tcp_ports out xmit $inet4
$fwa 05043 skipto 5140 tcp from "table(8)" to any out xmit $inet4
$fwa 05044 queue 803 udp from "table(8)" to any out xmit $inet4
$fwa 05045 skipto 5140 udp from "table(8)" to any out xmit $inet4
$fwa 05046 queue 801 icmp from "table(8)" to any out xmit $inet4
$fwa 05047 skipto 5140 icmp from "table(8)" to any out xmit $inet4
$fwa 05048 queue 804 ip from "table(8)" to any out xmit $inet4
###Юзвери, сидящие на лимитированных тарифах обслуживаются в первую очередь
$fwa 05051 queue 801 ip from "table(9)" to any out xmit $inet4
###ADSL5
$fwa 05061 queue 1001 tcp from "table(3)" to $net $tcp_ports out xmit $ifnet
$fwa 05062 queue 1002 tcp from "table(3)" to not $net $tcp_ports out xmit $ifnet
$fwa 05063 skipto 5150 tcp from "table(3)" to any out xmit $ifnet
$fwa 05064 queue 1003 udp from "table(3)" to $net out xmit $ifnet
$fwa 05065 skipto 5150 udp from "table(3)" to any out xmit $ifnet
$fwa 05066 queue 1004 icmp from "table(3)" to $net out xmit $ifnet
$fwa 05067 skipto 5150 icmp from "table(3)" to any out xmit $ifnet
$fwa 05068 queue 1004 ip from "table(3)" to $net out xmit $ifnet

#-----------------------------------
##NAT
$fwa 05110 nat 100 ip from any to any via $inet
$fwa 05120 nat 200 ip from any to any via $inet2
$fwa 05130 nat 300 ip from any to any via $inet3
$fwa 05140 nat 400 ip from any to any via $inet4
$fwa 05150 nat 500 ip from any to any via $ifnet
#----------------------------------
##Incoming queues
$fwa 05311 queue 101 tcp from any $tcp_ports to "table(5)" in recv $inet
$fwa 05312 queue 102 tcp from not any $tcp_ports to "table(5)" in recv $inet
$fwa 05313 skipto 6010 tcp from any to "table(5)" in via $inet
$fwa 05314 queue 103 udp from any to "table(5)" in recv $inet
$fwa 05315 skipto 6010 udp from any to "table(5)" in via $inet
$fwa 05316 queue 101 icmp from any to "table(5)" in recv $inet
$fwa 05317 skipto 6010 icmp from any to "table(5)" in via $inet
$fwa 05318 queue 104 ip from any to "table(5)" in recv $inet

$fwa 05321 queue 301 tcp from any $tcp_ports to "table(6)" in recv $inet2
$fwa 05322 queue 302 tcp from not any $tcp_ports to "table(6)" in recv $inet2
$fwa 05323 skipto 6010 tcp from any to "table(6)" in via $inet2
$fwa 05324 queue 303 udp from any to "table(6)" in recv $inet2
$fwa 05325 skipto 6010 udp from any to "table(6)" in via $inet2
$fwa 05326 queue 301 icmp from any to "table(6)" in recv $inet2
$fwa 05327 skipto 6010 icmp from any to "table(6)" in via $inet2
$fwa 05328 queue 304 ip from any to "table(6)" in recv $inet2

$fwa 05331 queue 501 tcp from any $tcp_ports to "table(7)" in recv $inet3
$fwa 05332 queue 502 tcp from not any $tcp_ports to "table(7)" in recv $inet3
$fwa 05333 skipto 6010 tcp from any to "table(7)" in via $inet3
$fwa 05334 queue 503 udp from any to "table(7)" in recv $inet3
$fwa 05335 skipto 6010 udp from any to "table(7)" in via $inet3
$fwa 05336 queue 501 icmp from any to "table(7)" in recv $inet3
$fwa 05337 skipto 6010 icmp from any to "table(7)" in via $inet3
$fwa 05338 queue 504 ip from any to "table(7)" in recv $inet3

$fwa 05341 queue 701 tcp from any $tcp_ports to "table(8)" in recv $inet4
$fwa 05342 queue 702 tcp from not any $tcp_ports to "table(8)" in recv $inet4
$fwa 05347 skipto 6010 tcp from any to "table(8)" in via $inet4
$fwa 05343 queue 703 udp from any to "table(8)" in recv $inet4
$fwa 05347 skipto 6010 udp from any to "table(8)" in via $inet4
$fwa 05344 queue 701 icmp from any to "table(8)" in recv $inet4
$fwa 05347 skipto 6010 icmp from any to "table(8)" in via $inet4
$fwa 05345 queue 704 ip from any to "table(8)" in recv $inet4

$fwa 05351 queue 701 ip from any to "table(9)" in recv $inet4
$fwa 05352 skipto 6010 ip from any to "table(9)" in via $inet4

$fwa 05361 queue 901 tcp from $net $tcp_ports to "table(3)" in recv $ifnet
$fwa 05362 queue 902 tcp from not $net $tcp_ports to "table(3)" in recv $ifnet
$fwa 05367 skipto 6010 tcp from $net to "table(3)" in via $ifnet
$fwa 05363 queue 903 udp from $net to "table(3)" in recv $ifnet
$fwa 05367 skipto 6010 udp from $net to "table(3)" in via $ifnet
$fwa 05364 queue 901 icmp from $net to "table(3)" in recv $ifnet
$fwa 05367 skipto 6010 icmp from $net to "table(3)" in via $ifnet
$fwa 05365 queue 904 ip from $vtk to "table(3)" in recv $ifnet

Такая схема работает более или менее успешно. Пользователи распихиваются по таблицам примерно поровну, после чего за каждой группой пользователей закрепляется “свой” канал.
Все вопросы можно задавать тут)

]]> http://snake.khd.ru/2011/01/operaciya-kooperaciya-ipfw-stargazer-i-4-adsl-soedineniya-chast-1/feed/ 0 Каждому по потребностям – шейпинг трафика при помощи IPFW http://snake.khd.ru/2009/10/kazhdomu-po-potrebnostyam-shejping-trafika-pri-pomoshhi-ipfw/ http://snake.khd.ru/2009/10/kazhdomu-po-potrebnostyam-shejping-trafika-pri-pomoshhi-ipfw/#comments Sun, 18 Oct 2009 13:37:35 +0000 admin http://snake.khd.ru/?p=118 [...]]]> Исходные данные: 7.2, , MPD4.3. две ADSL линии.
Задача – раздавать интернет пользователям – у каждой группы пользователей свой канал.

Итак, настраиваем mpd. В /usr/local/etc/mpd4 нас интересуют два файла:

snake@snake [mpd4]#ls -al
total 118
drwxr-xr-x   2 root   wheel    512 16 окт 22:57 .
drwxr-xr-x  24 root   wheel   1536 18 окт 20:53 ..
-rw-r--r--   1 snake  snake   2799 19 сен 00:33 mpd.conf
-rw-r--r--   1 snake  snake    638 17 сен 23:14 mpd.links

Содержимое mpd.conf:

startup:
        # configure the console
        set console port 5005
        set console ip 127.0.0.1
        set console user user test
        set console open
 
default:
        load vtk_unlim
        load vtk_unlim2
 
vtk_unlim:
        new -i ng0 pppoe_vtk pppoe_vtk #имя соединения в mpd.links
        set iface route default #установить соединение маршрутом по умолчанию
        set iface disable on-demand
        set iface idle 0
        set ipcp yes vjcomp
        set ipcp ranges 0.0.0.0/0 0.0.0.0/0
        set bundle disable multilink
        set auth authname mylogin
        set auth password MyPaSsWoRd
        set link no acfcomp protocomp
        set link disable pap chap#настройки шифрования
        set link accept chap
        set link mtu 1400 #настройка MTU
        set link keep-alive 10 60
        set link max redial 0 #число попыток реконнекта
        set bundle disable noretry #перезванивать при обрыве
        set iface up-script /usr/local/etc/mpd4/up #скрипт, выполняющийся при установке соединения
        open
 
vtk_unlim2:
        new -i ng1 pppoe_vtk2 pppoe_vtk2
        set iface route default
        set iface disable on-demand
        set iface idle 0
        set ipcp yes vjcomp
        set ipcp ranges 0.0.0.0/0 0.0.0.0/0
        set bundle disable multilink
        set auth authname mylogin2
        set auth password mYpAsSwOrD
        set link no acfcomp protocomp
        set link disable pap chap
        set link accept chap
        set link mtu 1400
        set link keep-alive 10 60
        set link max redial 0
        set bundle disable noretry
        set iface up-script /usr/local/etc/mpd4/up2
        open

Содержимое скриптов запуска:

#!/bin/sh
out_if="-interface ng0"
route delete default
route add default $out_if

Скрипт назначает наш pppoe канал маршрутом по умолчанию как для самого сервера, так и для клиентов

Скрипт up2:

#!/bin/sh
out_if="-interface ng1"
setfib 1 route add -net default $out_if
gw=`ifconfig ng1 | grep "inet" | cut -d " " -f 4`
host=`ifconfig ng1 | grep "inet" | cut -d " " -f 2`
fw="/sbin/ipfw -q"
users2=`cat /usr/local/etc/rc.fire.new | grep "users2=" | cut -d "=" -f 2`
num=`ipfw show | grep "fwd" | cut -d " " -f 1`
/usr/local/etc/rc.d/natd.sh
$fw delete $num
$fw add $num fwd $gw ip from $host to any

Суть этого скрипта в том, что он выдирает из вывода ifconfig текущие шлюз и ip (т.к. на втором соединении ип динамический) и добавляет эти значения в правило ipfw, обеспечивающее прохождение трафика. Подробней про эти правила будет ниже.

Файл mpd.links:

pppoe_vtk:
    set link type pppoe # Тип соединения PPPoE
    set pppoe iface em1 #Интерфейс, на котором создается pppoe соединение
    set pppoe service ""
    set pppoe disable incoming #запрещаем входящие соединения
    set pppoe enable originate
 
pppoe_vtk2:
    set link type pppoe
    set pppoe iface fxp0
    set pppoe service ""
    set pppoe disable incoming
    set pppoe enable originate

mpd настроен. При запуске он должен автоматически поднять соединения и мы увидим нечто вроде этого:

ng0: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
        inet 85.15.66.66 --> 85.15.64.119 netmask 0xffffffff
ng1: flags=88d1<UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST> metric 0 mtu 1400
        inet 85.15.81.133 --> 85.15.80.1 netmask 0xffffffff

Не забудьте прописать в /etc/syslog.conf:

!mpd
*.*                                             /var/log/mpd.log

Теперь займемся настройкой нат. Я использовал natd. Про свежевыпущенный ipfw скажу ниже

Прописываем в /etc/rc.conf следующее:

snake@snake [mpd4]#cat /etc/rc.conf | grep natd
natd_enable="YES"

далее создаем файлы конфигурации (в моем случае /etc/natd2.conf, /etc/natd3.conf):

snake@snake [mpd4]#cat /etc/natd2.conf
# порт, на котором висит natd
port 8448
# интерфейс
interface ng0
# стараться не изменять порты
same_ports yes
# перенаправлять только трафик с адресом источника 10.0.0.0/8, 172.16.0.0/12 и 192.168.0.0/16.
unregistered_only yes
dynamic yes
 
# проброс портов для отдельных машин наружу
redirect_port tcp 10.12.51.24:51024 51024
redirect_port udp 10.12.51.24:51024 51024
redirect_port tcp 10.12.51.24:51025 51025
redirect_port udp 10.12.51.24:51025 51025
snake@snake [mpd4]#cat /etc/natd3.conf
port 8558
interface ng1
same_ports yes
unregistered_only yes
dynamic yes
redirect_port tcp 10.12.51.118:31027 31027
redirect_port udp 10.12.51.118:31027 31027

создаем скрипт в /usr/local/etc/rc.d

snake@snake [mpd4]#cat /usr/local/etc/rc.d/natd.sh
#!/bin/sh
/sbin/natd -f /etc/natd2.conf
/sbin/natd -f /etc/natd3.conf

Запускаем, смотрим: в sockstat должно быть что-то такое:

snake@snake [mpd4]#sockstat -l4 | grep natd
root     natd       1033  4  div4   *:8558                *:*
root     natd       1031  4  div4   *:8448                *:*

Теперь приступим к самой ответственной части – а именно настройке фаервола :)
Тут я приведу конфиг полностью, с пояснениями и комментариями
Про ядерный nat ipfw можно почтитать тут

#Создаем каналы-пайпы. Труба одна для каждой группы пользователей
$fw pipe 100 config bw $downi queue 50
$fw pipe 200 config bw $upi   queue 50
$fw pipe 300 config bw $downi queue 50
$fw pipe 400 config bw $up2 queue 50
$fw pipe 500 config bw $downvtk queue 50
$fw pipe 600 config bw $upvtk queue 50
#-----------------------------------
 
#Очереди трафика (подробнее смотрим man ipfw) 
#именно они обеспечивают справедливое распределение канала между пользователями
#inet --> LAN
$fw queue 101 config weight $tcp2w queue 50 pipe 100 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
$fw queue 102 config weight $tcp1w queue 50 pipe 100 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> inet
$fw queue 201 config weight $tcp2w queue 50 pipe 200 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
$fw queue 202 config weight $tcp1w queue 50 pipe 200 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
 
#inet --> LAN
$fw queue 301 config weight $tcp1w queue 50 pipe 300 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> inet
$fw queue 401 config weight $tcp1w queue 50 pipe 400 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
 
#VTK --> LAN
$fw queue 501 config weight $tcp2w queue 50 pipe 500 gred 0.002/10/35/0.1 mask dst-ip 0xffffffff
 
#LAN --> VTK
$fw queue 601 config weight $tcp2w queue 50 pipe 600 gred 0.002/10/35/0.1 mask src-ip 0xffffffff
#-----------------------------------
#Настройки ядерного NAT. У меня нормально так и не заработал, но может у вас получится ;) 
$fw nat 300 config log if $wan same_ports deny_in
#-----------------------------------
#Selfcare & service
##loopback
# разрешаем ходить локалхост трафику, но только в пределах интерфейса loopback
$fwa 01000 allow ip from any to any via lo0
$fwa 01010 deny ip from any to 127.0.0.0/8
$fwa 01020 deny ip from 127.0.0.0/8 to any
#-----------------------------------
##Deny networks
# Запрещаем частные подсети на внешних интерфейсах
$fwa 1200 deny log ip from 10.0.0.0/8 to me in via $inet
$fwa 1210 deny log ip from any to 10.0.0.0/8 out via $inet
$fwa 1220 deny log ip from 172.16.0.0/12 to any in via $inet
$fwa 1230 deny log ip from any to 172.16.0.0/12 out via $inet
$fwa 1240 deny log ip from 192.168.0.0/16 to any in via $inet
$fwa 1250 deny log ip from any to 192.168.0.0/16 out via $inet
 
$fwa 1205 deny log ip from 10.0.0.0/8 to any in via $inet2
$fwa 1215 deny log ip from any to 10.0.0.0/8 out via $inet2
$fwa 1225 deny log ip from 172.16.0.0/12 to any in via $inet2
$fwa 1235 deny log ip from any to 172.16.0.0/12 out via $inet2
$fwa 1245 deny log ip from 192.168.0.0/16 to any in via $inet2
$fwa 1255 deny log ip from any to 192.168.0.0/16 out via $inet2
 
#-----------------------------------
#Allowing connetctions
#-----------------------------------
##Intranet connections
# Разрешаем соединение с сервером из локалки
$fwa 02100 allow ip from $hostel to $iplan $usr_ports in via $lan
$fwa 02110 allow ip from me to $hostel out via $lan
$fwa 02115 allow ip from me to $hostel out via $vlan
#-----------------------------------
##DNS (разрешаем связь с DNS серверами прова 
#и доступ к DNS-серверу на машине из локальной сети
$fwa 02310 allow udp from me to $vtk_dns out
$fwa 02320 allow udp from $vtk_dns to me in
$fwa 02330 allow udp from $hostel to $iplan 53 in via $lan
$fwa 02340 allow udp from $iplan 53 to $hostel out via $lan
$fwa 02350 deny udp from $hostel to $vtk_dns in via $lan
$fwa 02360 deny udp from $hostel to $vtk_dns in via $vlan
$fwa 02370 deny udp from $vtk_dns to $hostel out via $lan
$fwa 02380 deny udp from $vtk_dns to $hostel out via $vlan
#-----------------------------------
# Ради чего все затевалось - разрешаем пользователям из локалки доступ вовне
$fwa 03141 allow ip from "table(1)"  to not me in via $lan
$fwa 03142 allow ip from "table(1)" to not me in via $vlan
$fwa 03143 allow ip from not me to "table(1)" out via $lan
$fwa 03144 allow ip from not me to "table(1)" out via $vlan
#-----------------------------------
 
#NAT & queues
##Outcoming queues (исходящие очереди)
#Настройка очередей. Трафик сервера идет отдельной очередью
$fwa 05010 queue 201 ip from me to any out via $inet
$fwa 05020 queue 202 ip from $users to any out via $inet
$fwa 05030 queue 401 ip from $users2 to any out via $inet2
$fwa 05040 queue 601 ip from any to $vtk out via $wan
#-----------------------------------
##NAT
#Заворачиваем трафик от разных групп на разные natd
$fwa 07200 divert 8448 ip from $users to any out via $inet
$fwa 07250 divert 8448 ip from any to me in via $inet
$fwa 07100 divert 8558 ip from $users2 to any out via $inet2
#Говорим фаерволу, что трафик второй группы 
#нужно пускать через другой шлюз. 
#Именно это правило мы меняем, когда mpd делает реконнект
#Переменные $gw и $host определяются при каждом перезапуске
#скрипта с правилами
$fwa 07130 fwd $gw ip from $host to any
$fwa 07150 divert 8558 ip from any to me in via $inet2
# тот самый ядерный nat. оставил для примера :)
$fwa 07400 nat 300 ip from any to any via $wan
#----------------------------------
##Incoming queues (входящие очереди)
$fwa 08010 queue 101 ip from any to me in via $inet
$fwa 08020 queue 102 ip from any to $users in via $inet
$fwa 08030 queue 301 ip from any to $users2 in via $inet2
$fwa 08040 queue 501 ip from $vtk to any in via $wan
#-----------------------------------
#Allowing connections
##Outcoming allowers (разрешающие правила для соединений)
$fwa 09000 allow ip from $users to $vtk out via $wan
$fwa 09010 allow ip from me to $vtk out via $wan
$fwa 09023 allow ip from me 12553 to any out via $inet
$fwa 09034 allow ip from me 12554 to any out via $inet
$fwa 09040 allow ip from $users to any out via $inet
$fwa 09050 allow ip from $users2 to any out via $inet2
$fwa 09060 allow ip from me to any out via $inet
$fwa 09070 allow ip from me to any out via $inet2
#----------------------------------
##Incoming allowers
$fwa 09100 allow ip from $vtk to $users in via $wan
$fwa 09110 allow ip from $vtk to me in via $wan
$fwa 09120 allow ip from any to $users in via $inet
$fwa 09130 allow ip from any to $users2 in via $inet2
$fwa 09143 allow ip from any to me 12553 in via $inet
$fwa 09154 allow ip from any to me 12554 in via $inet
$fwa 09160 allow ip from any to me in via $inet
#$fwa 09700 allow ip from any to me in via $inet2
#----------------------------------
##ICMP
$fwa 50200 allow icmp from me to any
$fwa 50250 allow icmp from any to me
##Allow all outcoming
$fwa 60000 allow ip from me to any

На этом в общем-то все :) выставляем на клиентских машинах шлюзом по умолчанию наш сервер и радуемся – инет должен работать

]]> http://snake.khd.ru/2009/10/kazhdomu-po-potrebnostyam-shejping-trafika-pri-pomoshhi-ipfw/feed/ 2