Записки на полях » зеркало

Шаманы в зазеркалье: поднимаем зеркало Ubuntu под FreeBSD

admin — Fri, 16 Apr 2010 07:29:59 +0000

Имея небольшую локалку, некоторое количество пользователей-линуксоидов и довольно тощий канал в инет, разумно было бы поднять свое зеркало репозитария Убунты, чтобы пользователи лишний раз не лазили куда не надо. Удобнее всего зеркало умеет делать сам линукс – буквально в пару команд. Но из серверов в наличии имеется только FreeBSD версии 7.2 – не смертельно конечно, но повозиться придется чуть дольше.

Перво-наперво определяемся с местом – у меня зеркало для двух версий (9.04 и 9.10) заняло около 80 гигов. Затем ставим нужные пакеты:

/usr/ports/www/p5-libwww
/usr/ports/devel/p5-LockFile-Simple
/usr/ports/archivers/p5-IO-Compress-Base
/usr/ports/archivers/p5-Compress-Zlib/
/usr/ports/archivers/p5-Compress-Raw-Zlib/
/usr/ports/archivers/p5-IO-Compress-Zlib
/usr/ports/security/p5-Digest-SHA1
/usr/ports/security/p5-MD5
/usr/ports/net/p5-URI
/usr/ports/security/gnupg

После это качаем исходники скрипта debmirror отсюда.

Качаем, распаковываем – в линуксе его можно установить, у меня он работает и без этого – достаточно просто знать, куда мы его распаковали. После этого готовим специальный скрипт:

#!/bin/sh
/home/snake/debmirror --progress --verbose \
--cleanup --nosource --md5sums --host=mirror.yandex.ru \
--root=ubuntu --ignore-release-gpg \
--dist=jaunty,jaunty-security,jaunty-updates,jaunty-backports, \
karmic,karmic-security,karmic-updates,karmic-backports 
--section=main,restricted,universe,multiverse --method=http \ 
--arch=i386,amd64  /mnt/media4/ubuntu

Кратко поясню:

# --arch         #Архитектура. Может быть i386, powerpc или amd64.
# --section=    # Секция (main/restricted/universe/multiverse). Как минимум main, restricted
# --dist=        # Релиз (кодовое название, а так же опции security, updates, backports
# --host=       # Имя сервера
# --root=       # Папка на сервере (обычно /ubuntu)
# --method=   # Протокол для передачи (http, ftp, hftp, rsync)
# /mnt/media4/ubuntu      # Директория с зеркалом
 
# --nosource      #не качает deb-src пакеты, существенно экономит место
# --progress       #показывает процесс скачивания
# --cleanup        #удаляет устаревшие пакеты
# --verbose        #показывает подробные ошибки
# --ignore-release-gpg  # не проверять gpg подпись скачиваемых пакетов. 
# Почему-то не отключается, и получать gpg ключ все равно приходится. 
# Как получить - написано ниже.
# --md5sums          # Проверять md5 хэши скачиваемых пакетов

Если при запуске скрипта вываливается вот такая ошибка:

gpgv: keyblock resource `/root/.gnupg/trustedkeys.gpg': general error
gpgv: Signature made Срд 22 Апр 2009 21:35:26 UTC using DSA key ID 437D05B5
[GNUPG:] ERRSIG 40976EAF437D05B5 17 2 00 1240436126 9
[GNUPG:] NO_PUBKEY 40976EAF437D05B5
gpgv: Can't check signature: public key not found

То выполняем вот такую команду:

snake@snake [~/.gnupg]# gpg --keyserver keyserver.ubuntu.com -a --no-default-keyring 
--keyring trustedkeys.gpg --recv-keys <key ID>

Где берем из ошибки. Получившийся файлик копируем в папку ~/.gnupg/

Когда все файлы обновлений скачаются, следует открыть доступ к папке с зеркалом через http и/или ftp, например так:

ln -s /mnt/media4/ubuntu /var/www/ubuntu

Добавим наш скрипт в cron. Для этого в файл /etc/crontab добавим:

30      4       *       *       7       root    /home/snake/umirror.sh

Наше зеркало будет обновлять раз в неделю в 4.30 утра – пакеты обновляются не так уж часто, а в случае чего-то критического никто не мешает запустить обновление вручную.

Далее остаются сущие мелочи – настроить клиента:

cd /etc/apt
sudo mv sources.list sources.list.orig
sudo mcedit sources.list
deb http://snake.khd.ru/ubuntu karmic main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-updates main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-security main restricted universe multiverse
deb http://snake.khd.ru/ubuntu karmic-backports main restricted universe multiverse

После этого пользователи должны вообще забыть о существовании удаленных репозиториев – разве что для какой-то экзотики.

Зазеркалье: настраиваем локальное зеркало CVSUP

admin — Sat, 10 Oct 2009 14:41:08 +0000

Если машин с FreeBSD в локалке больше одной, то встает вопрос – можно ли обновлять порты и исходные коды с одной выделенной машины? Во-первых, экономится трафик. Во-вторых, меньше загружается канал во внешний мир.

Для подобных целей в портах предусмотрена утилита cvsup-mirror:

snake@snake [snake]# cd /usr/ports/
snake@snake [ports]# make search name=cvsup-mirror
Port:   cvsup-mirror-1.3_8
Path:   /usr/ports/net/cvsup-mirror
Info:   A kit for easily setting up a FreeBSD mirror site using CVSup
Maint:  jdp@FreeBSD.org
B-deps:
R-deps: cvsup-without-gui-16.1h_4
WWW:    http://www.cvsup.org/
 
snake@snake [ports]# cd /usr/ports/net/cvsup-mirror
snake@snake [cvsup-mirror]# make install clean

Отвечаем на вопросы мастера:

Master site for your updates [cvsup-master.freebsd.org]? cvsup5.ru.FreeBSD.org
# Сервер обновлений, с которого будем качать обновления.
How many hours between updates of your files [1]?
# как часто запускать обновление
Do you wish to mirror the main source repository [y]?
# обновлять порты и исходники.
Where would you like to put it [/home/ncvs]? /usr/local/www/cvsupd
# папка, где будет лежать скаченное (порядка 3-4ГБ)
Do you wish to mirror the installed World Wide Web data [y]? n
# сделать зеркало сайта http://www.freebsd.org
Do you wish to mirror the GNATS bug tracking database [y]? n
# зеркало базы багов
Do you wish to mirror the mailing list archive [y]? n
# e-mail рассылки

Далее подтверждаем создание пользователей и групп, под которым будет работать cvsup-mirror, подвтерждаем внесение измений в crontab (для регулярного запуска обновлений) и в syslog.conf для настроек логирования.

Программа сконфигурирована и в дальнейшей настройке не нуждается.

пишем в rc.conf: cvsupd_enable=”YES”

Запускаем:

snake@snake [snake]# /usr/loca/etc/rc.d/cvsupd start

Проверяем:

snake@snake [/etc]#/usr/local/etc/rc.d/cvsupd status
cvsupd is running as pid 16512.
 
snake@snake [/etc]#sockstat -l4 | grep cvsup
cvsup    cvsupd     16512 3  tcp4   *:5999                *:*

Запускаем скрипт обновления:

snake@snake [snake]# /usr/loca/etc/cvsup/update.sh

Обязательно пишем полный путь, иначе скрипт не запустится

Идем пить кофе, потому что тянуть в первый раз программа будет очень много – порядка 3,5 гигабайт. При этом программа может выдать что-то типа такого:

[root@webdes cvsup]# /usr/local/etc/cvsup/update.sh
CVSup update begins at 2006-10-18 18:37:22
lockf: /var/spool/lock/cvsup.lock: already locked
CVSup update ends at 2006-10-18 18:37:22

А может, как в моем случае, совсем ничего не выводить.

Настраиваем соотвествующим образом sup-файлы для утилиты cvsup:

ports-supfile

*default host=localhost
*default base=/var/db
*default prefix=/usr
*default release=cvs
*default delete use-rel-suffix
*default compress
ports-all tag=.

src-supfile

*default host=localhost
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_7_2
*default delete use-rel-suffix
*default compress
src-all

Настраиваем, кто может от нас обновляться: /usr/local/etc/cvsup/cvsupd.access

-0.0.0.0/0      8         # Общее ограничение одновременных подключений
-0.0.0.0/0/32   1        # только одно подключение с хоста
+10.12.5.0/24   8       # Локалка
+10.12.51.0/24  8      # Локалка
+10.12.4.0/24   8       # Локалка
+127.0.0.1/32   1       # localhost

И еще одно маленькое замечание: у меня при обновлении с серверов cvsup1.ru.freebsd.org-cvsup4.ru.freebsd.org программа полностью не обновляла репозиторий, и csup выдавал нечто вроде ports-all: unknown ports collection. В интернетах советуют использовать использовать утилиту cvsupdpasswd, чтобы сгенерировать пароль и отослать его в саппорт cvsup-серверов freebsd. Общение с этим самым саппортом убедило в обратном – для локальных серверов пароль не нужен :) достаточно сменить cvsup-сервер, с которого льем обновления на “менее престижный” (например, cvsup5.ru.freebsd.org).

Проверяем работу сервера, запустив утилиту csup:

snake@snake [/etc]#snake@snake [snake]#csup -g -L 2 /home/snake/local-supfile
Parsing supfile "/home/snake/local-supfile"
Connecting to localhost
Connected to 127.0.0.1
Server software version: SNAP_16_1h
Negotiating file attribute support
Exchanging collection information
Establishing multiplexed-mode data connection
Running
Updating collection src-all/cvs
 Edit src/UPDATING
  Add delta 1.507.2.23.2.7 2009.10.02.18.09.56 simon
 Edit src/sys/conf/newvers.sh
  Add delta 1.72.2.11.2.8 2009.10.02.18.09.56 simon
 Edit src/sys/fs/devfs/devfs_vnops.c
  Add delta 1.149.2.8.2.2 2009.10.02.18.09.56 simon
 Edit src/sys/kern/kern_exec.c
  Add delta 1.308.2.8.2.2 2009.10.02.18.09.56 simon
Shutting down connection to server
Finished successfully