Теперь все компьютеры дома на 10GbE

В прошлый upgrade (c88a83563caf8a6000f430b69e37aa4766315c93) я соединил
только два сервера 10GbE сетью через DAC кабель. А моя основная рабочая
машина, Intel NUC, ходила по 1GbE. Сегодня привезли ещё одну сетевую
карту и два SFP+ на RJ45.

Карта точно такая же с Mellanox ConnectX-3 чипом и двумя портами, что и
заказывал прежде. Но её вставил во второй сервер, а из него вынул карту
с одним SFP+ портом и Intel чипом на борту. Благо что ко всем карточкам
давались низкопрофильные планки, ибо в старый сервер только такие
влезают.

Вставил всё это дело в NUC. И... ничего не заработало. Карта вообще не
видится в списке PCI устройств. Изначально то я именно Mellanox новую
купленную попробовал, потом её заменил на Intel, который точно рабочий
-- подумал что может быть карта нерабочая?

Но я же теперь типа немного поумнее стал после просмотра лекции введения
в PCIe (4df90850b243b914bf29f7ee7396c99724af3945) и подумал что может
быть в NUC, учитывая что у меня аж два NVMe там уже стоят, банально не
хватает каким-то образом PCIe lane-ов или что-нибудь в этом духе? Так то
в NUC 4x и 16x gen 3 порта. Поставил в BIOS: force 8x, 4x, 4x в разделе
PCIe bifurcation. И всё заработало! Причём 4x gen3 lane-ов достаточно
для обоих NVMe, а 8x gen2 достаточно (даже избыток) для NIC.

SFP+ заработали без проблем. Проверил iperf3: более 9Gbps, но скорость
сильно танцует и плавает на полгигабита. С DAC-ом 9.88 стабильно
показывает. Греется, действительно, как и пишут, пипец как сильно,
трогать пальцем нельзя. Но хотя бы если кабель не подключён, то вроде
перестаёт.

Cat7 кабеля у меня нет, только 6e. Но расстояние в полметра -- так что
наверное вряд ли на что-то влияет. Так вот главное то: ping на DAC
показывал ± стабильно 0.030мс, тогда как на RJ45 0.110мс, которые
колбасятся и иногда >0.220, иногда чуть меньше 0.090.

Добавил интерфейс в BIRD OSPF конфигурацию, указал меньший cost для
10GbE link-ов и IPv6 трафик автоматом идёт по более быстрому каналу. По
умолчанию cost=10 для 1GbE. Я указал cost=5. Это сработало при
подключении сервер↔сервер. Но мой NUC подключён 10GbE только к одному
серверу, и 1GbE через коммутатор ко второму. Он выбирает для второго
сервера маршрут через 1GbE, а не через, пускай и на один hop дальше,
10GbE link-и. Плюс раньше у меня default route шёл просто через
-iface wg_gw, а сейчас это уже либо 10GbE, либо wg туннель. Надо как-то
динамически менять этот default route будет.