doc/Network.mdwn

   1 # Network infrastructure
   2
   3 ## Networks
   4
   5 NOC operates a number of networks, available as tagged VLANs on the core switches:
   6
   7 | Name     |  ID | DNS | CIDR                               | Comment                              |
   8 |----------|-----|-----|------------------------------------|--------------------------------------|
   9 | realfunk |   6 | n   | 192.168.6.0/24                     | realfunk management network          |
  10 | mgmt     |  32 | y   | 192.168.32.0/24                    | management network                   |
  11 | iot      |  33 | y   | 192.168.33.0/24                    | IoT devices, room infrastructure     |
  12 | svc      |  34 | y   | 192.168.34.0/24                    | Services LAN, see below              |
  13 | [HAMNET] |  44 | n   | 44.0.0.0/8                         | Amateur Radio Digital Communications |
  14 | guests   | 127 | y   | 192.168.127.0/24                   | Exposed through the “realraum” SSIDs |
  15 | members  | 128 | y   | 89.106.211.32/27, 192.168.128.0/24 | Accessed with per-member credentials |
  16 | pub      | 130 | y   | 89.106.211.64/27                   | Publicly-available services          |
  17 | UPC      | 168 | n   | <dynamically assigned>             | UPC DOCSIS Internet                  |
  18 | `0xFF`   | 255 | n   | 10.12.240.240/28                   | Funkfeuer VLAN                       |
  19
  20 [HAMNET]: https://wiki.oevsv.at/index.php/Kategorie:Digitaler_Backbone
  21
  22
  23 ### `realfunk` -- realfunk management network
  24
  25 This network will be used by realfunk to communicate between the ground station
  26 and things like SDR or similar stuff mounted on the roof. For now this network
  27 does not need DNS or connection to any other network. There also won't be any
  28 network services such as DHCP or recursive DNS. realfunk will probably run their
  29 own DHCP server.
  30
  31
  32 ### `svc` -- Services LAN
  33
  34 This network is intended for services that aren't directly exposed to users
  35 (be they humans or machines); this includes services exposed through a frontend
  36 (like realraum web services) and services only meant to be consumed by another
  37 service (like a database server).
  38
  39
  40 ### `pub` -- Publicly-available services
  41
  42 This network is intended for services that can be consumed by non-NOC systems,
  43 including our HTTP(S) frontend -- `entrance`, `mqtt`, ...
  44
  45 Services in this network can restrict availability, for instance by only
  46 allowing clients connecting from our LANs, or by requiring authentication.
  47
  48 No RFC 1918 subnet is used on this network, only `89.106.211.64/27`.
  49
  50
  51 ### Conventions
  52
  53 - The DNS zone for a given network is `NET.realraum.at`, with the exception of
  54   `pub` (which uses `realraum.at`) and VLANs which have no `realraum.at` zone.
  55 - When a network uses RFC 1918 IP space, it is the 192.168.VID.0/24 subnet;
  56   for instance, the `iot` network has id 33 and uses the 192.168.33.0/24 subnet.
  57 - The gateway for a network is on the last IP for the subnet.
  58
  59
  60 ### Routing and firewall rules
  61
  62 This network diagram represents networks, and the connection flows between them:
  63 an arrow from A to B means that a connection can be opened from network A to
  64 network B.  In all cases, a subset of ICMP (ECHO, ...) is allowed.
  65
  66 Note that any given system might have interfaces in several of these networks.
  67
  68 [[!img Network/overview.svg alt="r³ network overview"]]
  69
  70
  71 ## WiFi
  72
  73 Each location has a single AP, `ap{0,1}.mgmt.realraum.at`, which provides SSIDs
  74 for the IoT network (`realstuff`) and the LAN (`realraum` and `realraum5`);
  75 we use Ubiquity hardware running OpenWRT.
  76
  77
  78 ## Physical locations
  79
  80 The switches have hostnames `sw{0,1}.mgmt.realraum.at`, and the WiFi access
  81 points are similarly `ap{0,1}.mgmt.realraum.at`. `0` denotes the main room, and
  82 `1` denotes the second appartment.
  83
  84
  85 ### W2 -- Room 1
  86
  87 r1w2 has two fiber connections: one to the main room, and one to the radio room.
  88 (We use fiber to avoid creating a ground loop between the locations.)
  89
  90 In r1w2, we have a rack hosting a number of devices:
  91
  92 - the patch panel and core switch (`sw1.mgmt.realraum.at`) for W2;
  93 - the `alfred` virtualization server;
  94 - miscelaneous devices:
  95   - RIPE ATLAS probe;
  96   - some Raspberry Pi belonging to members;
  97   - ...
  98
  99 **Note:** members setting up devices that only need power and network access
 100           should do so in this rack (or even better, run a VM or a container
 101           on `alfred`).
 102
 103
 104 ### W2 -- realfunk
 105
 106 realfunk receives the VLANs trunked on a single fiber; the switch there, `sw2`,
 107 provides untagged ports on guests, `0xFF`, and HAMNET, which are labelled on the
 108 device. Moreover, a single port (5) has the untagged guests LAN, along with
 109 tagged HAMNET packets, used by the desktop computer there.
 110
 111 Moreover, there is a Funkfeuer node there; it *does not* advertise the realraum
 112 SSIDs.
 113
 114
 115 ### Main room
 116
 117 The main room has its patch panel and core switch (`sw0.mgmt.realraum.at`) in
 118 Cx. The patch panel has a fiber link to r2w1, and a copper link to an external
 119 antenna for our link to Funkfeuer.
 120
 121 The network shelf in Cx also houses some important devices:
 122
 123 - `gw.realraum.at`;
 124 - `smsgw.mgmt.realraum.at`, plus its mobile phone;
 125 - the PoE injectors for `ap0.mgmt.realraum.at` and `sch24.r3.ffgraz.net`;
 126 - `test.r3.ffgraz.net`, which is a test Funkfeuer node.