Por ecosistema de software creo que lo más sencillo (y más caro) sería un NAS Synology de 2 bahías siempre que no se te quede corto de espacio. Asustor que es el que tengo yo es más barato y flexible (mejor hardware por el mismo precio, compatilbilidad con módulos de RAM y discos de terceros), pero si montas tú los servicios (el software de Asus es demasiado básico), por lo que hay que aprender más (imprescindible aprender lo básico de Docker).
Ya también depende del presupuesto, yo tengo el AS6704T con 12 GB de RAM (traía 4 GB y compré un módulo adicional de 8 GB) un RAID 1 de 2x1 TB NVME WD Blue para el sistema operativo, un RAID5 de 3x18 TB HDD Seagate Exos x20 para multimedia, y otro disco de 18 TB Exos independiente en MyArchive (es un sistema de Asustor para crear volúmenes independientes que se pueden intercambiar en caliente y conectar a cualquier PC y que los lea), y cuando me pongo a hacer números y pensar en el PC para jugar que me podría haber montado con ese presupuesto se me saltan las lágrimas. Si solo quieres fotos y vídeo, pero no tienes mucho contenido (yo es que tengo muchas películas UHD REMUX de más de 50 GB) o no tienes películas 4K (creo que un WebDL 4K en calidad de las plataformas de Streaming suele ocupar unos 20 GB) te podría servir un 2 bahías, y luego un disco duro externo para hacer backups de lo importante.
Eso sí, una vez lo tengo funcionando todo, estoy muy contento: Nextcloud para nube privada, Jellyfin para multimedia y Immich como nube alternativa de fotos (la principal es Nextcloud Memories), Vaultwarden como gestor de contraseñas, PiHole, gestores de descargas y proxy inverso para añadir una capa de seguridad a los accesos remotos (lo suyo sería no exponerlo a internet o usar una VPN, pero para que mi familia pueda conectarse a Jellyfin tuve que hacerlo así). Hay que tener cuidado con exponer los mínimos servicios posibles (abrir puertos a internet) para que no entre ransomware, antiguamente hubo ataques con Deadbolt (siempre es recomendable hacer backup 3-2-1 de lo importante por si acaso). Todo dockerizado y gestionado con Portainer. Synology creo que tiene su propio gestor de contenedores Docker, en Asustor o los levantas mediante consola de comandos por Putty o usas Portainer. Synology creo que tiene buenas Apps propias para fotos, e incluso tiene una decente para vídeo. Luego hay gente que además los usan para domótica, para guardar grabaciones de cámaras de vigilancia… hay un montón de posibilidades.
En cuanto a la transcodificación por hardware, solo comparto con mi madre que tiene tele FullHD, por lo que solo transcodifica a 1080 sin HDR a un bitrate de 15Mbps (el mismo que usa Netflix para 4K) y va sobrado, pero creo que puede comerse más de una transcodificación simultánea a 4K. Es importante que el procesador tenga gráfica integrada, que últimamente los nuevos modelos de Synology y Asustor (creo que están más enfocados para oficinas pequeñas) llevan Ryzen sin gráfica y no sirven para transcodificar.
Lo que me da un poco de miedo es que al final es algo que va a requerir cierto mantenimiento y no sé de aquí a unos años cuando tendré que ir cambiando discos (tengo cada RAID con tolerancia al fallo de un disco), o que falle el hardware y pierda cosas. Lo básico lo tengo respaldado, el multimedia es imposible porque ocupa muchísimo y no merece la pena. Pero aún así me da un poco de miedo. Los discos de los RAID es recomendable que sean de lotes diferentes porque se van desgastando al mismo ritmo (yo lo que hice fue ir comprando un disco nuevo cada 6 meses para minimizar riesgos).
Con el MiniPC vas a tener más tarea, pero igual le puedes poner UnRAID o TrueNAS y usar servicios dockerizados de todas maneras, pero no sé si es mejor eso o instalarlos directamente, de Proxmox no tengo ni idea, aunque me sonaba que era para montar máquinas virtuales.
Perdón por el tocho, más que contestar a tus dudas me he puesto a hablar un poco de mi libro y seguro que te he creado más, pero también era un poco para que veas lo que puede dar de sí un NAS en cuanto a ir poniéndole servicios, cosas a tener en cuenta de seguridad y configuración por el ransomware y backups/redundancia…