Desde que me alejé de SAMBA, he estado plagado de diversas rarezas con SMB y con los clientes de Windows y Mac.
Excavar sobre /var/log solía hacer el truco, pero no parece que los mensajes del servidor SMB estén realmente contenidos en su totalidad ahora. ¿Cómo se puede ver todos los mensajes del servidor SMB y la salida en 10.12 y 10.13?
Si bien aún no he encontrado la solución real a la pregunta original (actualizaré esto una vez que lo haga o alguien más lo haga), sí encontré una solución que parece ser el problema real que me llevó a formular esta pregunta.
Parece que macOS 10.13.x es muy problemático con su servidor SMB. Los clientes de Windows parecen conectarse bien, pero 10.13 clientes con mucha frecuencia tienen problemas graves para colgar. Ahora también he visto a otros mencionar este problema durante algunos meses.
El truco parece ser modificar /etc/nsmb.conf para que cambie el comportamiento un poco (creo que la clave real es cambiar la versión del protocolo a 1):
[default]
signing_required=no
dir_cache_off=yes
protocol_vers_map=1
Después de reiniciar los clientes que he actualizado para tener esto, ahora ya no experimento los bloqueos que tenía anteriormente en varias estaciones de trabajo 10.13. Windows también funciona bien accediendo a los recursos compartidos. OpenZFS en OSX compartir en grupo también es bueno con esto.