Neoromantiskā ainavu parka ieskauto Jaungulbenes pili, kas atrodas 17 km uz dienvidiem no Gulbenes, ap 1904. gadu cēlis vietējās muižas īpašnieks Pauls Oto fon Tranzē – Rozeneks (Transehe – Roseneck). Šajā celtnē, bagātīgi izmantojot senatnē līdzi šļūdonim no Skandināvijas atceļojušos laukakmeņus, realizēta tālaika Ziemeļeiropā plaši izplatītā tendence radīt oriģinālas, tipiski ziemeļnieciskas arhitektūras formas.