uvw mapping channel nie ma z tym nic wspólnego (mapping channel dotyczy całego objektu, po prostu nakłada różne uvw, ale zawsze na cały objekt),
zrób dwie mapki, jedną tą co masz teraz, drugą która steruje gdzie ma być disp a gdzie nie (czarnobiałą),
dla tej drugiej zrób przedtem uvw map albo unwrap z innym uvw channel (np. 4), i użyj jej jako maski (czyli mask map, z twoim displacem jako map i z mapką sterującą jako mask).
to wszystko wsadź do materiału w slocie displace, i w vray displacement mod wybierz "use object mtl" (to umożliwi korzystanie z dwóch różnych mapping channel)
prostą możliwością na mapkę sterującą jest Vertex Paint modifier (wtedy nie musisz unwrapować, musisz tylko dać mu inny channel), i potem jako mask Vertex Color z odpowiednim czannel