wyjaśniłaś, chyba załapałem. spróbuj tak. będziesz potrzebowała dwóch masek dla obu materiałów. stwórz materiał Blend. w slot główny wrzuć VRayLightMtl biały, a w slot podrzędny czarny. zaznacz obu "emit light on back side". jako Blend amount użyj swojej tekstury (bo zrozumiałem, że granicę między oboma materiałami kontrolujesz właśnie mapką blend). w ustawieniach rendera (Global switches) powyłączaj wszystko oprócz Maps (czyli disp, światła, cienie, reflecty itd.) wejdź również w Color mapping i wklep standardowe ustawienie (Linear Mapping; 1,0; 1,0; 1,0). nie jest tak dużo klikania jak się wydaje a w rezultacie po wyrenderowaniu otrzymasz czarno białą maskę jednego materiału. potem w swoim materiale Blend zamień czarny z białym miejscami i znów wyrenderuj. oba obrazki posłużą Ci za maski w szopie. wystarczy że przejdziesz do zakładki Channels (trzecia po Layers), wkleisz render i klikniesz na nim z Ctrl - wtedy białe obszary zmienią się w zaznaczenie.
nie wiem czy o to chodziło bo niejasna jest dla mnie kwestia przezroczystości obiektów w tle, ale w kwestii robienia masek z renderu to dla mnie póki co najwygodniejszy sposób. tzn, średnio wygodny ale dokładny:)