Tworzymy nowy upscaler do archvizu

[jefim]

Z kolegą z pracy przygotowujemy się na wejście na kikstarter`a, aby zebrać pieniądze na stworzenie portalu do powiększania wizualizacji. Efekty są obiecujące. Udaje się nam powiększyć obraz do 16000pix. W porównaniu do konkurencji nie psuje nam architektury, za to poprawia zieleń ludzi i zwierzęta. 

Kilka przykładów (scroll to zoom):

https://imgsli.com/MzIzNzE1  - z1600pix na 12800pix

https://imgsli.com/MzIyODM0   -x4

https://imgsli.com/MzI0NTg5  -x4

https://imgsli.com/MzI0NTkw  -x4

na karcie RTX4080 16G powiększenie 4x z 1600 na 6400 liczy się ok 10min.

Trzymajcie za nas kciuki.

[Winoo1]

Jak zrobicie apkę standalone z perpetual license, to macie moje wsparcie :)))))

[kengi]

Faktycznie zwierzątka i ludzie wychodzą ok. Przynajmniej jak sprawdziłem na wrapperze stable diffusion, ten kaleczy trochę konia... zgaduję, że wrappujecie fluxa. Zaraz każdy agregator AI enhanceruf, będzie to miał. Jak tylko podmienią modele na fluxa.

Powodzenia nie życzę, bo AI śmierdzi gufnem, kradnie i fogule jest be. Zapraszamy do dyskusji:

 

[jefim]

Nie używamy fluksa. Okazał się zbyt wolny i ma ograniczenia co do rozdzielczośći. 

[kengi]

Czyli podszkolony stable diffusion.

[Nezumi]

Tak jak "AI" nie jest AI tak upscale'lery nie upscale'uja 😄 Zawsze zachodze w glowe skad sie biora takie kwiatki jak "upscale" bialych spodni na czarne jak na pierwszym przykladzie. Albo Azjaty na bialego. Albo na drugim przykladzie kanapa z poduszkami w pierwszym pomieszczeniu po prawej, za szyba, gubi w ogole poduszki i zamienia kanape w jakies nieistniejace, ostrokatne... cos. O zmianach w anatomii konia nie nie bede sie rozwodzil...

Dalej nie chcialo mi sie sprawdzac bo sie tylko denerwuje a to po prostu technologia dla ludzi ktorzy w dupie maja szczegoly.

[jefim]

W środku sporo się tak naprawdę dzieje działa to prawie jak magia. Zróbmy tak jeżeli ktoś chce to zapraszam proszę podesłać mi jakąś wizualizację chętnieprzepuszę ją dla testów i opublikuję w tym wątku. 

[Destroyer]

@Nezumi

[kengi]

Ale na co ten kickstarter? Macie gotowca input>output. Magii nie ma. Zróbcie zrzynkę z jakiegoś clipdropa i wsio.

Ale czas 10min na jeden upscale to w sumie dużo. Bo na ten moment, chyba nie możecie zapuścić tego na kilku GPU na raz. Więc nie zapowiada się na łatwo skalowalne rozwiązanie... chyba że zbieracie na nowe 5090 ;P.

Tutaj konkurencja wypluwa takie coś w minutę. Koń gorszy, i zbyt wyraźny sharpen, ale kto to zauważy, zwłaszcza, że raczej target na detale uwagi nie zwraca.

Edit: za to mnie pokaleczył kolory i ogólnie bliżej oryginału siedzi. Może dlatego koń "gorszy" wyszedł, bo źródło kiepskie.

Edytowane 6 Grudzień 2024 przez kengi

[Nezumi]

Jesli slabe wizki tez "upscale'uje" to tak dla jaj - i z ciekawosci - wygrzebalem mega stary render z czasow jak wierzylem w Blendera 😄 Meble sa wazne bo to bylo dla producenta tych mebli wlasnie, wiec zmienianie szczegolow takich jak uchwyty czy geometria mebli i ich kolor jest niedopuszczalne. Mozna dodac cos za oknem i zmienic dywanik czy tam obrazki na scianie - to nie ma znaczenia.

[kengi]

Masz na stable diffusion w minutę x8.

Edytowane 6 Grudzień 2024 przez kengi

[jefim]

W  poniedziałek to wrzucę. Juz zacząłem weekend. Tichel cierpliwości 

[Nezumi]

16 minutes ago, kengi said:

Masz na stable diffusion w minutę x8.

Chcialem sie czepic nieco znieksztalconych uchwytow ale material wejsciowy jest tak kiepski ze trudno winic soft ze cos tam plywa troche. Tym niemniej no moglby sie czepic klient bo na malym to nie widac ale na wiekszym juz tak. Jedyna  powazniejsza wada jaka widze to to, ze na ramie lustra - ktore bylo czescia tego zestawu - dodalo jakies kreski podobne temu co dodalo na zaslonach. To juz by byl problem. Ale ogolnie, zwlaszcza jak na minute i zwazywszy jakosc oryginalu - calkiem ok.

16 minutes ago, jefim said:

W  poniedziałek to wrzucę. Juz zacząłem weekend. Tichel cierpliwości 

Luz. Ot jestem ciekaw co zrobi z malo realistycznym renderem starym.

[kengi]

Większość tych rozwiązań opiera się o algorytm, który utrzymuje w ryzach te generacje. Najczęściej z inputu robi sobie krawędzie (jakiś edge detect algorytm), które są dla niego warstwą kontrolną. Możesz w tych modelach ustawić sobie nawet procentowo na ile ma się tego trzymać a na ile może sobie coś wymyślić. Niektóre online rozwiązania mają na to suwaki. Poniżej ekstremalny przykład, gdzie szkic zrobiony ręcznie pełni tę rolę.

A taki https://magnific.ai/ poszedł nieco w drugą stronę i postawił na większy luz, przez co niektórzy się jarają wyplutymi tworami, bo dodaje detalu nie zważając na oryginał. Tutaj koledzy mają coś pośredniego z jakimiś ustawieniami pod kątem archvizu po prostu. Na jakimś comfyUI można sobie takie coś wyklikać, śmiem twierdzić. Ale może ktoś będzie chciał zapłacić i kickstarter się uda.🤔
 

[kengi]

Tutaj jeszcze zrobiłem testy stable diff, gdzie masz trzymanie się edges na 70% resztę sobie wymyśla. Bez upscale'u.

Poniżej na 40%. It's a wild ride man haha.

i 25%:

[Nezumi]

Spoko ten ostatni tylko juz ma niewiele wspolnego z oryginalnymi meblami. Ale zielenina za oknem i w domu spoko. Nawet lampki dodal na suficie czego zawsze mi brakowalo tam ale deadline - wicie rozumicie...

Ja tak na zachete wrzucilem stary renderek - niech jakis porzadny wizkowiec wrzuci cos fajnego to zobaczymy na co stac e-jaja.

Edytowane 6 Grudzień 2024 przez Nezumi

[adek]

Super! Trzymam kciuki. Jedynie wiecie jak to tera wygląda. 
Kickstarter to raczej błąd, w ogóle po co? 

Jeśli macie taki produkt - albo szukajcie finansowania u inwestowrów lub mając coś takiego, odpalcie to w chmurze jako sass (tak robi każdy i to najlepsze wyjście). 

Nawet mając mniejsze moce obliczeniowe, możecie się targetować na studia archviz. Ale kickstarter - jak to ktoś napisał - raczej to nie produkt na tego typu rzecz. Najlepszym inwestorem są klienci. Ten wątek pokazuje, że efekty są dobre i macie zadowolone osoby z tego jak to działa. 

BTW. Jak potrzebujecie pomocy, napiszcie mi jakaś notatke. W ogóle startując taki projekt - landing page, przykłady, request demo. Wiele nie trzeba, strone wyklikacie i macie co pokazać inwestorom czy klientom. 

Nie idźcie w kickstartera bo zanim to tam odpalicie, ktoś was wyprzedzi lub ktoś wejdzie z gorszym produktem, ale szybciej, 

 

[jefim]

Nezumi: przeskalowałem twoją wizualizację: https://mega.nz/folder/1VJUHAjA#aKgOm868SBWKh39ce_Z6eg

Próbowałem wrzucić na porównywarkę, ale nie przyjmuje już takich rozdzielczości.

Zapomniałem dodać wcześniej, że u nas masz 4 warstwy. 01 - powiększa 02- dodaje detalu, niestety na tą chwilę psuje trochę niebo (pracujemy nad tym). 03 dodaje jeszcze więcej detalu 04 - podkręca ludzi i zwierzęta. Jak któraś warstwa coś zepsuje można wybrać z innej.

 Może ktoś jeszcze ma ochotę wrzucić jakąś wizualizację? Chętnie przetestuję.

Adek: Dzięki. Odezwiemy się.

[Nezumi]

2 hours ago, jefim said:

Nezumi: przeskalowałem twoją wizualizację

Biorac pod uwage marnosc oryginalu to dobra robota 🙂 

[Destroyer]

10 minutes ago, Nezumi said:

Biorac pod uwage marnosc oryginalu to dobra robota 🙂 

Czyli Nezumowy seal of approval? 🙂

[jefim]

Nadal zachęcam jak ktoś chce spróbować z własną wizualizacją może nawet się odezwać do mnie na priv będzie to między nami

[Nezumi]

Mialem nadzieje ze zachece wrzucajac to moje blenderowe badziewie sprzed lat i posypia sie inne wizki na przyklad z serii "szklany domek w lesie" ale nikt sie nie skusil ..

[Destroyer]

37 minutes ago, Nezumi said:

Mialem nadzieje ze zachece wrzucajac to moje blenderowe badziewie sprzed lat i posypia sie inne wizki na przyklad z serii "szklany domek w lesie" ale nikt sie nie skusil ..

No i przekonał 😉 

[Mortom]

Skoro to taki superaśny algorytm to ciekaw jestem co zrobi z trzema wizkami naraz?!?!?!!!1 
W 2017 planowałem zrobić remont pokoju/pracowni i jak to grafik (obviously!) zacząłem od wymierzenia, i wymodelowania pokoju xD Skończyło się na tym, że odmalowałem pokój i na tym poprzestałem 🙂 
Pracownia do dzisiaj wygląda tak jak na renderze po za tym, że nigdy w nim nie było tych plakatów SW i i obrazu Jezusa. Po drodze dokupiłem prześcieradło i nowe monitory xD Fotel nadal służy... obdarty... starty ale nadal żyje! xD

Wizka była również chyba testem V-raya do MODO 10.x którego entuzjastycznie kupiłem łudząc się, że zostanę krezusem jak będę miał v-raya! Spojler... tylko się łudziłem xD

Wieczorny render ma okropny sampling... sam już nie wiem dlaczego... chyba nie chciało mi sie czekać na lepszy rezultat 😄 

[Destroyer]

@Mortom ładnie, bardzo naturalnie 🙂 

Moja wizka też jest ostatnią którą zrobiłem niedawno 🙂 

Nawet renderpassy robiłem zanim jakiekolwiek AOVs były wbudowane w renderer 🙂

Nawet tego nie skończyłem bo klient widząc progres w pewnym momencie powiedział "dobra darek, już się z tym nie szarp" innymi słowy powiedział, że już jest:

;D

[Nezumi]

36 minutes ago, Destroyer said:

No i przekonał 😉 

Mam takie cuda tez! 😉 Perly z lamusa. Jakies stoiska robilem miliardy lat temu. Nawet ludzie sa!

Pewnie by sie posmarkalo AI bo sa napisy ktore byly wazne.

[Destroyer]

Najlepszy ten ochraniaż stojący na bramce przy sekcji dla vipów 🙂 Ale widzę, że rozpustne 1080p a nie jak moje rozsądne 640x480 😄 i do tego włączone odibce raytraced, mnie by było nie stać, zwykły specular musiał wystarczyć 😄 

[kengi]

Piękne fuszki Panowie. Chapeau bas!

[Nezumi]

6 hours ago, Destroyer said:

do tego włączone odibce raytraced

Stary, odbicia sa najwazniejsze. Kulka bez odbic? Kulka zwykla, nudna, klient nie kupi. Kulka z odbiciami? Zatwierdzone!

 

[Mortom]

@Nezumi no i popatrz jaki scam na tych RTXach... a mówili, że przed ich erą raytrace-ing w RT był nieosiągalny. A wystarczyło kupić Amigę! 

 

Edytowane 10 Grudzień 2024 przez Mortom

[kengi]

Jeżeli RT znaczy 0.0002 fps, to jak najbardziej 😜 

[jefim]

Dorzuciłem powiększone tutaj: https://mega.nz/folder/1VJUHAjA#aKgOm868SBWKh39ce_Z6eg

A tu zmniejszyłem je do max 12000 podstawy, aby dało się porównać :

https://imgsli.com/MzI1OTIy

https://imgsli.com/MzI1OTI0

https://imgsli.com/MzI1OTMy

 

[kengi]

Ten @Nezumiego nawet dostał levelup i nie popsuł napisów. Nieźle. Tylko pan ochroniarz kibelka stracił niezwykle ważne wąsy. 🥲

[Destroyer]

No Nezumowy obrazek najlepiej poprawiło, ale chyba też był najczytelniejszy i zapewne łatwiej było określić co jest czym i jak powinno wyglądać

[blood_brother]

Z tekstyliami sobie nie radzi za bardzo. Co z tego, że po zoomie jest detal jak przy ogólnym widoku wygląda jak rozmydlone mydło i w ogóle zginęła faktura pierwotnego materiału, co przy vizkach jednak może mieć znaczenie 😛 Przynajmniej tak wnioskuję po upscalowanych renderach Mortoma. Bo tak to o dziwo nie jest źle 🙂

[jefim]

Pracujemy w 90% nad exteriorami. Więc na tym na razie się skupiliśmy. Wnętrza są do do dopracowania. Tu gdzie pracujemy., to wnętrza robi nam midjurney. Powiększamy je naszym i magnific. Później maskuje w Ps. Myślę, że uda się nam dopracować naszą zabawkę pod wnętrza. 

Edytowane 10 Grudzień 2024 przez jefim

[jefim]

Exterior od Honk Studio 

projekt 77 Studio:

x4 (16K): https://mega.nz/folder/1VJUHAjA#aKgOm868SBWKh39ce_Z6eg

10K: https://imgsli.com/MzI2NjQ3

Oryginał bez postprodukcji.

 

 

 

 

 

 

 

 

 

 

Edytowane 12 Grudzień 2024 przez jefim

[Oldman]

tak sie zastanawiam czy nie szkoda waszej pracy na tak wąski target (wizualizacje architektoniczne), czy nie lepiej byłoby zrobic coś na wzór magnific (do wszystkiego) ale konkurencyjne cenowo, chcialbym sie mylić i zycze wam powodzenia. z drugiej strony kto nie ryzykuje ten nie pije szampana moze faktycznie wstrzelenie się w taką niszę przyniesie dobre efekty.

W dniu 6.12.2024 o 19:04, kengi napisał(a):

Na jakimś comfyUI można sobie takie coś wyklikać, śmiem twierdzić. 
 

zgadza sie ale mysle ze jest sporo osób które wybrałoby gotowe rozwiązanie (jesli cena nie byłaby przegieta bo np w magnific moim zdaniem jest przegieta), nauczyc sie comfy i wszystko skonfigurować to nie jest robota na 5 minut (a pozatym ludzie są z natury leniwi)

Edytowane 12 Grudzień 2024 przez Oldman

[jefim]

Udało się poprawić jakość modelu:

porównanie nowy model/stary model: 

https://imgsli.com/MzMzNzU1

porównanie nowy model/oryginał:

https://imgsli.com/MzMzNzU3

Edytowane 31 Grudzień 2024 przez jefim

[drakul]

upscalerem bym tego nie nazwal, raczej boostem do ludzi i zieleni. osobiscie wole oryginal. zmienil kolorystyke obrazka na gorsza w odbiorze. twarz dziewczyny zmienil na wlosy z warkoczem. polacie trawy sa inne niz w oryginale. sa miejsca gdzie jest lepiej niz oryginal, ale to chyba loteria co bedzie dobrze. moze jakby mial opcje zaznaczenia co ma zmienic tylko , a reszta upscale bez zmiany tresci to ok. a teraz to po prostu jest wiekszy obrazek jako prewka , iteracja zieleni. jesli nie ma okreslonego finalnego wygladu to sie nada jako obrazek. ale jesli jako tworca robie obrazek , ktory wraz z powiekszeniem zmienia mi bez kontroli elementy obrazka i nigdy nie wiem jaki bedzie efekt koncowy, to wolalbym wyrenderowac wiekszy obrazek z warstwami waznymi nie do zmiany a reszte dac do wypelnienia dla upscalera.

[Nezumi]

No takie czasy ze sie nazywa upscalerem cos co nie upscaluje. Uzywajac nieisteniejacego "AI".

Ja nie zycze zle tworcom, ale juz rzygam tym calym ejajem. Zeby to jeszcze dzialalo to bym sie nie dziwil ale caly czas sie powtarzaja te same bledy, te same nonsensy. Nie widze wielkich roznic miedzy wersjami softow ejaj juz teraz. Tu cos poprawisz - tam cos sie spierniczy. Ludzie jakos nie chca przyjac do wiadomosci ze mamy do czynienia z czyms co w tej postaci nigdy nie zadziala 100%.

Fajnie, super ze na pierwszym planie sa kwiatki ladne. A w tle tata trzyma placzacego demona w ktorego zmienil sie chlopak:

I to taki "upscale" wlasnie jest. I takie wspaniale ejaj.

Nie wiem... Podziwiam ze chce wam sie walczyc z tym.