Meta SAM 2: Rewolucja w segmentacji obiektów na obrazach i wideo!

[adek]

Meta podczas konferencji SIGGRAPH ogłosiła premierę Segment Anything Model 2 (SAM 2), nowej wersji modelu SAM, który wspiera segmentację obiektów zarówno na obrazach, jak i wideo. SAM 2 jest udostępniany na licencji Apache 2.0, co pozwala na jego swobodne wykorzystanie. Dodatkowo, udostępniony został również zbiór danych SA-V, zawierający około 51 000 rzeczywistych filmów i ponad 600 000 maskletów.

SAM 2 pozwala na segmentację dowolnych obiektów w obrazach i filmach, nawet tych, których wcześniej nie widział, co umożliwia szeroki zakres zastosowań bez konieczności dostosowania. Nowy model oferuje lepszą dokładność segmentacji obrazów oraz wydajność segmentacji wideo, wymagając przy tym trzykrotnie mniej czasu interakcji.

Przykładowe zastosowania SAM 2 obejmują tworzenie nowych efektów wideo za pomocą generatywnych modeli wideo oraz szybsze narzędzia do adnotacji danych wizualnych, co może poprawić systemy wizyjne. Model znalazł już zastosowanie w aplikacjach Meta, takich jak Backdrop i Cutouts na Instagramie, a także w naukach przyrodniczych, medycynie oraz analizie obrazów satelitarnych.

Dzięki SAM, wiele platform do adnotacji danych zintegrowało ten model jako domyślne narzędzie do segmentacji obiektów, oszczędzając miliony godzin ludzkiej pracy. SAM był używany m.in. do segmentacji obrazów sonarowych w badaniach morskich, analizy raf koralowych, obrazów satelitarnych w działaniach pomocowych oraz segmentacji obrazów komórkowych w medycynie, pomagając w wykrywaniu raka skóry.

Mark Zuckerberg w swoim liście otwartym podkreślił, że open source AI ma ogromny potencjał, aby zwiększyć produktywność, kreatywność oraz jakość życia ludzi, przyspieszając jednocześnie rozwój gospodarczy i badania naukowe. SAM 2 ma na celu odblokowanie jeszcze większych możliwości w tych dziedzinach.

Szczegóły: https://ai.meta.com/blog/segment-anything-2/

(DEMO) Możecie równiez we własnym zakresie przetestować działanie tych algorytmów: https://sam2.metademolab.com/demo

 

Zobacz cały news

[Traitor]

AI jest naprawde bezduszne! Kiedys rotoskopia byla sztuka, a teraz te maszyny chca nas pozbawic przyjemnosci recznego klikania kazdej klatki. Czyzby koniec ery artystow rotoskopii?! Za pięć lat nikt nie bedzie pamiętał czym była rotoskopia i ile frajdy dawała.

[Mortom]

Niech ktoś wreszcie zrobi AI do UVmappingu! Typu one clik! z ustawianiem na ile UDIMów i ile px na odstępy między wyspami
 🥺
 

[kengi]

2 hours ago, Mortom said:

AI do UVmappingu!

Ja wiem, że to raczej taki running gag, ale odpowiem trochę na poważniej... to się nie kalkuluje po prostu... AI w obecnym stanie musi być dla mas. Bardziej niszowe rzeczy, można posklejać jeżeli dotyczą tekstu. Czy obrazków 2d. Cokolwiek co tyka 3D jest skomplikowane, sam uczestniczyłem przy próbie tworzenia modeli 3D protetycznych na podstawie zdjęć (generowałem syntetyczne dane do nauki modelu, czyt. rendery szczęki), generalnie masakra, na razie wygląda to obiecująco, w tym sensie, że jeszcze trochę potrwa zanim AI 3D artistuf wygryzie... tak bym powiedział jeszcze z 5 lat 😜.

UV czy inne gówienko do 3D, jeżeli ma być czymś więcej niż posklejaniem dostępnych aktualnie modeli nie wchodzi w grę. Potem samo generowanie UV, czyli odpowiedź AI, to koszt większy niż zrobienie tego ręcznie podejrzewam. Zwłaszcza z tego co widać jak piszą, że to żre tyle prądu, że de facto jest nie opłacalne.

Więc sorry, ruski programik to maks na co możesz liczyć... ale kurde teraz UV to nie jest taka tragedia... "kiedyś to było"... ja się zahaczyłem w PI, bo @Baggins szukał frajera, który rozłoży UVałki do maszyny w Fallen Arcie, bo nikomu w PI się nie chciało tego tykać... a ja nawet nie wiedziałem wtedy jak to się robi... ale powiedziałem, że oczywiście umim 😜 haha reszta to już historia..

Więc nie odbierajmy juniorom możliwości wepchnięcia tej stopy w drzwi.

[adek]

Ciekawe. Puściłem to wczoraj Bagginsowi i powiedział, że w prof. produkcjach raczej tego nie widzi. Intagram, Youtube - spoko. Ale podał kilka przykładów, że to jest bez szans. 

Jeden z przykładów jaki podał:

" Zadaj mu roto za mokrą szybą :)"

[Traitor]

9 godzin temu, adek napisał(a):

Ciekawe. Puściłem to wczoraj Bagginsowi i powiedział, że w prof. produkcjach raczej tego nie widzi. Intagram, Youtube - spoko. Ale podał kilka przykładów, że to jest bez szans. 

Jeden z przykładów jaki podał:

" Zadaj mu roto za mokrą szybą :)"

Oczywiscie, ze znajda sie ujecia, na ktorych SAM moze miec trudnosci, jak te "za mokra szyba". Jednak liczba takich wymagajacych ujec jest relatywnie niewielka w porownaniu do tych, ktore AI wykonuje bez problemu w normalnych warunkach. To jest stan na dzisiaj; jutro technologia moze byc znacznie lepsza, a problem z mokra szyba zniknie jak poranna mgla.