[8월 14일] 생성 인공지능 소식 도착 ! 태풍도 무사히 지나갔고, 휴가도 다녀오셨거나 곧 앞두신 8월 중순!
모두 건강한 여름나기 하고 계신가요? 🍍
약 2주만에 Soupletter로 인사드립니다. 지난주 Trend에서 살짝 보여드렸던 최신 Text-to-Speech 모델의 상세 조명과 함께, 요즘 화제인 AI가 활용된 콘텐츠를 몇가지 소개해드리겠습니다. |
|
|
📎 Jen-1, 새로운 Text-to-Music 미공개 모델 폼이 심상치 않다 |
|
|
지난주 빌보드닷컴에서는 Futureverse 사에서 발표한 새로운 Text-to-Music, Jen-1에 대해 다루었습니다. (기사 원문) Soupletter를 통해 상세 내용 공유드립니다. 👩🏫
Futureverse는 AI 메타버스 기업을 표방하며, 지난 7월 10T Holdings와 Ripple Labs에서 시리즈 A 펀딩으로 5천 4백만달러 투자를 받은 회사입니다. 오픈 메타버스 사업을 운영하며 이미 FIFA나 Warner Bros 등 회사들과의 Web3 콜라보를 펼친 이력도 있습니다.
2024년 초에 공개될 것으로 알려진 Jen-1은, 기존 Google의 MusicLM 등에서 발견되는 이슈를 개선하고 현재 시장에 나온 것 보다 더 향상된 Higer Fidelity 음원 및 더 복잡한 구조의 음악적 작업을 제공할 예정이라고 해요.
구체적으로는, 퓨쳐버스의 text-to-music을 통해서 약 3분 분량의 음악을 생성할 수 있고, 아직 덜 완성된 음악을 업로드하면 Jen이 어떻게 곡을 완성하면 좋을지 아이디어를 제안해주는 Continuation 기능도 기대해 볼 수 있을 것 같습니다. 퓨쳐버스의 공동창업자 코멘트에 따르면 이 모델은 마치 Jen이라는 이름을 가진 친구와도 같이 사용자가 스튜디오에서 함께 할 수 있다고 소개했고, 또다른 창업자는 Jen의 역할은 인간 아티스트의 창의성을 확장시켜주는 것이라고 의견을 남겼습니다. 🎇
|
|
|
위는 기존 발표된 Text-to-Music 모델들과의 특징 비교표로, 한눈에 개괄적인 Feature 차이를 파악할 수 있습니다. 상세한 내용은 퓨쳐버스 웹사이트의 리서치 페이지에서 확인 할 수 있는데, 기대만큼 두드러지는 High-fidelity 음악의 실제 사용성은 내년에 한뼘 더 체감할 수 있을 것으로 보입니다.
더불어 Futureverse의 공동창업자 Shara Senderoff는, 특이하게도 오랜 기간 Film분야에서 일하며 (Friends, Grey's Anatomy등 ) 이후에는 창업을 통해 다양한 음악 아티스트와도 협업한 이력이 있는데요, 이번 기사 소개는 그녀의 인스타그램 페이지에 남긴 Jen-1에 대한 기대와 자부심을 담은 글 일부로 마무리 짓겠습니다. 💁♀️
"Certainly not just another Music AI. I promise you that. In fact, everything you could think of as reasons why you’d be against AI in music, I agree with… which is why… 𝘄𝗲’𝗿𝗲. 𝗱𝗼𝗶𝗻𝗴. 𝗶𝘁. 𝗱𝗶𝗳𝗳𝗲𝗿𝗲𝗻𝘁𝗹𝘆.
Our @futureverse_ AI team of PhDs paired with some of the people I respect 𝘁𝗵𝗲 𝗺𝗼𝘀𝘁 in music (more on that soon) will pioneer a path for AI to do good for the industry… and artists… and producers and copyright owners. Watch. ... (중략)
We’ve studied sound in every way. Our AI inpainting (filling holes in tracks melodically, harmonically and through musicology) and continuation outputs are game-changing.
AI is not meant to replace humans who do magical shit. ✨ It’s meant to serve as a tool that compliments, assists and expands creativity to allow the genius of our music geniuses to be even more prolific. ...(생략)
|
|
|
📎 또다른 AI 공개 서한, 이번엔 글로벌 언론사들이 뭉쳤어요 📸 |
|
|
서한의 제목은 “Preserving public trust in media through unified AI regulation and practices,” ("통합된 AI 규정과 관행을 통해 미디어에 대한 대중의 신뢰 유지") 로, '게티 이미지', '어소시에이티드 프레스' , '유럽 프레스 포토 에이전시' 등으로 구성된 글로벌 단체가 발표했습니다.
이번 공개된 서한에서도 역시 지적 재산권자에 대한 존중 촉구가 눈여겨 볼 부분인데요, 기사 내용에 따르면, 서한에서 생성 AI 기술의 잠재력을 인정하되, 합성 AI 콘텐츠의 범람 시 대중이 미디어에 가지게 될 신뢰가 약해질 수 있는 부분을 이번 발표 단체는 문제삼았습니다. 🤔더불어 인공지능 기업이 데이터 학습에 사용하는 콘텐츠에서 지적재산 권리자의 동의를 얻는 것, 그리고 그 과정의 투명성이 요구되었고, 특히 사진 에이전시들은, 인공지능 모델로 생성된 콘텐츠가 그것이 아닌 것과 정확히 식별되기를 요구했습니다. 🔖 가디언 발표에 따르면, 지난 5월 기준 약 50개의 온라인 뉴스 사이트가 사실은 생성 인공지능으로 만들어졌다고 합니다. "이만큼 GenAI 가 상업적으로 확장됨과 함께, 데이터 편향성을 제거하기는 어려운 부분이므로 효과적인 콘텐츠 조정이 시행되기 위해서는 세부적인 시나리오와 미묘한 뉘앙스를 고려하는 부분이 중요하다"고 수석 애널리스트 마야 셔먼이 코멘트했습니다. 기존 콘텐츠를 통해 AI가 빠른 속도로 발전할 수 있었다 싶이 지적재산권 인정은 정말 중요한 사안입니다. 추후 어떤 구체적인 방식으로 기여 노력이 식별되고 보상이 될지 함께 지켜보아요. 🙏참조: Getty Images, AP and News Media Alliance all sign open letter to regulate AI in journalismhttps://www.verdict.co.uk/open-letter-regulate-ai-journalism/참조: Photo Agencies Publish Open Letter Demanding AI Copyright Protectionhttps://petapixel.com/2023/08/10/photo-agencies-publish-open-letter-demanding-ai-copyright-protection/ |
|
|
🍭 생성 AI를 품은, 혹은 생성 AI가 품은 콘텐츠 |
|
|
(1) Netflix - Deepfake Love (Falso Amor) 💔 |
|
|
지난 7월, 넷플릭스에서 'Deepfake Love'라는 스페인 리얼리티 프로그램이 공개되었습니다. 🍿 (원제: 'Falso Amor')
기존 화제를 불러일으키고 다수 화제의 인물을 만들어 낸 프로그램 'Too Hot to Handle' 류의 화끈한 연애방송과 기본 플롯은 비슷합니다. 🔥 매력적인 연인들 몇 팀이 다함께 저택으로 모여 그곳에서 매력을 방출하고, 각종 액티비티를 통해 열정을 불태우는 식이죠.
단, 제목에서부터 적나라하게 불안감이 엄습하듯, 이들 서로의 신뢰를 시험하기 위해 실제로 AI Deepfake 기술이 방송 속 미디어에 사용됩니다. 기존 연인들과의 관계를 시험대에 올리고자 하는 용기있는 자들이 이어 서사를 만들어가죠. 그러니까, 출연자들은 기존 연인들과는 쪼개져서 다른 빌라에 배정받고, 참가 기간동안 떨어져 지내며 짝이 바람을 피우는 것으로 보여지게 만든 딥페이크 영상을 접하게 됩니다. 😃 😯 😲 🤯 |
|
|
충격을 떠나 어쨌든 경쟁 프로니까요, 어떻게 해야 이 각박한 AI 딥페이크 연애 게임에서 승자가 될 수 있는 걸까요? 🤨🏆 참가자는 제공된 영상을 통해 본인의 원래 짝이 다른 사람과 키스하거나 성관계..하는 상황이 진짜인지, 혹은 딥페이크를 통한 가짜였는지 매번 맞춰야 하고, 통틀어 제일 많이 맞춘 커플이 100,000 유로를 상금으로 타가는 시스템입니다.
해당 프로를 조명한 매체들에 따르면, 딥페이크 영상이 무서우리만치나 실제 같다고 해요. 출연자들은 중간중간 당연하게도 굉장히 감정적인 모습을 보여주게 되죠. 조금 무서운게, 프로그램 아주 초반에는 기존 연인이 다른 참가자와 함께한 진한 스킨십 영상에 처음 출연자가 노출될 때, 이것이 딥페이크 미디어라고 주최측에서 알려주지 않은 부분이라고 합니다. 🙃 시작부터 오로지 충격, 굉장한 혼란에 그대로 노출되는 셈이죠. 극강의 매운맛인데,... 씁쓸한 맛이기도 합니다. 인간 감정 중 제일 중요한 것 중 하나인 신뢰와 또 하나의 강렬한 감각인 시각. 이 둘이 옥신각신하는 사이 요동치는 그들의 마음과 지켜보는 우리의 마음도 얼마나 쫄깃할지, 지켜볼 용기가 선다면 한 번 쇼를 시청해봐야겠어요. 🚒
|
|
|
(2) Pixar - Elemental (엘리멘탈) 🔥 |
|
|
픽사 애니메이션 피터 손 감독은 고민이 있었어요. 말 그대로 붙 같거나 물 같은 캐릭터가 아니라 완전히 '불'이고, '물'인 캐릭터를 어떻게 고유 성질과 다름없이 똑띠 구현할 수 있을지에 대한 고민이죠. 🖌️ 하울의 움직이는 성에서 캘시퍼 같이 불 모양을 한 '방울덩어리'나, 고스트 라이더에서의 '불 붙은 듯한 효과'만으로는 뭔가 부족한 캐릭터 구현 기술에 고민했습니다. 🤔 이번 작품 작업을 위해 원하는 부분이 지난 시간동안 애니메이션에서 활용한 기술만으로는 구현이 어려웠다고 해요.
초기 디자인 중간중간 앰버 모습은 때로는 완연한 불꽃보다는 '플라즈마'같아서, 때론 유령같이 너무 '무섭게' 보여서 작업 과정이 쉽지 않았다고 하네요. 🤦표정을 더 다듬고, 모양을 더 부드럽게 해볼 수는 있었지만, 이렇게 주인공의 모습을 만들기 위해서 프레임마다 이펙트 패스를 사용해 각종 효과 사용을 번복해야 해서, 이는 시간과 비용이 증대되는 문제로 이어집니다. 💸
|
|
|
다양한 사람들의 노력과 여러가지 시도 끝에, 결국 앰버의 자연스러운 불꽃을 작업하는 과정에 딥러닝 기반 NST(신경망 스타일 전이) 기술을 디자인을 응용하기에 이르렀습니다! 이렇게 팀에서는 이전에 일한 적 없는 부서와 머신러닝 기술을 통해 협력하고, 새로운 파이프라인을 구축하는 과정도 있었다고 밝혔어요. 🙌
이렇게 해서 주인공의 화염이 더 그럴듯하고 매력적인 모양으로 정리될 수 있었다고 하는데요, 사실 기술 부서와 미술 부서 사이 반복적인 확인 작업이 오가는 사이에도, 화재 전문가, 음영 전문가는 물론, 애니메이션 전문가, 리깅* 전문가, 조명 전문가 들과 작업의 균형을 맞추는 또다른 노력들이 있었다고 하니 멋진 비주얼 탄생을 위해 수많은 지식과 이를 응용하려는 노력들이 앰버의 모습처럼 활활 타올랐다는 것이 더 잘 느껴지네요. 엘리멘탈 영화 보신 분, 지난 시간들 불 모양 캐릭터를 다룬 매체에서 접한 비주얼보다 이 작품은 좀 구현감이 달랐나요? 😊
리깅: 3D 컴퓨터 애니메이션에서 캐릭터의 뼈대를 만들어 심거나 뼈대를 할당해 캐릭터가 움직일 수 있는 상태로 만드는 작업 (출처)
|
|
|
평소 티는 많이 안냈지만 내가 바로 Soupletter 구독자다 하시는 분~
Thread에 이번 호차 시크릿 이모지를 세개 남겨주세요! ---> 🍍 🍍 🍍
선물 없어도 남겨주실거죠? 😘 🤗 |
|
|
|
