즐거운 목요일 되세요. Patent Drop에 오신 것을 환영합니다!

오늘, 우리는 기술 회사들이 게임에서 어떻게 머리를 맞대고 있는지 살펴보겠습니다. Sony와 Meta는 둘 다 VR에서 얼굴 움직임을 추적하기를 원합니다. 인텔은 AI를 사용하여 그래픽을 렌더링하는 것을 최소화하려고 합니다. 그리고 EA는 색맹이 있는 사람들이 타이틀에 더 쉽게 접근할 수 있기를 원합니다.

그것에 들어가자.

#1. 그들에게 미소를 줘

AR과 VR이 게임에서 느리지만 확실하게 관심을 끌면서 기술 회사는 여러분의 머리가 어디에 있는지 알고 싶어합니다. Sony와 Meta는 모두 인공 현실 장치에서 얼굴 표정을 추적하는 기술에 대한 특허 출원을 신청했습니다.

메타부터 시작하겠습니다. 이 회사는 일부 예에서 "카메라 또는 복잡한 이미지 데이터 처리"가 필요하지 않은 얼굴 표정 추적 방법에 대한 특허를 취득하려고 합니다. 대신 Meta의 기술은 조명기와 광자 검출기를 사용합니다.

이름에서 알 수 있듯이 헤드셋의 일루미네이터가 사용자의 얼굴을 비추면 광자 탐지기가 그 빛이 반사되는 방식을 감지합니다. 이 두 장치의 정보는 프로세서로 전송되어 "얼굴 표정을 재구성"할 수 있는 알고리즘을 사용하여 사용자의 얼굴 표정을 결정합니다.

AR 또는 VR 헤드셋에서 안쪽을 향하는 카메라 시스템의 필요성을 없애는 것과 함께 Meta's는 자사의 기술이 "저비용, 낮은 계산 오버헤드 얼굴 인식 시스템을 제공한다"고 말했습니다.

한편 Sony는 기압 센서를 사용하여 인공 현실 게임에서 사용자 얼굴 움직임을 추적하는 작업을 하고 있습니다. 헤드셋에 장착된 센서를 사용하여 이 기술은 눈의 움직임, 호흡 패턴, 깜박임 또는 말하기를 포함하여 사용자의 얼굴 특징 움직임에서 "압력 변화"를 캡처합니다. 그런 다음 이러한 변화는 프로세서에 의해 분석되어 "모션 메트릭" 또는 사용자의 얼굴 표정을 감지 및 평가하고 "사용자 상호 작용을 미세 조정"하는 데 사용됩니다.

Sony는 이러한 종류의 추적이 AR 및 VR 게임의 사용자 참여 메트릭을 모니터링하여 표시되는 콘텐츠에서 "사용자의 관심 또는 부족을 측정"하는 데 도움이 된다고 말했습니다. 그들이 당신이 하품을 잡게하지 마십시오.

"다양한 애플리케이션의 콘텐츠에 대한 사용자의 관심 수준을 측정하면 개발자와 콘텐츠 제공업체가 사용자에게 유용하거나 흥미로운 콘텐츠를 제공하는 데 도움이 될 것입니다."라고 Sony는 제출 문서에서 밝혔습니다.

Patent Drop의 여러 판에서 보았듯이 기술 회사는 시뮬레이션된 눈맞춤 으로 화상 통화를 덜 어색하게 만들거나 VR 헤드셋의 렌더링을 더 쉽게 만드는 것이든 사용자의 얼굴을 추적할 수 있는 기술을 만드는 데 매우 관심이 있는 것 같습니다.

그러나 Meta와 Sony의 특허 출원이 공통적으로 가지고 있는 것은 카메라가 아닌 센서를 사용하여 얼굴 움직임을 추적하여 카메라 기반 얼굴 추적 방법이 할 수 없는 방식으로 개인 정보를 보호할 수 있다는 것입니다. Glimpse Group이 말했습니다. 카메라를 버리는 것은 또한 회사에 더 나은 재무 상황을 만들어 줍니다. 이미 존재하는 카메라 기반 표현 추적 방법에 대한 특허가 넘쳐나는 점을 감안할 때 센서는 이러한 회사가 고유한 얼굴 추적 기술을 손에 넣을 수 있는 해결 방법을 제공한다고 그는 말했습니다.

“완전히 말이 됩니다. 그들은 단지 '카메라를 사용하지 않고 어떻게 얼굴을 캡처할 수 있습니까?'의 해결 방법을 찾으려고 노력하고 있을 뿐입니다.”라고 Maymar가 말했습니다. “카메라가 특허를 받고 탐구되었기 때문입니다. 비싸고 프로세서 집약적입니다. 개인 정보 보호 및 보안 문제도 있습니다.”

Sony와 Meta는 확장 현실 게임 공간의 초보자가 아닙니다. Sony는 오랫동안 PlayStation을 통해 콘솔 게임 업계를 선도해 왔으며 PS VR 을 통해 자체 헤드셋을 제공하고 있습니다. 물론 Meta는 자사의 고상한 메타버스 목표를 지원하기 위해 Quest VR 및 혼합 현실 헤드셋 라인을 보유하고 있으며, 이는 Between Us 및 Beat Saber를 포함한 소수의 게임을 지원합니다.

얼굴 추적 자체에 관해서는 Sony와 Meta가 관심을 가질 수 있는 몇 가지 잠재적인 이유가 있습니다. 파일에서 두 회사는 특정 콘텐츠에 대한 감정적 반응을 확인하는 것과 같이 게임 내에서 사용자의 표정을 보고 해독할 수 있는 고유한 참여 메트릭을 다룹니다. 그러나 또 다른 잠재적인 용도는 이러한 표현이 VR 경험을 향상시킬 수 있는 방법이라고 Maymar는 말했습니다.

Maymar는 친구와 함께 게임 내 VR 퀘스트를 진행하는 예를 들었습니다. 그 표정, 그 설렘은 몸짓뿐만 아니라 실제 얼굴에서도 볼 수 있다. 당신이 거기 있는 것처럼 느껴지기 때문에 결속의 순간처럼 느껴집니다.”

현재 확장된 현실 경험은 게임 분야의 작은 부분을 차지한다고 Maymar는 말했습니다. 그 이유 중 하나는 연결이나 감정이 없는 고독한 경험이 될 수 있기 때문입니다. 그러나 얼굴 표정과 같이 게임 플레이에서 감정을 전달하는 방법을 추가하는 것은 사용자 관심을 높이는 열쇠가 될 수 있습니다.

그러나 그렇게 될 때까지 Maymar는 "XR이 게임에 실제로 큰 영향을 미치지 않을 것"이라고 말했습니다.

#2. 보는 사람의 인텔 A-eye

인텔은 비용 편익 분석에 지쳤습니다. AI가 대신하도록 만들고 있습니다.

약간 메타처럼 들릴 수 있지만 인텔은 AI를 사용하여 비디오 그래픽을 재생성하는 데 AI를 사용할지 여부를 결정하는 기술을 연구하고 있습니다. 작동 방식은 다음과 같습니다. 신경망에는 AI를 사용하지 않고 렌더링된 비디오 게임의 프레임과 같은 그래픽의 참조 이미지가 제공됩니다. 이러한 이미지의 품질을 기반으로 이 기술은 AI가 해당 그래픽을 얼마나 잘 재현할 수 있는지에 대한 "시각적 품질 점수"를 예측합니다.

인텔은 제출 서류에서 이 기술이 본질적으로 품질 평가 테스터의 역할을 수행하여 "성능 예산을 최소화하면서 품질을 극대화"하고 인텔이 GPU의 기계 학습 기반 훈련을 중단할 때 "컷오프 포인트"라고 부르는 것을 결정하는 데 도움이 될 수 있다고 주장합니다. 렌더러.

그래픽의 시각적 품질을 테스트하기 위한 현재 업계 표준은 인간의 의견 점수를 사용하는 것이라고 Intel은 지적합니다. 이 방법은 훨씬 더 많은 사진과 비디오 세트를 평가하기 위해 많은 사람들이 참여하기 때문에 "시간이 많이 걸리고 비용이 많이 드는" 접근 방식이 될 수 있습니다. 시퀀스. 회사는 이 기술이 "품질에 대한 인간의 주관적인 의견 점수와 높은 상관관계"로 프로세스를 자동화한다고 말했습니다.

인텔은 "이러한 AI 기반 렌더링 모델이 이미지 또는 비디오 품질을 유지하면서 렌더링 성능을 향상시킬 수 있는지 여부를 결정하기 위해 이미지/비디오의 품질이 분석 솔루션과 비교하여 얼마나 좋은지 측정할 수 있습니다."라고 인텔은 말했습니다. 제출. "이러한 이미지/비디오 품질 측정은 주관적인 인간 관찰자의 의견과 관련이 있어야 합니다."

추가 참고 사항: Intel은 이 기술이 서버 기반 게임 플랫폼 또는 핸드헬드, 모바일 및 온라인 게임 콘솔을 포함한 여러 게임 장치와 통합될 수 있다고 언급했습니다.

미국 특허청을 통한 사진.

인텔의 특허는 게임 QA 테스트에서 처음 본 것이 아닙니다. 지난달에 Google은 개발자가 AI를 사용하여 게임을 테스트할 수 있는 기술에 대해 특허를 취득했습니다. 품질 테스트 팀은 "현대 게임의 복잡성으로 확장할 수 없어 출시가 지연되고 제품 품질이 저하될 수 있다"고 주장했습니다. Google 기술의 초점은 인텔과 다르지만 기본적인 점은 동일합니다. AI는 비효율적이고 일반적으로 인간이 실행하는 프로세스를 대체하는 데 사용되고 있습니다.

그러나 인텔은 게임용 PC 부문의 빛나는 별이 아닙니다. 최근 수익은 암울했습니다. 게임용 컴퓨터를 포함한 클라이언트 컴퓨팅 부문의 수익이 수요가 계속 감소함에 따라 38% 감소했습니다 . Gartner 에 따르면 이 회사의 결과는 작년에 시작되어 2023년까지 계속된 업계 전반의 혼란을 반영하며 1분기 전 세계 출하량이 30% 감소했습니다.

William O'Neil의 이사이자 연구 분석가인 Romeo Alvarez는 엔비디아가 게이밍 PC 시장에서 인텔을 훨씬 앞서고 있다고 말했습니다. Nvidia는 현재 시장의 82%를 점유하고 있으며 Intel은 AMD와 각각 9%의 점유율을 유지하고 있습니다. Alvarez는 인텔이 2020년까지 이 분야에 뛰어들지 않았으며, 게임 제품이 Arc 그래픽 카드를 출하하기 시작한 2022년에 본격적으로 등장하기 시작했다고 말했습니다. 지난해 게임 부문의 어려움에도 불구하고 회사는 2021년 말 이후 시장 점유율을 거의 두 배로 끌어올렸습니다.

"인텔(주식)은 몇 년 동안 실적이 저조했습니다."라고 Alvarez는 말했습니다. “확실히 경쟁이 치열해지고 있습니다. 거기에 장점이 있습니다. 하지만 시장이 정상화될 것이라는 확인이 더 필요하다고 생각합니다.”

이 특허에서 알 수 있듯이 더 많은 AI 제품을 추가함으로써 회사는 경쟁력을 유지하기 위해 가려울 수 있습니다. 그러나 라이벌이 AI 개발을 앞당기면서 인텔은 여전히 뒤처지고 있습니다.

Alvarez는 "게임용 PC에서는 이미 입지를 다지고 있습니다."라고 말했습니다. “AI 애플리케이션에서 경쟁자가 될 수 있을지는 두고 봐야 할 것 같습니다. 그들은 확실히 올바른 방향으로 움직이고 있지만 여전히 Nvidia가 그곳의 왕이라고 생각합니다.”

#삼. EA의 접근성 퀘스트

Electronic Arts는 모든 사람이 출시된 제품을 즐길 수 있기를 바랍니다.

이 회사는 사용자가 게임 내러티브 과정에서 색맹 접근성 설정을 켤 필요가 있는지 여부를 자동으로 결정하는 " 색맹 진단 시스템 "에 대한 특허를 찾고 있습니다.

먼저, 이 시스템은 사용자의 "이색성 시각장애 유형"(일명 색맹 유형, "가상 색맹 표시 개체" 또는 시각적으로 구별되는 색상을 가진 개체를 기반으로 테스트합니다. 이 테스트는 다음과 같을 수 있습니다. 사용자가 이러한 개체 중 하나와 상호 작용하도록 유도하는 작업 또는 목표를 통해 EA 게임에 내장된 다음, 해당 상호 작용을 기반으로 게임은 사용자가 색맹인지, 어떤 종류의 색맹인지 판단할 수 있습니다.

EA는 이를 통해 색맹 사용자가 시작 시 설정을 즉시 수정할 필요가 없을 뿐만 아니라 게임 전반에 걸쳐 색상 기반 신호를 찾는 데 도움이 된다고 말했습니다.

EA는 파일에서 "일반적으로 색맹 접근성을 포함한 가상 환경 설정은 사용자 상호 작용 내러티브를 도입하는 동안 사용할 수 없습니다."라고 밝혔습니다. "이러한 제한으로 인해 비디오 게임의 색맹 사용자는 사용자 상호 작용 내러티브를 탐색하고 진행하기 위한 주요 시각적 단서를 놓치는 경우가 많습니다."

미국 특허청을 통한 사진.

색상은 종종 비디오 게임 디자인에서 중요한 시각적 지표가 될 수 있습니다. 캐릭터가 싸움에서 쓰러지려고 할 때 화면 주위에 나타나는 맥동하는 빨간색 윤곽선이나 특정 색상이 적 팀원의 유니폼을 어떻게 나타낼 수 있는지 생각해 보십시오. EA와 같은 직관적인 접근성 설정이 작동하지 않으면 이러한 세부 사항은 색맹 사용자의 즐거움을 방해하는 의도하지 않은 장벽을 나타냅니다.

"비디오 게임과 같은 현대 가상 환경은 종종 사용자가 색맹 접근성을 위해 수정이 필요하지 않다고 가정합니다."라고 EA는 제출 문서에서 언급했습니다.

EA의 특허는 게임 회사가 게임에 더 쉽게 접근할 수 있도록 하는 유일한 움직임이 아닙니다. 전염병은 게이머 수의 엄청난 붐을 일으켰습니다. 이러한 증가와 함께 접근성 기능에 대한 관심이 높아졌으며 인디 개발자와 고예산 스튜디오 모두 게임을 향상시켰습니다 .

예를 들어, 2020년 Sony에서 출시한 Last of Us Part II는 접근 가능한 게임의 이정표로 널리 간주 되었습니다. 보다 최근에는 God of War Ragnarök가 11월에 70개 이상의 접근성 설정 으로 데뷔하여 올해 Game Accessibility Conference Awards에서 AAA Excellence 및 Best Deaf/Hard-of-Hearing 접근성 부문을 수상했습니다. 그리고 Microsoft는 곧 출시될 Forza Motorsport 릴리스가 저시력 또는 무시력 플레이어를 위한 Blind Driving Assist, 텍스트 음성 변환 및 완전히 다시 매핑할 수 있는 컨트롤과 같은 추가 기능을 통해 가장 접근하기 쉬운 프랜차이즈 타이틀이 될 것이라고 말했습니다.

모든 규모의 개발자가 접근 가능한 게임에 대한 모멘텀과 함께 EA의 특허 기술은 떠오르는 조류에 보조를 맞추려는 시도일 수 있습니다.

추가 방울

아직 끝나지 않았습니다!

그 밖의 새로운 기능은 무엇입니까?

의견, 팁 또는 제안이 있으십니까? 우리에게 라인을 드롭! [email protected] 로 이메일을 보내거나 트위터 @patentdrop 에서 DM을 보내주세요.