Para desarrolladores
Las especificaciones y el código de ejemplo del protocolo de comunicación v3 (Face Motion v3), diseñado pensando en la comunicación con entornos de recursos informáticos limitados, como los dispositivos embebidos, están publicados en GitHub.
https://github.com/emoto-yasushi/iFacialMocap_Facemotion3d_udp-tcp_v3
- Para recibir datos por UDP
Si envía la cadena “FACEMOTION3D_OtherStreaming” desde el PC al puerto 49993 del lado iOS, Facemotion3d devolverá datos por UDP a 60 FPS al puerto 49993.
- Ejemplo en Python
from socket import *
DstIP = "192.168.1.7"
DstPort = 49993
DstAddr = (DstIP,DstPort)
udpClntSock = socket(AF_INET, SOCK_DGRAM)
data = "FACEMOTION3D_OtherStreaming"
data = data.encode('utf-8')
udpClntSock.sendto(data,DstAddr)
server = socket(AF_INET, SOCK_DGRAM)
server.bind(("", 49983))
server.settimeout(0.05)
while True:
try:
messages, address = server.recvfrom(8192)
print(messages.decode('utf-8'))
except:
pass
- Ejemplo de la cadena enviada en cada frame
eyeLookOutLeft&3|mouthPressRight&14|jawForward&8|browInnerUp&19|jawLeft&4|mouthShrugUpper&28|eyeSquintLeft&4|eyeWideLeft&0|mouthPucker&5|mouthLowerDownLeft&6|eyeBlinkLeft&29|mouthShrugLower&20|mouthSmileLeft&0|cheekSquintRight&9|eyeWideRight&0|mouthFunnel&4|mouthStretchRight&13|browDownRight&2|tongueOut&0|cheekSquintLeft&8|mouthStretchLeft&17|mouthUpperUpRight&10|noseSneerLeft&28|browOuterUpLeft&0|eyeLookInRight&15|mouthDimpleRight&7|mouthRollUpper&5|mouthLowerDownRight&6|mouthClose&6|mouthFrownLeft&3|eyeBlinkRight&29|mouthFrownRight&2|mouthUpperUpLeft&11|browDownLeft&1|eyeLookOutRight&0|cheekPuff&4|eyeLookInLeft&0|mouthDimpleLeft&8|eyeLookDownLeft&36|eyeSquintRight&4|mouthRollLower&7|eyeLookUpLeft&0|eyeLookUpRight&0|mouthSmileRight&0|jawRight&0|noseSneerRight&25|mouthPressLeft&13|jawOpen&4|browOuterUpRight&0|eyeLookDownRight&36|mouthLeft&1|mouthRight&0|FM_SAD&0|FM_ANGRY&0|FM_VF&0|FM_TH&0|FM_browUpRight&0|FM_browUpLeft&0|=head#-22.167973,0.45402408,-4.8798294,-0.039975993,-0.048437987,-0.45562273|rightEye#12.759762,5.527712,1.2244859|leftEye#12.862795,1.264116,0.28145725|
- Formato de la cadena enviada en cada frame
BlendShape Name&Parameters (0 ~ 100) | BlendShape Names-Parameters (0 ~ 100) | .... | = head # Euler angles X (degree), Euler angles Y, Euler angles Z, Position values X, Position values Y, Position values Z | rightEye #Euler angles X, Euler angles Y, Euler angles Z | leftEye #Euler angles X, Euler angles Y, Euler angles Z |
Los valores de los parámetros pueden ser negativos o superar 100.
Los datos de ángulo se envían en grados, no en radianes.
- Para recibir datos por TCP/IP
Con UDP pueden perderse frames, por lo que también existe un método para recibir por TCP/IP.
Si envía por UDP la cadena “FACEMOTION3D_OtherStreaming|protocol=tcp” al puerto 49993 del lado iOS, los datos se enviarán al puerto 49986 del PC.
La cadena enviada es simplemente la cadena usada en UDP con “___FACEMOTION3D” añadido al final.
- Ejemplo
BlendShape Name&Parameter (0 ~ 100) | BlendShape Name-Parameter (0 ~ 100) | .... | = head # Euler angles X, Euler angles Y, Euler angles Z, moving values X, moving values Y, moving values Z | rightEye #Euler angles X, Euler angles Y, Euler angles Z | leftEye #Euler angles X, Euler angles Y, Euler angles Z | ___ Facemotion3d
Al recibir en el PC los datos de iOS por TCP/IP, la cadena puede llegar sin respetar los límites de cada frame, así que use “___FACEMOTION3D” al final de cada frame como delimitador.
Para detener el envío TCP/IP, envíe la cadena “StopStreaming_FACEMOTION3D” al puerto 49993.
- Ejemplo de uso en Python para recibir por TCP/IP
from socket import socket, AF_INET, SOCK_DGRAM, SOCK_STREAM
#UDP send
HOST = ''
PORT = 49993
ADDRESS = "192.168.1.7" #iOS address
s = socket(AF_INET, SOCK_DGRAM)
msg = "FACEMOTION3D_OtherStreaming|protocol=tcp"
s.sendto(msg.encode(), (ADDRESS, PORT))
s.close()
#create tcp server
with socket(AF_INET, SOCK_STREAM) as tcp_server:
tcp_server.bind(('192.168.1.5', 49986)) #192.168.1.5 is pc address
tcp_server.listen(1)
while True:
conn, addr = tcp_server.accept()
with conn:
while True:
data = conn.recv(10000)
print(data.decode('utf-8'))
- Para recibir datos grabados en iOS
Si envía por UDP la cadena “v2_OtherBakeRecordedAnimation_FACEMOTION3D” al puerto 49993 del lado iOS, los datos grabados se enviarán al PC por TCP/IP en el puerto 49987.
La cadena transmitida tiene el siguiente formato:
["......", "......", "......"]===[time01, time02, time03]___FACEMOTION3D.
La parte ["......", "......", "......"] está en formato JSON y contiene las mismas cadenas que se usan por UDP y TCP/IP.
[time01, time02, time03] contiene los tiempos de grabación correspondientes a cada índice de datos grabados.
- Para recibir datos grabados y audio en iOS
Si envía por UDP la cadena “v2_OtherBakeRecordedAnimation_FACEMOTION3D” al puerto 49993 del lado iOS, los datos grabados se enviarán al PC por TCP/IP en el puerto 49987.
La cadena transmitida tiene el siguiente formato:
["......", "......", "......"]===[time01, time02, time03]___FACEMOTION3D.
La parte ["......", "......", "......"] está en formato JSON y contiene las mismas cadenas que se usan por UDP y TCP/IP.
[time01, time02, time03] contiene los tiempos de grabación correspondientes a cada índice de datos grabados.
- Mostrar al usuario que se está haciendo bake
Para mostrar “Currently baking” en la app iOS, envíe “BakeOther_FACEMOTION3D” al puerto UDP 49993. Para ocultar el mensaje de baking, envíe “BakeFinishOther_FACEMOTION3D” al puerto UDP 49993.
- Para iniciar la grabación dentro de la app iOS
Para iniciar la grabación dentro de la app iOS, envíe “FACEMOTION3D_StartRecording” al puerto 49993.
- Para detener la grabación dentro de la app iOS
Para detener la grabación dentro de la app iOS, envíe “FACEMOTION3D_StopRecording” al puerto 49993.
- Para detener el streaming dentro de la app iOS
Para detener el streaming dentro de la app iOS, envíe “StopStreaming_FACEMOTION3D” al puerto 49993.
- Ejecutar la función del botón Reset
Envíe la cadena “FACEMOTION3D_resetButton” al puerto 49993 del dispositivo iOS.
- Bluetooth
Para conectarse por Bluetooth con la licencia Other, use el siguiente código:
https://github.com/emoto-yasushi/iFacialMocap_Facemotion3d_Bluetooth
- Información adicional
- Una vez que Facemotion3d acepta un comando, no aceptará comandos externos durante 0,02 segundos.
- Actualmente, el único servidor que recibe comandos es el servidor UDP. Con UDP a veces pueden perderse datos, por lo que enviarlos unas tres veces aumenta la probabilidad de una comunicación correcta.
Los desarrolladores de terceros no tienen necesariamente que usar la licencia Other.
Los desarrolladores de terceros pueden usar cualquier licencia, como la de Unity o la de Blender, para elegir el tipo de datos que se enviarán.
Tenga en cuenta que el precio de cada licencia puede cambiar en el futuro según la situación.