Home

Detección de atributos faciales

La detección de atributos faciales consiste en determinar si una persona tiene cierta característica en o alrededor de su cara. Puede ser una particularidad de la cara misma, del pelo, o algún accesorio que tenga puesto. La gran mayoría de atributos son binarios (tiene o no) pero algunos pueden ser numéricos como la edad.

Métodos

• FaceNet: A Unified Embedding for Face Recognition and Clustering Este método es la base para lo que vamos a hacer. La idea es entrenar una red que genere un vector de 128 elementos llamado un "embedding" que sirva para describir caras y compararlas. En base a eso generalmente se entrena un clasificador de caras para identificar personas. Nosotros vamos a usar esta red (o metodología) para detectar atributos.
  • Tutoriales (no interesa la implementación particular sino la idea del embedding):
  • Building a Facial Recognition Pipeline with Deep Learning in Tensorflow
  • Modern Face Recognition with Deep Learning
  • Deep face recognition with Keras, Dlib and OpenCV
  • Understanding Facial Recognition Through OpenFace
• Facenet+atributos
• All-in-one CNN for face analysis localización y atributos todo en la misma cnn
• Universal embeddings from attributes Como el anterior pero con embeddings

Librerías

• OpenFace tiene utilidades para reconocimiento de caras pero como parte de pipeline tiene detección de rostros, alineamiento, localización de puntos claves, etc.

Bases de datos

CelebFaces Attributes Dataset (CelebA)

• Muestras:
• Atributos: son 40. anteojos, bigote, sonrisa,rulos, sombrero, flequillo, nariz puntiaguda(!), cara redonda(!) y otros.
• dataset en kaggle (el otro tiene links que no funcionan)

ChaLearn Faces of the World (FoTW) Track 1: Apparent age

• Muestras:
• Atributos: Edad aparente (no real)
• Requiere registrarse
• Formato: Matlab ( loadmat)

ChaLearn Faces of the World (FoTW) Track 2: Accesories

• Muestras: 8000+4000 imágenes (train/test)
• Atributos: Accesorios (aros, sombrero, bigote, collar, corbata, vincha)
• Requiere registrarse

ChaLearn Faces of the World (FoTW) Track 3: Smiles and Gender

• Muestras: 8000 imágenes
• Atributos: Género y sonrisa
• Requiere registrarse
• link 2 (requiere registrarse también)

Expression in the Wild (ExpW)

• Atributos: "angry" "disgust" "fear" "happy" "sad" "surprise" "neutral"
• Muestras: *link

Otros datasets

• Primeras impresiones (ChaLearn 2016) En base a un video de 20s clasificar en 5 categorías de personalidad.
• Crossmodal biometric matching Matchea caras con voces pero podemos usar las caras y la anotación de nacionalidad/género.
• Labeled Faces in the Wild (LFW) Este es el dataset de rostros más conocido. Tiene anotaciones de género.
• 60 Bases de datos de caras. Un montón. La mayoría para identificación de personas. En gral no tienen atributos útiles más allá del género quizás.