Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 01
Resumen de la inteligencia comercial de Big Data para el análisis de inteligencia criminal
- Estudios de caso de aplicación de la ley: Policía predictiva
- Tasa de adopción de Big Data en las agencias policiales y cómo están alineando sus operaciones futuras en torno a la analítica predictiva basada en Big Data
- Soluciones tecnológicas emergentes, como sensores de disparos, video vigilancia y redes sociales
- Uso de la tecnología de Big Data para mitigar la sobrecarga de información
- Interfaz de Big Data con datos heredados
- Comprensión básica de las tecnologías habilitadoras en analítica predictiva
- Integración de datos y visualización en paneles de control
- Gestión del fraude
- Reglas de negocio y detección de fraudes
- Detección de amenazas y perfilamiento
- Análisis de costo-beneficio para la implementación de Big Data
Introducción a Big Data
- Características principales de Big Data: Volumen, Variedad, Velocidad y Veracidad.
- Arquitectura MPP (Procesamiento Masivamente Paralelo)
- Almacenes de datos (Data Warehouses) – esquema estático, conjunto de datos que evoluciona lentamente
- Bases de datos MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
- Soluciones basadas en Hadoop – sin restricciones sobre la estructura del conjunto de datos.
- Patrón típico: HDFS, MapReduce (crunch), recuperación desde HDFS
- Apache Spark para procesamiento en transmisión
- Lotes: adecuados para análisis/no interactivos
- Volumen: datos de streaming CEP
- Opciones típicas – productos CEP (p. ej., Infostreams, Apama, MarkLogic, etc.)
- Menos listos para producción – Storm/S4
- Bases de datos NoSQL – (columnares y clave-valor): mejor adaptadas como complemento analítico a un almacén de datos/base de datos
Soluciones NoSQL
- KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- KV Store - Dynamo, Voldemort, Dynomite, SubRecord, MongoDB, DovetailDB
- KV Store (Jerárquico) - GT.m, Cache
- KV Store (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Tuple Store - Gigaspaces, Coord, Apache River
- Base de datos de objetos - ZopeDB, DB40, Shoal
- Almacén de documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, Bases de datos XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Almacén de columnas anchas - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Variedades de datos: Introducción a los problemas de limpieza de datos en Big Data
- RDBMS – estructura/esquema estático, no fomenta un entorno ágil y exploratorio.
- NoSQL – semiestructurado, con suficiente estructura para almacenar datos sin un esquema exacto previo al almacenamiento.
- Problemas de limpieza de datos
Hadoop
- ¿Cuándo elegir Hadoop?
- ESTRUCTURADO - Los almacenes de datos/bases de datos empresariales pueden almacenar grandes volúmenes de datos (a un costo), pero imponen estructura (no es ideal para exploración activa).
- DATOS SEMIESTRUCTURADOS: difíciles de manejar con soluciones tradicionales (DW/DB).
- Almacenar datos = ESFUERZO ENORME y estático incluso después de la implementación.
- Para variedad y volumen de datos, procesados en hardware comercial – HADOOP.
- Se requiere hardware comercial para crear un clúster de Hadoop.
Introducción a Map Reduce /HDFS
- MapReduce – distribución del cálculo en múltiples servidores.
- HDFS – disponibilidad local de datos para el proceso de cómputo (con redundancia).
- Datos: pueden ser no estructurados/sin esquema (a diferencia de RDBMS).
- Responsabilidad del desarrollador: dar sentido a los datos.
- Programación MapReduce = trabajar con Java (pros/contras), carga manual de datos en HDFS.
Día 02
Ecosistema Big Data: construcción de ETL (Extraer, Transformar, Cargar) para Big Data – ¿qué herramientas de Big Data usar y cuándo?
- Hadoop vs. otras soluciones NoSQL
- Para acceso interactivo y aleatorio a datos.
- Hbase (base de datos orientada a columnas) sobre Hadoop.
- Acceso aleatorio a datos, pero con restricciones impuestas (máx. 1 PB).
- No es ideal para análisis ad-hoc; bueno para registro de eventos, conteo y series temporales.
- Sqoop: importación desde bases de datos a Hive o HDFS (acceso JDBC/ODBC).
- Flume: flujo de datos (p. ej., datos de registros) hacia HDFS.
Sistema de gestión de Big Data
- Múltiples componentes, nodos de cómputo que inician/fallan: ZooKeeper – para servicios de configuración, coordinación y nombres.
- Pipeline/flujo de trabajo complejo: Oozie – gestiona flujos de trabajo, dependencias, cadenas.
- Despliegue, configuración, gestión de clústeres, actualización, etc. (admin. de sistemas): Ambari
- En la nube: Whirr
Análisis predictivo: técnicas fundamentales e inteligencia comercial basada en aprendizaje automático
- Introducción al aprendizaje automático.
- Aprendizaje de técnicas de clasificación.
- Predicción bayesiana: preparación de un archivo de entrenamiento.
- Máquinas de soporte vectorial (SVM).
- Álgebra KNN p-Tree y minería vertical.
- Redes neuronales.
- Problema de grandes variables en Big Data – Bosques aleatorios (RF).
- Problema de automatización en Big Data – Conjunto de modelos múltiples RF.
- Automatización a través de Soft10-M.
- Herramienta de análisis de texto: Treeminer.
- Aprendizaje ágil.
- Aprendizaje basado en agentes.
- Aprendizaje distribuido.
- Introducción a herramientas de código abierto para analítica predictiva: R, Python, Rapidminer, Mahout
Ecosistema de análisis predictivo y su aplicación en el análisis de inteligencia criminal
- Tecnología y el proceso de investigación.
- Análisis de perspectivas (insight analytic).
- Visualización analítica.
- Análisis predictivo estructurado.
- Análisis predictivo no estructurado.
- Perfilamiento de amenazas/fraudstar/proveedores.
- Motor de recomendaciones.
- Detección de patrones.
- Detección de reglas/escenarios: fallos, fraudes, optimización.
- Detección de causas raíz.
- Análisis de sentimiento.
- Análisis CRM.
- Análisis de redes.
- Análisis de texto para obtener perspectivas a partir de transcripciones, declaraciones de testigos, chisme en internet, etc.
- Revisión asistida por tecnología.
- Analítica del fraude.
- Análisis en tiempo real.
Día 03
Análisis en tiempo real y escalable sobre Hadoop
- Por qué los algoritmos analíticos comunes fallan en Hadoop/HDFS.
- Apache Hama: para cómputo distribuido síncrono masivo.
- Apache SPARK: para cómputo en clúster y análisis en tiempo real.
- CMU Graphics Lab2: enfoque asíncrono basado en grafos para el cómputo distribuido.
- KNN p: enfoque algebraico de Treeminer para reducir el costo operativo de hardware.
Herramientas para eDiscovery y forense
- eDiscovery sobre Big Data vs. datos heredados: comparación de costos y rendimiento.
- Codificación predictiva y revisión asistida por tecnología (TAR).
- Demo en vivo de vMiner para comprender cómo TAR permite un descubrimiento más rápido.
- Indexación más rápida a través de HDFS: velocidad de los datos.
- PAN (Procesamiento del Lenguaje Natural): productos y técnicas de código abierto.
- eDiscovery en idiomas extranjeros: tecnología para el procesamiento de idiomas extranjeros.
BI de Big Data para seguridad cibernética: obtener una visión integral, recopilación rápida de datos e identificación de amenazas
- Comprensión de los fundamentos del análisis de seguridad: superficie de ataque, configuraciones incorrectas de seguridad, defensas de host.
- Infraestructura de red / gran tubería de datos / ETL de respuesta para análisis en tiempo real.
- Predictivo vs prescriptivo: reglas fijas basadas en normativas frente al descubrimiento automático de reglas de amenaza a partir de metadatos.
Recopilación de datos dispares para el análisis de inteligencia criminal
- Uso del IoT (Internet de las Cosas) como sensores para capturar datos.
- Uso de imágenes satelitales para vigilancia nacional.
- Uso de datos de vigilancia e imágenes para la identificación criminal.
- Otras tecnologías de recopilación de datos: drones, cámaras corporales, sistemas de etiquetado GPS y tecnología de imagen térmica.
- Combinar la recuperación automática de datos con los obtenidos de informantes, interrogatorios e investigación.
- Pronóstico de actividad delictiva.
Día 04
BI para prevención de fraude mediante Big Data en Analítica de Fraude
- Clasificación básica de la analítica de fraudes: basada en reglas frente a analítica predictiva.
- Aprendizaje supervisado vs. no supervisado para la detección de patrones de fraude.
- Fraude B2B, fraude en reclamaciones médicas, fraude de seguros, evasión fiscal y lavado de dinero.
Analítica de Redes Sociales: recopilación e inteligencia analítica
- Cómo utilizan los criminales las redes sociales para organizar, reclutar y planificar.
- API ETL de Big Data para extraer datos de redes sociales.
- Texto, imagen, metadatos y video.
- Análisis de sentimiento a partir del feed de redes sociales.
- Filtrado contextual y no contextual del feed de redes sociales.
- Panel de control de redes sociales para integrar diversas plataformas.
- Perfilamiento automatizado perfiles de redes sociales.
- Demo en vivo de cada análisis se proporcionará a través de la herramienta Treeminer.
Analítica de Big Data en procesamiento de imágenes y flujos de video
- Técnicas de almacenamiento de imágenes en Big Data: solución de almacenamiento para datos que superan los petabytes.
- LTFS (Sistema de Archivos de Cinta Lineal) y LTO (Linear Tape Open).
- GPFS-LTFS (Sistema de Archivos Paralelo General - Sistema de Archivos de Cinta Lineal): solución de almacenamiento en capas para datos masivos de imágenes.
- Fundamentos del análisis de imágenes.
- Reconocimiento de objetos.
- Segmentación de imagen.
- Rastreo de movimiento.
- Reconstrucción de imágenes 3D.
Biometría, ADN y programas de identificación de nueva generación
- Más allá de las huellas dactilares y el reconocimiento facial.
- Reconocimiento de voz, escritura por teclado (análisis del patrón de tecleo de un usuario) y CODIS (Sistema Combinado de Índice de ADN).
- Más allá de la coincidencia de ADN: uso de la fenotipización forense del ADN para construir un rostro a partir de muestras de ADN.
Panel de control de Big Data para acceso rápido y visualización de diversos datos:
- Integración de la plataforma de aplicación existente con el Panel de control de Big Data.
- Gestión de Big Data.
- Caso de estudio del Panel de control de Big Data: Tableau y Pentaho.
- Uso de la aplicación Big Data para impulsar servicios basados en la ubicación en el gobierno.
- Sistema de seguimiento y gestión.
Día 05
Cómo justificar la implementación de BI de Big Data dentro de una organización:
- Definición del ROI (Retorno de la Inversión) para implementar Big Data.
- Casos de estudio sobre ahorro de tiempo de analistas en recopilación y preparación de datos – aumentando la productividad.
- Ganancia de ingresos por menor costo de licencias de bases de datos.
- Ganancia de ingresos a través de servicios basados en la ubicación.
- Ahorro de costos mediante la prevención de fraudes.
- Enfoque de hoja de cálculo integrada para calcular gastos aproximados frente a ganancias/ahorro de ingresos por implementación de Big Data.
Procedimiento paso a paso para reemplazar un sistema de datos heredado con un sistema de Big Data
- Hoja de ruta de migración de Big Data.
- ¿Qué información crítica se necesita antes de diseñar un sistema de Big Data?
- ¿Cuáles son las diferentes formas de calcular el volumen, velocidad, variedad y veracidad de los datos?
- Cómo estimar el crecimiento de datos.
- Casos de estudio.
Revisión de proveedores de Big Data y análisis de sus productos.
- Accenture
- APTEAN (anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (parte de EMC)
Sesión de preguntas y respuestas
Requerimientos
- Conocimiento de los procesos policiales y los sistemas de datos
- Comprensión básica de SQL/Oracle o bases de datos relacionales
- Comprensión básica de estadísticas (a nivel de hojas de cálculo)
Audiencia objetivo
- Especialistas en aplicación de la ley con formación técnica
35 Horas
Reseñas (3)
fundamentos y amó los documentos y ejercicios preparados
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Curso - Introduction to Predictive AI
Traducción Automática
Que fue muy priactico.
Alfonso Ramos - Banco de Mexico
Curso - Fundamentos de Integración de Datos Pentaho
Deepthi estaba muy atenta a mis necesidades, podía percibir cuándo añadir capas de complejidad y cuándo mantenerse atrás y adoptar un enfoque más estructurado. Deepthi realmente trabajó a mi ritmo y aseguró que pudiera utilizar las nuevas funciones/herramientas por mí mismo, primero mostrándome y luego dejándome recrear los elementos por mí mismo, lo cual ayudó mucho a consolidar la formación. ¡No podría estar más satisfecho con los resultados de esta capacitación y con el nivel de experiencia de Deepthi!
Deepthi - Invest Northern Ireland
Curso - IBM Cognos Analytics
Traducción Automática
