Posts

What is the future of ETL?

Image
ETL stands for Extract Transform and Load data in order to structure information in a way which is suitable for analytical purposes vs transactional database design. Potentially, combining multiple sources in a single target enabling cross data analysis. It has been a crucial part of analytics projects over the last 40 years - or even more, with the raise of Data Warehouses back on the 80's. 1. Why ETL or ELT are needed? The purpose of an ETL or ELT pipeline is to prepare data for analytics. To provide valuable insights, source data from various systems (CRMs, ERPs, social media platforms, external DB, etc.) needs to be moved and consolidated in a destination database. Heavy calculations or data modifications also take place during this process to streamline and facilitate data extraction. 2. What is ETL? The key defining feature of an ETL approach is that data is typically processed in-memory rather than in-database. An ETL pipeline is helpful for: Centralizing and standardizing d...

Kit Digital para proyectos de ANALÍTICA en 2022

Image
Kit Digital, destinatarios y utilidad El programa Kit Digital se enmarca en el Plan de Recuperación, Transformación y Resiliencia, la agenda España Digital 2025 y el Plan de Digitalización de Pymes 2021-2025. Además, está financiado por la Unión Europea – NextGenerationEU. Otorga ayudas entre 2.000 y 12.000 euros a PYMES y autónomos en función del segmento al que pertenezca: Segmento I: Pequeñas empresas entre 10 y menos de 50 empleados.  →   12.000€ de bono Segmento II: Pequeñas empresas o Microempresas entre 3 y menos de 10 empleados.  →  6.000€ de bono Segmento III: Pequeñas empresas o Microempresas de entre 0 y menos de 3  →   2.000€ de bono La primera convocatoria de ayudas, que verá la luz a principios de 2022, se destinará a pymes de entre 10 y 49 empleados y contará con un presupuesto de 500 millones de euros.  Todos los detalles en el BOE Estos bonos de Kit Digital podrán destinarse a los siguiente ámbitos a través de los agentes digitalizador...

VPC for dummies. Your first network set up in AWS

Image
  Amazon VPC: Virtual Private Cloud. Basic concepts You can imagine how many millions of customers using AWS services. Also, imagine the millions of resources created by them. Resources such as Amazon EC2 instances. Without boundaries around all of these resources, network traffic would be able to flow between them unrestricted.  A networking service that you can use to establish boundaries around your AWS resources is  Amazon Virtual Private Cloud (Amazon VPC) . Amazon VPC enables you to provision an isolated section of the AWS Cloud. In this isolated section, you can launch resources in a virtual network that you define. Within a virtual private cloud (VPC), you can organize your resources into subnets. A  subnet  is a section of a VPC that can contain resources such as Amazon EC2 instances. Main Concepts: 1. Internet gateway To allow public traffic from the internet to access your VPC, you attach an  internet gateway  to the VPC. An in...

IA después del hype, primero los datos

Image
"¿Y si hacemos un proyecto de Inteligencia Artificial?" Así suelen empezar muchas iniciativas de analítica avanzada o lo que entraría dentro del gran saco de la Transformación Digital. Ahora "es lo que toca" para estar en la cresta de la ola tecnológica. Detrás del hype en proyectos de Inteligencia Artificial, Big Data, IoT siempre hay un denominador común. Los DATOS . Estos son el ingrediente principal de la receta de la digitalización y conceptos a priori tan poco novedosos (década de los 70's) como DataWarehouse, Data Mart o Data Lake cobran ahora más sentido que nunca. "Se trata de tener datos estructurados y homogéneos para poder explotarlos" Aquellas empresas, independientemente de su tamaño, capaces de tener una integración y governance de sus datos que les permita tomar decisiones en base a estos serán las que obtengan una importante ventaja competitiva. IA en la empresa privada Si bien la inteligencia artificial tiene aplicaciones en infinidad...

Optimized server-less data architecture in AWS

Image
  Business case for Electrical sector in Spain 2021 Simig Solutions has created a scalable plug and play cloud solution using AWS best practices in Data Pipeline management to store and analyze data in a performant and cost-efficient manner. Besides this document focuses on a specific business case, best practices mentioned here can be applicable to other industries aiming to streamline their data management systems.   1.       Business Goal Regulation in the Power and Energy sector is always a key element of this industry. In June 2021, Spanish regulation has changed, and it became crucial than ever keeping a close monitoring of consumption and commercial margins. The business goals of this solution are to allow companies to process, maintain and secure their data to analyze, understand and improve: Customer profitability Consumption forecast Fraud detection That will lead into an optimize pricing strategy and betting and more accura...

7 mandamientos para tener éxito en tu Transformación Digital

Image
Se oye mucho acerca de este tema especialmente tras la aprobación de los Fondos Europeos Next Generation que deben dar un impulso a la digitalización de las empresas europeas. En Simig Solutions acompañamos a empresas en el camino de la digitalización basada en datos y nos gustaría compartir algunas de las lecciones aprendidas y recopiladas estos años. ¿La Transformación Digital es para mi? Sinceramente, no me gusta el término Transformación Digital. Parece que sea algo súper complejo y no al alcance de todas las empresas. Pero acaso todos utilizamos Whatsapp y nadie se sorprende. Guardamos archivos en Dropbox / Google Drive o similar y nos parece de lo más normal. Más que una transformación, se trata avanzar con los tiempos y utilizar la tecnología disponible en nuestras empresas al igual que nos adaptamos en nuestra vida privada. Así que la respuesta es SI, SIN DUDA Y SIN ALTERNATIVA ¿Cómo afecta la digitalización a mi empresa? En las empresas la digitalización afecta de forma genera...