In-memory computing – Página 2

Gestión de la carga de trabajo de SAP HANA (o Workload Management)

Toda gestión de recursos tiene como finalidad controlar su consumo, los cuales suelen ser limitados y de valor crítico, evitando cuellos de botella o contratiempos mayores. SAP HANA puede gestionar los siguientes tipos de carga de trabajo (Workload):

SAP HANA puede gestionar los siguientes tipos de carga de trabajo (Workload):

OLAP Workload: Por ejemplo, reporting sobre BW.
OLTP Workload: Por ejemplo, transacciones de un sistema ERP.
Workload mixto: Combinan los dos tipos de carga de trabajo anteriores, OLAP y OLTP, el cual se puede dar en sistemas transaccionales con funciones analíticas.
Workload interno: Generado por operaciones internas de SAP HANA, tales como backups, puntos de salvaguarda (savepoints).

Toda gestión de recursos tiene como finalidad controlar su consumo, los cuales suelen ser limitados y de valor crítico, evitando cuellos de botella o contratiempos mayores. Para el caso de SAP HANA, esta gestión se centra en la memoria, CPU y la Red (ancho de banda y latencia).

Para la gestión de la carga de trabajo de la memoria se puede configurar, entre otros, los siguientes aspectos:

Limitar el consumo de memoria para todas las sentencias SQL (desde la actualización SPS 08). Se debe tener en cuenta que la especificación es por host, si se señala un tope de 100 GB, y se tiene un escenario de escalabilidad horizontal (scale-out), los 100 GB se multiplicarán por el número de host que tuviese la instalación.
Limitar el consumo de memoria para sentencias SQL para un usuario en particular (a partir de la actualización SPS 09).
Establecer un consumo máximo de memoria por clase de carga de trabajo (a partir de la actualización SPS 10).

Ante un consumo elevado de CPU o los hilos de procesamiento (threads) activos, se sugiere, en primer lugar, realizar un análisis de rendimiento u optimización de los procesos que lo estuviesen provocando. Adicionalmente se pueden establecer los siguientes límites.

Establecer un número máximo de hilos de procesamiento (threads). Si se superase este límite, el proceso generaría error.
Tiempo de espera en microsegundos antes de iniciar un nuevo proceso cuando se alcanza el límite máximo establecido.
Número de máximo de procesos concurrentes y otros parámetros que regulan el procesamiento paralelo.

En cuanto a la carga de trabajo de la red, si existiesen problemas debido a la latencia o ancho de banda, estos usualmente se resuelven optimizando la infraestructura de red. SAP HANA ofrece alertas y otros recursos para monitorizar el tráfico de la red, y algunos parámetros para determinar el comportamiento de los elementos que conforman una plataforma HANA (ver nota 2222200), pero que no serán tan gravitantes como puede ser una administración y monitorización de la red, ajena a HANA.

Referencia: SAP Note 2222250

Los LOBs Hibridos de SAP HANA Database

Como veíamos en la entrada anterior, con los tipos de datos LOB de SAP HANA es posible almacenar datos de gran tamaño, tales como documentos, imágenes o videos. Ahora bien, pero toda esta información dentro de una estructura de tablas de la base de datos podría significar un gran consumo de recursos de manera innecesaria. Desde la actualización SPS 07 de SAP HANA están disponibles los denominados LOBs híbridos, los cuales estarán en memoria sólo cuando son utilizados.

Como veíamos en la entrada anterior, con los tipos de datos LOB de SAP HANA es posible almacenar datos de gran tamaño, tales como documentos, imágenes o videos. Ahora bien, pero toda esta información dentro de una estructura de tablas de la base de datos podría significar un gran consumo de recursos de manera innecesaria. Desde la actualización SPS 07 de SAP HANA están disponibles los denominados LOBs híbridos, los cuales estarán en memoria sólo cuando son utilizados.

Con los LOB híbridos se puede almacenar datos LOB en el disco hasta que se necesite en lugar de tener que cargarlos en la memoria. Esto influye en el consumo de recursos, por lo tanto afecta a la puesta en marcha del sistema y los tiempos de respuesta. SAP HANA puede almacenar objetos binarios grandes (LOB) en el disco y no dentro de estructuras de columnas o filas de la memoria principal.

Los LOB híbridos residen primero en el disco y se hace referencia a este contenido únicamente por un ID en la columna de la tabla correspondiente. Si hay escasez de memoria, los datos LOB pueden ser descargados desde la memoria principal. A través de unos parámetros del sistema se puede determinar que los datos LOBs pequeños (por defecto, menos de 1.000 bytes) se mantengan en memoria, mientras que los de tamaño superior se mantengan en el disco.

Los cambios que introdujo la actualización SPS 07 de SAP HANA Database sobre los datos LOBs, derivó a que se introdujeran los términos LOBs de memoria (el mecanismo inicial) y LOBs Híbridos (o LOBS de disco). SAP HANA ofrece un conjunto de sentencias SQL que permiten la parametrización, creación y gestión de estos tipos de datos.

Almacenamiento de gran tamaño en SAP HANA: Campos LOBs

Si estas necesitando almacenar contenidos de gran tamaño, tales como documentos o imágenes en una plataforma SAP HANA Database, debes pensar en los tipos de datos LObs (Large Objetcs), especialmente diseñados para este fin. Existen los siguientes tipos:

Si estas necesitando almacenar contenidos de gran tamaño, tales como documentos o imágenes en una plataforma SAP HANA Database, debes pensar en los tipos de datos LObs (Large Objetcs), especialmente diseñados para este fin. Existen los siguientes tipos:

BLOB: Datos binarios. Por ejemplo, imágenes. Para tablas con almacenamiento por filas y columnas.
CLOB: Texto ASCII. Para tablas con almacenamiento por filas y columnas.
NCLOB: Texto UNICODE. Para tablas con almacenamiento por filas y columnas.
TEXT: Texto con características adicionales de búsqueda. Sólo para tablas columnares. Muchas funciones de cadenas no son aplicables a este tipo de dato.
BINTEXT: Texto y datos binarios con características adicionales de búsqueda. Con similares restricciones al tipo TEXT. La definición de este tipo de dato genera una columna de tipo NCLOB.
Nota: El tipo de dato VARBINARY, a pesar que puede almacenar hasta 5.000 bytes no es considerado un tipo LOB, por lo que se carga en memoria cuando se acceda sin ninguna restricción como las que se podrían aplicar con los LOBs híbridos, señalados en próxima entrada.

Restricciones de los tipos de datos LObs

Un campo de un tipo LOB sólo puede tener un máximo de 2 GB. Hay alertas que permiten controlar esta situación (Check ID 450 – Tables with memory LOBs > 2 GB).
Una columna LOB no puede ser utilizada con la cláusula ORDER BY, GROUP BY, SLECT DISTINC, SELECT con funciones de agregación, FROM como operando en joins.
Una columna LOB no puede ser clave primaria

Tratamientos de cadena soportados

LENGTH para los tipos CLOB, NCLOB y BLOB. Retorna el tamaño de campo LOB en bytes.
SUBSTR para los tipos CLOB y NCLOB. Retorna una subcadena del campo LOB.
Las clausulas LIKE y CONTAINS para los tipos CLOB y NCLOB.
Cláusula IS NUL sólo para los tipos CLOB, NCLOB y BLOB.

Nota: Ver siguiente entrada sobre LOBs híbridos.

Referencia: SAP Note 2220627

Terminología sobre Correcciones y Mejoras en SAP HANA

En cuanto a las correcciones y mejoras que pueden liberarse en SAP HANA, existe una terminología similar a otras plataformas de SAP, quizás con ciertos matices que tratamos de aclarar a continuación:

Revisions. Se trata de correcciones para los componentes centrales o core tales como SAP HANA Database, Clientes, Application Fuction Library o SDA).
Support Packages (SP). Incluye correcciones o mejoras de todos los demás componentes de SAP HANA, que no cubre una revisión.
Support Package Stack (SPS). Se trata de nuevas capacidades o funcionalidades, las cuales tienen una ferecuencia de dos vesces al año. Incluyen las revisiones o SP previos.

La numeración de las SPS y revisiones están alineadas para facilitar su identificación. Por ejemplo, la revisión 90 se refiere a la primera revisión del SPS 09.

Revisando el Roadmap sobre IoT de SAP

Al igual que sucedió con el cloud o el Big Data, los líderes en tecnología están incluyendo el Internet of Things (IoT) en sus propuestas. Son muy optimistas las expectativas de adopción de esta tecnología, que prevén consultoras como Gartner, y que no dejan indiferentes ni a SAP, que en el pasado fue más cauto con otras tecnologías.

Al igual que sucedió con el cloud o el Big Data, los líderes en tecnología están incluyendo el Internet of Things (IoT) en sus propuestas. Son muy optimistas las expectativas de adopción de esta tecnología, que prevén consultoras como Gartner, y que no dejan indiferentes ni a SAP, que en el pasado fue más cauto con otras tecnologías.

Revisando una de las primeras versiones del roadmap sobre IoT que ha publicado SAP el 29 de septiembre de 2015, resulta, por lo menos, complejo de comprenderlo. Como es lógico, este “mapa de ruta” gira alrededor de su plataforma SAP HANA y a las capacidades predictivas que SAP ha ido desarrollando (o adquiriendo) en los últimos años y ha incorporado en su base de datos in-memory y en otros productos.

Salvo mejor parecer, la confusión viene dada porque en un solo documento se ha querido plasmar las posibilidades instalación de la plataforma, toda la gama de posibilidades de interconexión con otros productos y las posibilidades analíticas que se podrían explotar para la implementación de una solución basada en IoT.

Quizás pretendemos ser muy simplistas, pero en IoT para SAP, por un lado señalaríamos la capacidad de cálculo en-memoria de HANA, lo que facilita el procesamiento de grandes volúmenes de datos, y por otro lado, una herramienta como SAP HANA Smart Data Streaming, una de las herramientas señaladas en el roadmap de IoT de SAP.

SAP HANA Smart Data Streaming

SAP HANA Smart Data Streaming (lo abreviaremos como SDS on HANA) fue presentada en la actualización SPS 09 de HANA como una herramienta para capturar datos de manera continuada proveniente de dispositivos y aplicaciones, procesarlos en tiempo real con los siguientes fines:

Detectar tendencias y patrones,
Identificar valores y monitorizar correlaciones,
Generar alertas y notificaciones
Actualizar en tiempo real tableros (dashboards operacionales),
Formular respuestas a preguntas básicas
Agregar y resumir los datos.

SDS on HANA cuanta con varias alternativas de conectividad a varias fuentes de datos. Los datos recibidos son tratados de acuerdo a consultas y reglas (business logic) que brindan la salida deseada que son encaminadas de acuerdo a adaptadores de salida.

SDS on HANA incluye varios componentes, entre ellos un plugin para SAP HANA Studio (para los desarrolladores), así como soporte a Continuous Computation Language (CCL) para la aplicación de funcionalidades complejas como agrupamiento y agrupamiento de datos.

Referencia: Roadmap sobre IoT de SAP (o aquí)