Importancia de C++ en Data Science y Big Data Introducción y motivación: por qué C++ C++ es ideal para , el almacenamiento en y . , la mayoría de las enumeran a continuación se han , conocida por su y su alto, está codificada con C++ y actúa como reemplazo de . el equilibrio de carga dinámico caché adaptativo el desarrollo de marcos y bibliotecas de big data MapReduce de Google, MongoDB bibliotecas de aprendizaje profundo que se implementado utilizando C++. Scylla latencia ultrabaja rendimiento extremadamente Apache Cassandra y Amazon DynamoDB Con algunas de las ventajas de C++ como lenguaje de programación (incluida y ), definitivamente sirve como una de las herramientas más para desarrollar bibliotecas de Big Data y ciencia de datos escalables y rápidas. únicas la administración de memoria, las características de rendimiento la programación de sistemas eficientes Además, (un lenguaje e , desarrollado por ) está emergiendo como un competidor potencial de Python en el campo de la computación científica y el procesamiento de datos. Su alta velocidad de procesamiento, paralelismo, estático junto con escritura dinámica y enlaces de C++ para conectar bibliotecas, ha facilitado el trabajo para que los desarrolladores/científicos de datos integren y usen como ciencia de datos y biblioteca de big data. Julia compilado interactivo el MIT C++ Echemos un vistazo más de cerca a las diferentes bibliotecas de C++ que pueden ser útiles para todos los científicos de datos para los modelos tradicionales y de aprendizaje profundo. 1. TensorFlow de Google AI Popular biblioteca de aprendizaje profundo desarrollada por Google con su propio ecosistema de herramientas, bibliotecas y recursos comunitarios que permite a los investigadores y desarrolladores crear e implementar aplicaciones basadas en ML fácilmente https://www.tensorflow.org/lite/microcontrollers/library https://github.com/tensorflow/serving 2. Café de Berkeley La arquitectura convolucional para la incrustación rápida de características o Caffe está escrita en C++ para un marco de aprendizaje profundo y ha sido desarrollada por Berkeley Vision and Learning Center. https://github.com/intel/café 3. Kit de herramientas cognitivas de Microsoft (CNTK) es un kit de herramientas de aprendizaje profundo unificado que ayuda a traducir las redes neuronales como una serie de pasos computacionales a través de un gráfico dirigido. Microsoft Cognitive Toolkit 4. Biblioteca mlpack : es una biblioteca de aprendizaje automático rápida y flexible, escrita en C ++, que proporciona algoritmos de aprendizaje automático de vanguardia con enlaces de Python, enlaces de Julia y clases de C ++. mlpack . 5 DyNet (admite gráficos computacionales sobre la marcha) o DyNet es una biblioteca de redes neuronales de alto rendimiento escrita en C++ (con enlaces en Python) que se ejecuta de manera eficiente en CPU o GPU. Tiene soporte para procesamiento de lenguaje natural, estructuras gráficas, aprendizaje por refuerzo y otros similares. Dynamic Neural Network Toolkit 6. Shogún es una biblioteca de aprendizaje automático de código abierto que ofrece una amplia gama de métodos de aprendizaje automático eficientes y unificados, como la combinación de múltiples representaciones de datos, clases de algoritmos y herramientas de propósito general para la creación rápida de prototipos de canalizaciones de datos. Shogun 7. VENEZUELA es una red neuronal artificial multicapa en C compatible con redes totalmente conectadas y escasamente conectadas. Tiene soporte para ejecución multiplataforma tanto en puntos fijos como flotantes. Además, tiene soporte para el entrenamiento basado en topología en evolución y el entrenamiento del modelo DL basado en la retropropagación. Fast Artificial Neural Network 8. Abrir NN es una biblioteca de alto rendimiento de redes neuronales de código abierto (C/C++) para análisis avanzado, con soporte para clasificación, regresión, pronóstico, entre otros. Open Neural Networks (OpenNN) 9. Biblioteca de TIBURONES es una biblioteca de aprendizaje automático rápida, modular y general de código abierto (C/C++), para aplicaciones e investigación, con soporte para optimización lineal y no lineal, algoritmos de aprendizaje basados en kernel, redes neuronales y varias otras técnicas de aprendizaje automático. Shark 10. Armadillo Armadillo es una biblioteca de álgebra lineal (C/C++) con una funcionalidad similar a Matlab. La biblioteca es famosa por la conversión rápida de código de investigación en entornos de producción, para reconocimiento de patrones, visión por computadora, procesamiento de señales, bioinformática, estadística, econometría, entre otros. 11. Fisis : esta biblioteca (C/C++) se utiliza para la búsqueda eficiente de similitudes y la agrupación de vectores densos. Contiene algoritmos que buscan en conjuntos de vectores de cualquier tamaño, hasta aquellos que posiblemente no quepan en la RAM. También tiene soporte para GPU opcional proporcionado a través de CUDA y una interfaz de Python opcional. faiss 12.Bosque aleatorio https://github.com/zhufangzhou/RandomForest https://github.com/bjoern-andres/bosque-aleatorio 13. Impulso : una biblioteca de potenciación de gradiente de propósito general optimizada paralelizada. XGBoost : una biblioteca rápida para GBDT y bosques aleatorios en GPU. ThunderGBM : el marco de impulso de gradiente rápido, distribuido y de alto rendimiento de Microsoft (GBDT, GBRT, GBM o MART) basado en algoritmos de árboles de decisión, que se utiliza para clasificar, clasificar y muchas otras tareas de aprendizaje automático. LightGBM : aumento de gradiente de propósito general en la biblioteca de árboles de decisión con soporte de características categóricas listas para usar. Es fácil de instalar, contiene una implementación de inferencia rápida y admite el cálculo de CPU y GPU (incluso múltiples GPU). CatBoost 14. Sistemas de recomendación : biblioteca AC para recomendaciones/sugerencias de productos mediante filtrado colaborativo (CF). Recomendador híbrido: un sistema de recomendación híbrido basado en algoritmos de aprendizaje de scikit Sistema de recomendación 15. Procesamiento del lenguaje natural : analizador de lenguaje natural BLLIP (también conocido como analizador Charniak-Johnson). Analizador BLLIP : biblioteca de C++, herramientas de línea de comandos y vinculación de Python para extraer y trabajar con construcciones lingüísticas básicas como n-grams y skiagrams de una manera rápida y eficiente en memoria. colibri-core : implementación de código abierto de campos aleatorios condicionales (CRF) para segmentar/etiquetar datos secuenciales y otras tareas de procesamiento de lenguaje natural. [Obsoleto] CRF++ : CRFsuite es una implementación de campos aleatorios condicionales (CRF) para etiquetar datos secuenciales. [Obsoleto] CRFsuite : diferentes modelos CRF basados en aprendizaje profundo. frog: suite de NLP basada en memoria desarrollada para holandés: etiquetador PoS, lematizador, analizador de dependencias, NER, analizador superficial, analizador morfológico. Modelos CRF : ModErn Text Analysis es un kit de herramientas de ciencias de datos de C ++ que facilita la extracción de grandes datos de texto, incluida la tokenización de texto, incluidas características semánticas profundas como árboles de análisis, modelos de temas, algoritmos de clasificación, algoritmos gráficos, modelos de lenguaje, algoritmos multiproceso, etc. MeTA : herramientas C, C++ y Python para el reconocimiento de entidades nombradas y la extracción de relaciones MIT Information Extraction Toolkit : tokenizador basado en expresiones regulares compatible con Unicode para varios idiomas. Herramienta y biblioteca C++. Admite el formato FoLiA. ucto 16. Minería de datos para flujos : útil para extraer flujos de Big Data que admite los siguientes algoritmos StreamDM : Aprendiz SGD y Perceptrón ingenuo bayes, clustream, árboles de decisión Hoeffding, Harpillera, Transmitir KM++ Generadores de datos HiperplanoGenerador, Generador de árboles aleatorios, Generador RBF aleatorio, RandomRBFEventsGenerator 17. Estructuras de datos/Gráfica/Algoritmos de programación dinámica 18. Aprendizaje automático de propósito general https://github.com/TheAlgorithms/C-Plus-Plus 18. Aprendizaje automático de propósito general : Darknet es un marco de red neuronal de código abierto escrito en C y CUDA, que admite el cálculo de CPU y GPU. Darknet : un tiempo de ejecución ONNX está escrito en C puro (99) sin dependencias enfocadas en pequeños dispositivos integrados. Ejecute la inferencia en sus modelos de aprendizaje automático sin importar con qué marco lo entrene. Fácil de instalar y compila en todas partes, incluso en dispositivos muy antiguos. cONNXr : una biblioteca Bandit de múltiples brazos simple. BanditLib [Obsoleto] : esta es una implementación rápida de C ++ / CUDA de aprendizaje profundo convolucional CUDA : una API y un servidor de aprendizaje automático escritos en C++ 11. Hace que el aprendizaje automático de última generación sea fácil de trabajar e integrar en las aplicaciones existentes. DeepDetect : un marco de aprendizaje automático distribuido (servidor de parámetros) de Microsoft. Permite entrenar modelos en grandes conjuntos de datos en varias máquinas. Las herramientas actuales incluidas incluyen: LightLDA y Distributed (Multisense) Word Embedding. Kit de herramientas de aprendizaje automático distribuido (DMTK) : un conjunto de herramientas de aprendizaje automático diseñado para integrarse fácilmente en otras aplicaciones. DLib : una biblioteca de software creada por Amazon para entrenar e implementar redes neuronales profundas usando GPU que enfatiza la velocidad y la escala sobre la flexibilidad experimental. DSSTNE : una biblioteca de redes neuronales dinámicas que funciona bien con redes que tienen estructuras dinámicas que cambian para cada instancia de entrenamiento. Escrito en C++ con enlaces en Python. DyNet : una biblioteca de aprendizaje automático C ++ altamente modular para electrónica y robótica integradas. Fido : biblioteca de gráficos de propósito general. igraph : una biblioteca de software de alto rendimiento desarrollada por Intel y optimizada para las arquitecturas de Intel. La biblioteca proporciona bloques de construcción algorítmicos para todas las etapas del análisis de datos y permite procesar datos en modo por lotes, en línea y distribuido. Intel(R) DAAL : un enfoque genérico que permite imitar la mayoría de los modelos de factorización mediante ingeniería de características. libfm : la base de datos de aprendizaje automático es una base de datos diseñada para el aprendizaje automático. Envíe comandos a través de una API RESTful para almacenar datos, explórelos con SQL, luego entrene modelos de aprendizaje automático y expóngalos como API. MLDB : una biblioteca escalable de aprendizaje automático de C++. mlpack : aprendizaje profundo ligero, portátil, flexible, distribuido/móvil con programador de flujo de datos dinámico y consciente de las mutaciones; para Python, R, Julia, Go, Javascript y más. MXNet : un marco de incrustación de red de uso general: optimización de representaciones por pares Edición de red. proNet-core : interfaz de Python para CUDA PyCUDA : un marco de software científico modular. Proporciona todas las funcionalidades necesarias para manejar el procesamiento de big data, el análisis estadístico, la visualización y el almacenamiento. ROOT : una biblioteca de aprendizaje automático C++ de código abierto, rápida, modular y rica en funciones. shark : la caja de herramientas de aprendizaje automático de Shogun. Shogun – Suite de algoritmos incrementales rápidos. : un lenguaje de programación probabilístico que implementa la inferencia estadística bayesiana completa con el muestreo hamiltoniano Monte Carlo. sofia-ml Stan : un paquete de software/biblioteca C++ que implementa varios algoritmos de aprendizaje basados en memoria, entre los que se encuentran IB1-IG, una implementación de la clasificación de vecinos más cercanos e IGTree, una aproximación de árbol de decisión de IB1-IG. Comúnmente utilizado para PNL. Timbl : un sistema de aprendizaje rápido fuera del núcleo. : una implementación paralela rápida de la clasificación temporal conexionista (CTC), tanto en la CPU como en la GPU. Vowpal Wabbit (VW) Warp-CTC : una biblioteca SVM rápida en GPU y CPU. ThunderSVM : una biblioteca de red neuronal C ++ 11 de solo encabezado. Baja dependencia, documento chino tradicional nativo. LKYDeepNN : un paquete de aprendizaje automático de alto rendimiento, fácil de usar y escalable, que se puede utilizar para resolver problemas de aprendizaje automático a gran escala. xLearn es especialmente útil para resolver problemas de aprendizaje automático en datos dispersos a gran escala, lo cual es muy común en los servicios de Internet, como la publicidad en línea y los sistemas de recomendación. xLearn : una biblioteca para la ingeniería de características automatizada. Sobresale en la transformación de conjuntos de datos transaccionales y relacionales en matrices de características para el aprendizaje automático utilizando "primitivas" de ingeniería de características reutilizables. Featuretools : una biblioteca para aprender redes neuronales, tiene una interfaz C, conjunto de red en JSON. Escrito en C++ con enlaces en Python, C++ y C#. skynet : una tienda de funciones para la gestión, el descubrimiento y el acceso a las funciones de aprendizaje automático. Feast proporciona una vista coherente de los datos de características tanto para el entrenamiento como para el servicio de modelos. Feast : una plataforma de uso intensivo de datos para IA con la primera tienda de características de código abierto de la industria. Hopsworks Feature Store proporciona un almacén de funciones para entrenamiento y procesamiento por lotes basado en Apache Hive y una base de datos de servicio de funciones, basada en MySQL Cluster, para aplicaciones en línea. Hopsworks : una plataforma para el aprendizaje automático y el aprendizaje profundo reproducible y escalable. Polyaxon : biblioteca de visión por computadora C++ con implementaciones fáciles de entender y eficientes de algoritmos de visión por computadora. [Licencia pública de Mozilla versión 2.0] sara : una biblioteca de redes neuronales artificiales basada en GPU (CUDA). [LGPL] ANNetGPGPU – Kit de inicio del árbol de comportamiento del juego. [zlib] btsk : una biblioteca de computación evolutiva ANSI-C++ basada en plantillas que lo ayuda a escribir sus propios algoritmos de optimización estocástica increíblemente rápido. [LGPL] Objetos en evolución : biblioteca de solo encabezado para usar modelos de Keras en C++. [MIT] frugally-deep : biblioteca de red neuronal simple en C. [zlib] Genann : aprendizaje profundo ligero, portátil, flexible, distribuido/móvil con programador de flujo de datos dinámico y consciente de las mutaciones; para Python, R, Julia, Scala, Go, Javascript y más. MXNet : tensores y redes neuronales dinámicas en Python con una fuerte aceleración de GPU. PyTorch – (3D) Generador de malla de navegación y buscador de caminos, principalmente para juegos. [zlib] sitio web Recast/Detour : un marco de aprendizaje profundo sin dependencias y solo encabezado en C++ 11. [BSD] tiny-dnn : una plataforma distribuida para el desarrollo rápido de aplicaciones de aprendizaje profundo. [Apache] Veles : kit de herramientas para el reconocimiento de voz. [Apache] Kaldi 19. Visión por computadora : biblioteca de visión artificial basada en C/en caché/núcleo, una biblioteca moderna de visión artificial. CCV : VLFeat es una biblioteca abierta y portátil de algoritmos de visión por computadora, que tiene la caja de herramientas de Matlab. VLFeat : DLib tiene interfaces C++ y Python para la detección de rostros y el entrenamiento de detectores de objetos generales. DLib : Eblearn es una biblioteca de C++ orientada a objetos que implementa varios modelos de aprendizaje automático EBLearn [Obsoleto] : OpenCV tiene interfaces C++, C, Python, Java y MATLAB y es compatible con Windows, Linux, Android y Mac OS. OpenCV : VIGRA es una biblioteca genérica de aprendizaje automático y visión artificial C++ multiplataforma para volúmenes de dimensionalidad arbitraria con enlaces de Python. VIGRA : una biblioteca de detección de puntos clave de varias personas en tiempo real para la estimación del cuerpo, la cara, las manos y los pies20. FlashLight de la investigación de Facebook. Openpose 20. FlashLight de la investigación de Facebook es una biblioteca de aprendizaje automático rápida y flexible escrita íntegramente en C++ por el equipo de Facebook AI Research Speech y los creadores de Torch y Deep Speech. flashlight 21. Red neuronal móvil de Alibaba es un marco de aprendizaje profundo altamente eficiente y liviano. Admite la inferencia y el entrenamiento de modelos de aprendizaje profundo y tiene un rendimiento líder en la industria para la inferencia y el entrenamiento en el dispositivo. MNN 22. Habitat-SIM de Facebook Research La biblioteca (C++) permite el entrenamiento de agentes de IA incorporados (robots virtuales) en un altamente fotorrealista y eficiente, antes de transferir las habilidades aprendidas a la realidad. Emplea conjuntos de datos estáticos (por ejemplo ) con IA donde los agentes actúan en entornos realistas aprendiendo de ellos. habitat-sim simulador 3D , ImageNet, COCO, VQA Referencias https://analyticsindiamag.com/top-10-libraries-in-cc-for-machine-learning/ https://github.com/topics/ml?l=c%2B%2B https://dzone.com/articles/progressive-tools10-best-frameworks-and-libraries

Amazon

Apache

Discovery

Facebook

Google

Intel

Microsoft

Mozilla

Progressive

Shogun

https://www.linkedin.com/in/sharmistha-chatterjee-7a186310/

2021 - HackerNoon Contributor of the Year - GOOGLE-CLOUD-PLATFORM

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

15k+ Startups Scaled Their Data Infrastructure with Segment. Apply Now!

Principales bibliotecas de aprendizaje automático C/C++ para ciencia de datos

Demasiado Largo; Para Leer

Companies Mentioned

@sharmi1206

HISTORIAS RELACIONADAS