Silogismo de aplicación de big data empresarial
Con el rápido desarrollo de la computación en la nube, el Internet de las cosas y la ecología de la tecnología de big data de código abierto, cada vez es más fácil para las empresas obtener tecnologías y servicios de infraestructura relacionados con big data. Aunque las aplicaciones maduras de big data en esta etapa se encuentran principalmente en empresas de Internet, debemos darnos cuenta de que, por un lado, la aplicación de big data está muy fragmentada, incluidos el nivel empresarial y el nivel técnico. Los big data no solo se encuentran en empresas de Internet como Google, Amazon y BAT, sino también en todas las industrias y empresas. Hay rastros de atención a los datos: datos de sensores en tiempo real en una línea de producción, datos de sensores en vehículos. datos de estado operativo de equipos ferroviarios de alta velocidad, datos de monitoreo de departamentos de transporte, médicos. Big data no es solo Hadoop y Spark. El ecosistema tecnológico desde la recopilación, el almacenamiento, la minería, la predicción y la visualización hasta la toma de decisiones es muy complejo. Muchas empresas son conscientes del enorme potencial de las aplicaciones de big data, pero cuando se trata de necesidades comerciales específicas, todavía están confundidas acerca de las opciones tecnológicas específicas, por otro lado, los sistemas y tecnologías bajo la tecnología general de big data de código abierto y la arquitectura; proviene de gigantes de Internet. ¿Es este tipo de arquitectura técnica realmente adecuada para empresas e instituciones tradicionales? ¿Cómo implementan las pequeñas y medianas empresas aplicaciones de big data? ¿La arquitectura de big data de las empresas de Internet es adecuada para las aplicaciones empresariales tradicionales de big data? La mayoría de los datos básicos de las empresas tradicionales están estructurados. ¿Cómo respaldar el análisis y la integración de muchos sistemas comerciales y cómo integrar o actualizar y reemplazar gradualmente los sistemas tradicionales de inteligencia empresarial (BI)? Este tipo de problema requiere investigación y análisis en profundidad y una rica experiencia comercial y técnica para planificar y diseñar bien. Además, la tendencia monopolista de los datos en la era del big data se está intensificando. Incluso en países donde las pequeñas y medianas empresas se encuentran en desventaja en materia de información, es más digno de consideración cómo obtener el derecho a hablar en datos, y cómo diseñar e implementar una estrategia de big data es aún más importante.
Los problemas anteriores muestran que estamos llenos de confusión acerca de las aplicaciones de big data. Cómo resolver el problema, expongamos mi opinión aproximada a continuación. Todos sabemos que las aplicaciones maduras de big data provienen de empresas de Internet, y la tecnología de big data también proviene de gigantes de Internet. ¿Por qué? Esto está relacionado con los genes de las empresas de Internet, sin mencionar los datos masivos de UGC. Las empresas de Internet prestan atención a varias palabras clave en negocios y tecnología: agilidad, simplicidad e iteración. Qué tipo de datos, el método de almacenamiento más eficiente, cómo procesarlos al menor costo y rapidez, cómo soportar continuamente el almacenamiento masivo de datos y el acceso concurrente, etc. Si las empresas quieren hacer un buen uso de los big data, deben abandonar audazmente el pensamiento informativo tradicional, empezar desde cero y pensar realmente en lo que significan tantos datos históricos para la empresa, qué valor producirán y cómo utilizar mejor el concepto. de iteración ágil de empresas de Internet implementadas. Para decirlo sin rodeos, se trata de un cambio en el pensamiento sobre big data. Aunque es un poco falso, es difícil aplicar bien big data sin cambiar este concepto de pensamiento. A continuación, las empresas deben plantearse algunas preguntas fundamentales: ¿Qué tipo de datos se procesan? ¿Cuál es la cantidad de datos que deben procesarse y cuál es la escala del crecimiento futuro? ¿La velocidad de procesamiento es rápida o lenta? ¿Cuál es el estado actual de los datos y sistemas existentes y cómo integrarlos con aplicaciones de big data? ¿Cuáles son los conocimientos previos y los objetivos de análisis del análisis de big data? Una vez aclaradas las cuestiones anteriores, también debemos darnos cuenta de que debido a consideraciones de costo, tiempo, tecnología y mano de obra, es imposible construir todos los subsistemas comerciales relacionados con big data en un corto período de tiempo. La aplicación de big data en sí tiene sus propias reglas y características, por ejemplo, el objetivo del análisis debe coincidir con la escala de los datos, la adopción de la tecnología de análisis depende de la estructura de los datos y las condiciones de la fuente de los datos, la integración de los datos debe cubrir un contexto empresarial integral y un vínculo clave. Los datos no pueden faltar.
Finalmente, se recomienda que la aplicación de big data empresarial se lleve a cabo en tres etapas: (1) Etapa de construcción de infraestructura de big data: el enfoque de esta etapa es almacenar, administrar y utilizar big data, y al mismo tiempo, el big data debe considerarse la interoperabilidad entre la plataforma y el sistema empresarial original. En resumen, ¡haga un buen trabajo en la integración de datos globales y resuelva el problema de las islas de datos! Es necesario completar la construcción y el desarrollo integrado del sistema básico de big data (principalmente recopilación y almacenamiento), aclarar la selección y el uso de componentes centrales en todos los niveles de recopilación, almacenamiento y análisis de datos, construir un clúster estable de big data, o elija un clúster de servicios de nube privada y producción El sistema se ejecuta en paralelo, lo que permite que los datos históricos y los datos en tiempo real se analicen para recopilarlos y fluir continuamente hacia el sistema de big data.
(2) Etapa básica de descripción y análisis de big data: esta etapa realiza principalmente una descripción básica y un análisis estadístico de datos históricos bajo las condiciones generales de la empresa fuera de línea o en línea. Los big data administrados se pueden almacenar en. cantidades masivas. Consulta interactiva, resumen, estadísticas y visualización bajo condiciones.
Si construye un sistema de BI, necesita integrar la tecnología de BI tradicional para análisis OLAP, KPI, informes, gráficos, paneles, etc. y análisis de minería de datos descriptivos preliminares, y poder verificar y ajustar rápidamente la descripción y los resultados del análisis. Esta etapa de análisis básico es una prueba de la calidad de la integración de datos y una prueba de la estabilidad de la aplicación de la tecnología de gestión de almacenamiento distribuido en condiciones de datos masivos. Al mismo tiempo, básicamente ha reemplazado con éxito el tradicional informe de lujo de BI.
(3) Etapa de implementación de producción y análisis predictivo avanzado de Big Data: bajo las condiciones de que la descripción preliminar y los resultados del análisis sean razonables, en línea con los objetivos esperados, y la gestión distribuida de datos y la extracción de descripciones sean estables. y maduro, combinado con un mayor análisis de puntos comerciales. Para satisfacer la demanda, se utilizan modelos de aprendizaje automático, como el aprendizaje profundo, que son adecuados para el procesamiento masivo de datos, para realizar análisis de minería predictivos avanzados. Y mediante la iteración paso a paso, el modelo de minería y la calidad de los datos se optimizan para formar un modelo de análisis predictivo estable, confiable y escalable. Los resultados del análisis se utilizan para verificación, soporte y retroalimentación en servicios comerciales relacionados con la empresa. El objetivo principal es establecer el centro de soporte de decisiones futuro de la empresa y lograr una verdadera inteligencia empresarial, ¡tal como los planes de Google Brain y Baidu Brain!