Recientemente, SnorkelAI lanzó una serie de nuevas funciones en su plataforma de desarrollo de datos de IA, Snorkel Flow, con el objetivo de ayudar a las empresas a acelerar la especialización de los modelos de IA y aprendizaje automático. Estas nuevas capacidades pueden reducir significativamente el tiempo, el costo y la complejidad de la preparación de datos en el ciclo de vida del desarrollo de la IA predictiva y generativa.
Nota sobre la fuente de la imagen: la imagen es generada por IA y la imagen está autorizada por el proveedor de servicios Midjourney
En las empresas actuales, tener "datos listos para la IA" (datos adecuados para la IA) es crucial. Según Gartner, los datos preparados para la IA no solo significa que sus datos deben representar un caso de uso específico, sino que también deben cubrir cada patrón, error, anomalía y situación inesperada para poder entrenar o ejecutar de manera efectiva un modelo de IA. Además, la preparación de datos no se realiza de la noche a la mañana, sino que debe realizarse de forma continua.
La nueva versión de Snorkel Flow proporciona a las empresas una poderosa plataforma para implementar y escalar prácticas de desarrollo de datos de IA para acelerar la entrega de producción de modelos de IA especializados y de alta precisión.
Específicamente, las nuevas características incluyen herramientas de evaluación LLM, que permiten a los usuarios realizar evaluaciones personalizadas para casos de uso específicos de la industria, obtener información sobre los tipos de errores del modelo e intervenir rápidamente en el desarrollo de datos para corregirlos. Además, existe un flujo de trabajo de ajuste de RAG que mejora la precisión de la recuperación mediante el procesamiento avanzado de bloques de documentos, el ajuste de modelos de incrustación y la extracción de metadatos de documentos. Estas funciones pueden reducir significativamente el tiempo de desarrollo necesario para mejorar la calidad de las respuestas del asistente de IA.
Con la nueva función Named Entity Recognition (NER) para archivos PDF, los usuarios pueden extraer información más fácil y rápidamente simplemente haciendo clic en el texto, dibujando cuadros delimitadores, especificando patrones y solicitando el modelo subyacente. Esta flexibilidad facilita la captura de información, mejorando así la precisión del modelo NER.
Además, Snorkel Flow simplifica el proceso de anotación y retroalimentación, lo que permite a los expertos anotar datos de una manera más eficiente. Además, la herramienta de análisis de marcadores de secuencia recientemente agregada puede ayudar a los usuarios a descubrir errores en las predicciones del modelo de manera más intuitiva y, al mismo tiempo, proporciona un análisis de rendimiento más detallado.
En términos de experiencia de usuario, Snorkel Flow ha realizado una serie de optimizaciones para facilitar la colaboración entre científicos de datos y expertos. Admite una integración perfecta con las principales plataformas de desarrollo de IA, incluidas Databricks y Amazon SageMaker, para un ajuste y una implementación más rápidos de modelos especializados.
Alex Ratner, director ejecutivo de Snorkel AI, dijo: “La IA se ha convertido en una prioridad para todos los líderes empresariales, pero el desarrollo continuo y consistente de la IA sigue siendo muy tedioso, costoso y requiere mucha mano de obra. Por lo tanto, las actualizaciones de estas plataformas son importantes para ayudar a las empresas a acelerar. y optimizar la entrega de soluciones de IA es fundamental”.
Destacar:
Nuevas funciones: Snorkel Flow lanza la herramienta de evaluación LLM y el flujo de trabajo de ajuste de RAG para mejorar la eficiencia de la preparación de datos.
Extracción conveniente: el nuevo reconocimiento de entidades con nombre hace que la extracción de información de archivos PDF sea más fácil y rápida.
Experiencia optimizada: la experiencia del usuario se mejora para promover la colaboración eficiente entre científicos de datos y expertos.