Databricks stelt binnenkort Lakeflow Designer beschikbaar in private preview.
Op zijn Data + AI Summit in San Francisco lanceert Databricks Lakeflow Designer. Met deze visuele tool kunnen niet-technische gebruikers productieklare datapijplijnen bouwen zonder te coderen. Lakeflow Designer maakt gebruik van een AI-assistent en sluit aan op de bestaande Lakeflow-oplossing, die nu algemeen beschikbaar is.
No-code pipelines zonder in te boeten op controle en schaalbaarheid
Lakeflow Designer biedt een drag-and-dropinterface waarmee zakelijke gebruikers ETL-pijplijnen kunnen ontwerpen. Via natuurlijke taalcommando’s kunnen ze taken automatiseren zonder hulp van data-engineers. De tool is geïntegreerd met Unity Catalog voor gegevensbeheer en met Databricks Assistant voor AI-ondersteuning. Zo wordt het mogelijk om visuele workflows te creëren die dezelfde betrouwbaarheid en schaalbaarheid bieden als codegebaseerde alternatieven.
De introductie van Lakeflow Designer moet een veelvoorkomend probleem in datateams aanpakken: enerzijds zijn er tools die eenvoud bieden maar beperkt zijn op vlak van controle en schaalbaarheid; anderzijds vereisen robuuste pijplijnen meestal tussenkomst van technische profielen. Databricks probeert met Lakeflow beide werelden te combineren.
Uitgebreide vernieuwingen binnen Lakeflow-platform
Naast Lakeflow Designer maakt Databricks ook de algemene beschikbaarheid van Lakeflow bekend. Dit platform verenigt dataverwerking, -transformatie en -orkestratie in één omgeving. Binnen Lakeflow zijn er nieuwe pipelines die volledig in SQL of Python kunnen worden geschreven zonder beheer van infrastructuur. Ook is er een nieuwe ontwikkelomgeving die AI-ondersteunde functionaliteit biedt, zoals foutopsporing en validatie.
Daarnaast lanceert Databricks nieuwe point-and-click connectors voor databronnen zoals Google Analytics, ServiceNow, SQL Server en SharePoint. Via de Zerobus-functionaliteit kunnen gebruikers hoge volumes eventdata in realtime naar hun datalake schrijven zonder extra infrastructuur.
Databricks start ook met een publieke preview van de nieuwe ontwikkelomgeving voor data-engineering. De Zerobus-functie en Lakeflow Designer zelf komen binnenkort in private preview.