Databricks en Fennel bundelen krachten
Databricks integreert realtime feature engineering van Fennel in Data Intelligence Platform om toegang tot machine learning te democratiseren.
Databricks is vandaag (18 april 2025) verheugd om het Fennel-team te mogen verwelkomen bij Databricks [1].
Fennel verbetert de efficiëntie en data-actualiteit van feature engineering pipelines voor batch-, streaming- en realtime data door alleen de gewijzigde data opnieuw te berekenen.
Door de mogelijkheden van Fennel te integreren in het Databricks Data Intelligence Platform kunnen klanten snel itereren op functies, de modelprestaties verbeteren met betrouwbare signalen en GenAI-modellen voorzien van gepersonaliseerde en realtime context – allemaal zonder de overhead en kosten van het beheer van complexe infrastructuren.
Feature Engineering in het AI-tijdperk
Machine learning-modellen zijn slechts zo goed als de data waaruit ze leren. Daarom is feature engineering zo cruciaal: features leggen de onderliggende domeinspecifieke en gedragspatronen vast in een formaat dat modellen gemakkelijk kunnen interpreteren. Zelfs in het tijdperk van generatieve AI, waar grote taalmodellen in staat zijn om te werken met ongestructureerde data, blijft feature engineering essentieel voor het leveren van gepersonaliseerde, geaggregeerde en realtime context als onderdeel van prompts. Ondanks het belang ervan is feature engineering historisch gezien moeilijk en duur geweest vanwege de noodzaak om complexe ETL-pipelines te onderhouden voor het berekenen van nieuwe en correct getransformeerde features. Veel organisaties worstelen met het verwerken van zowel batch- als realtime databronnen en het garanderen van consistentie tussen trainings- en serviceomgevingen – en dit alles met behoud van hoge kwaliteit en lage kosten.
Fennel + Databricks
Fennel pakt deze uitdagingen aan en vereenvoudigt feature engineering door een volledig beheerd platform te bieden voor het efficiënt creëren en beheren van features en feature pipelines. Het ondersteunt uniforme batch- en realtime dataverwerking, waardoor de actualiteit van features wordt gegarandeerd en scheeftrekking door training-serving wordt geëlimineerd.
Dankzij de Python-native gebruikerservaring is het schrijven van complexe features snel, eenvoudig en toegankelijk voor data scientists die geen nieuwe talen hoeven te leren of afhankelijk zijn van data engineering teams om complexe data pipelines te bouwen.
De incrementele rekenengine optimaliseert de kosten door redundant werk te vermijden en de toonaangevende data governance tools helpen de datakwaliteit te behouden.
Door alle aspecten van feature pipeline management af te handelen, helpt Fennel de complexiteit en tijd die nodig is voor het ontwikkelen en implementeren van machine learning modellen te verminderen en kunnen data scientists zich richten op het creëren van betere features om de modelprestaties te verbeteren in plaats van op het beheren van complexe infrastructuur en tools.
Het nieuwe Fennel-team brengt een schat aan ervaring mee in moderne feature engineering voor machine learning-toepassingen. Het oprichtersteam heeft leiding gegeven aan AI-infrastructuurprojecten bij Meta en Google Brain. Sinds de oprichting in 2022 is Fennel succesvol geweest in het realiseren van zijn visie om het voor bedrijven en teams van elke omvang gemakkelijk te maken om realtime machine learning te gebruiken om aantrekkelijke producten te bouwen. Klanten zoals Upwork, Cricut en andere vertrouwen op Fennel voor het ontwikkelen van machine learning-functies voor diverse toepassingen, waaronder besluitvorming over kredietrisico's, fraudedetectie, vertrouwen en veiligheid, gepersonaliseerde ranking en aanbevelingen op de markt.
Het Fennel-team sluit zich aan bij de engineeringorganisatie van Databricks om ervoor te zorgen dat alle klanten toegang hebben tot de voordelen van realtime feature engineering in het Databricks Data Intelligence Platform.
