Gretel AI har gitt et spillendrende bidrag til fremme av kunstig intelligens (AI) ved å gi ut det mest omfattende åpen kildekode-tekst-til-SQL-datasettet til dags dato. Denne oppfinnelsen har potensialet til å akselerere opplæringen av AI-modeller betraktelig, og øke kvaliteten på innsikten fra data på tvers av et bredt spekter av bransjer.
Gretels syntetiske_text_to_sql-datasett, vert på Hugging Face, har 105 851 poster, hvorav 100 000 er for trening og 5 851 for validering. Dette enorme datasettet inneholder rundt 23 millioner tokens totalt, inkludert omtrent 12 millioner SQL-tokens fra 100 forskjellige sektorer eller domener. Den har til hensikt å løse et bredt spekter av SQL-oppgaver, inkludert datadefinisjon, gjenfinning, modifikasjon, analyse og rapportering, med ulike nivåer av SQL-kompleksitet.
Dette datasettet skiller seg ut for sin enorme størrelse og grundige oppmerksomhet på detaljer i opprettelsen. Den inkluderer databaseinnstillinger som tabell- og visningsopprettelse, beskrivelser av naturlig språk av SQL-spørringer og kontekstuelle koder for å avgrense modelltrening. Dette nivået av dybde og mangfold reduserer betraktelig tiden og ressursene datateam bruker på å forbedre datakvaliteten, noe som vanligvis har stått for opptil 80 % av innsatsen deres.
I dagens datadrevne verden er det viktig å raskt og pålitelig trekke ut innsikt fra databaser. Tekst-til-SQL, som tillater databasespørringer på vanlig språk, blir sett på som et kritisk skritt for å gjøre data mer tilgjengelig. Imidlertid har mangel på høykvalitets, varierte tekst-til-SQL-treningsdata bremset fremdriften og forbedringen av denne teknologien.
Gretels datasett søker å lukke dette gapet ved å tilby en pålitelig ressurs for opplæring av store språkmodeller (LLM) i tekst-til-SQL-oppgaver. Det gir bred tilgang til datainnsikt og letter utviklingen av AI-applikasjoner som kan samhandle med databaser på en mer naturlig måte.
Å lage det syntetiske_text_to_sql-datasettet ga utfordringer, spesielt med å opprettholde høy datakvalitet og forhandle lisensvansker, som ofte begrenser bruken og spredningen av eksisterende datasett. Gretel tok tak i disse vanskelighetene med sitt Navigator-verktøy, som bruker et komplisert AI-system for å generere syntetiske data av høy kvalitet i stor skala.
Å bruke LLM-er som evaluatorer var en innovativ tilnærming til å vurdere datasettets kvalitet. Denne tilnærmingen har vist seg å være ganske effektiv, i tråd med vurderingskriterier for menneskelige data og demonstrerer datasettets SQL-samsvar, nøyaktighet og overholdelse av normer, og overgår andre datasett.
Gretel AIs utgivelse av det syntetiske_text_to_sql-datasettet på Hugging Face markerer en landemerkeprestasjon innen syntetiske data. Den presenterer et massivt og mangfoldig åpen kildekode-datasett, som akselererer utviklingen av tekst-til-SQL-teknologier og understreker viktigheten av data av høy kvalitet for å skape effektive AI-systemer.