Gretel AI har ydet et spil-ændrende bidrag til fremme af kunstig intelligens (AI) ved at frigive det mest omfattende open source tekst-til-SQL-datasæt til dato. Denne opfindelse har potentialet til i høj grad at accelerere træningen af AI-modeller, hvilket øger kvaliteten af indsigt opnået fra data på tværs af en bred vifte af industrier.
Gretels syntetiske_text_to_sql-datasæt, hostet på Hugging Face, har 105.851 poster, hvoraf 100.000 er til træning og 5.851 til validering. Dette enorme datasæt indeholder omkring 23 millioner tokens i alt, inklusive cirka 12 millioner SQL-tokens fra 100 forskellige sektorer eller domæner. Det har til hensigt at løse en bred vifte af SQL-opgaver, herunder datadefinition, hentning, modifikation, analyse og rapportering, med forskellige niveauer af SQL-kompleksitet.
Dette datasæt skiller sig ud for dets enorme størrelse og omhyggelige opmærksomhed på detaljer i dets skabelse. Det inkluderer databaseindstillinger såsom tabel- og visningsoprettelseserklæringer, naturlige sprogbeskrivelser af SQL-forespørgsler og kontekstuelle tags for at hjælpe med at forfine modeltræning. Dette niveau af dybde og mangfoldighed reducerer betydeligt den tid og de ressourcer, datateams bruger på at forbedre datakvaliteten, hvilket typisk har stået for op til 80 % af deres indsats.
I nutidens datadrevne verden er det vigtigt at være i stand til hurtigt og pålideligt at udtrække indsigt fra databaser. Tekst-til-SQL, som giver mulighed for databaseforespørgsler i almindeligt sprog, ses som et kritisk skridt i at gøre data mere tilgængelige. Imidlertid har en mangel på forskelligartede tekst-til-SQL-træningsdata af høj kvalitet bremset fremskridtet og forbedringen af denne teknologi.
Gretels datasæt søger at lukke dette hul ved at tilbyde en pålidelig ressource til træning af store sprogmodeller (LLM'er) i tekst-til-SQL-opgaver. Det giver bred adgang til dataindsigt og letter udviklingen af AI-applikationer, der kan interagere med databaser på en mere naturlig måde.
Oprettelse af det syntetiske_text_to_sql-datasæt bød på udfordringer, især med hensyn til at opretholde høj datakvalitet og forhandlingslicensproblemer, som ofte begrænser brugen og udbredelsen af eksisterende datasæt. Gretel adresserede disse vanskeligheder med sit Navigator-værktøj, som bruger et kompliceret AI-system til at generere syntetiske data af høj kvalitet i stor skala.
At bruge LLM'er som evaluatorer var en innovativ tilgang til at vurdere datasættets kvalitet. Denne tilgang har vist sig at være ret effektiv, idet den er i overensstemmelse med vurderingskriterier for menneskelige data og demonstrerer datasættets SQL-overholdelse, nøjagtighed og overholdelse af normer, hvilket overgår andre datasæt.
Gretel AI's udgivelse af det syntetiske_text_to_sql-datasæt på Hugging Face markerer en skelsættende præstation inden for syntetiske data. Det præsenterer et massivt og mangfoldigt open source-datasæt, der accelererer udviklingen af tekst-til-SQL-teknologier og understreger vigtigheden af data af høj kvalitet til at skabe effektive AI-systemer.