Gretel AI ha dato un contributo rivoluzionario al progresso dell'intelligenza artificiale (AI) rilasciando il set di dati Text-to-SQL open source più completo fino ad oggi. Questa invenzione ha il potenziale per accelerare notevolmente la formazione dei modelli di intelligenza artificiale, aumentando la qualità delle informazioni ottenute dai dati in un’ampia gamma di settori.
Il set di dati sintetico_text_to_sql di Gretel, ospitato su Hugging Face, contiene 105.851 record, 100.000 dei quali sono per l'addestramento e 5.851 per la convalida. Questo enorme set di dati contiene circa 23 milioni di token in totale, inclusi circa 12 milioni di token SQL provenienti da 100 settori o domini diversi. Intende risolvere un'ampia gamma di attività SQL, tra cui definizione, recupero, modifica, analisi e reporting dei dati, con vari livelli di complessità SQL.
Questo set di dati si distingue per le sue enormi dimensioni e la meticolosa attenzione ai dettagli nella sua creazione. Include impostazioni del database come istruzioni per la creazione di tabelle e viste, descrizioni in linguaggio naturale delle query SQL e tag contestuali per aiutare a perfezionare l'addestramento del modello. Questo livello di profondità e diversità riduce considerevolmente il tempo e le risorse che i team di dati dedicano al miglioramento della qualità dei dati, che in genere rappresenta fino all’80% dei loro sforzi.
Nel mondo odierno basato sui dati, è importante essere in grado di estrarre informazioni approfondite dai database in modo rapido e affidabile. Text-to-SQL, che consente interrogazioni sul database in linguaggio semplice, è visto come un passaggio fondamentale per rendere i dati più accessibili. Tuttavia, la mancanza di dati di addestramento Text-to-SQL diversificati e di alta qualità ha rallentato il progresso e il miglioramento di questa tecnologia.
Il set di dati di Gretel cerca di colmare questa lacuna offrendo una risorsa affidabile per l'addestramento di Large Language Models (LLM) nelle attività Text-to-SQL. Fornisce un ampio accesso agli approfondimenti sui dati e facilita lo sviluppo di applicazioni IA in grado di interagire con i database in modo più naturale.
La creazione del set di dati sintetico_text_to_sql ha presentato sfide, in particolare nel mantenimento di un'elevata qualità dei dati e nelle difficoltà di negoziazione delle licenze, che spesso limitano l'utilizzo e la diffusione dei set di dati esistenti. Gretel ha affrontato queste difficoltà con il suo strumento Navigator, che utilizza un complicato sistema di intelligenza artificiale per generare dati sintetici di alta qualità su vasta scala.
L'utilizzo degli LLM come valutatori è stato un approccio innovativo per valutare la qualità del set di dati. Questo approccio si è dimostrato piuttosto efficace, allineandosi ai criteri di valutazione dei dati umani e dimostrando la conformità SQL, l'accuratezza e l'aderenza alle norme del set di dati, superando gli altri set di dati.
Il rilascio da parte di Gretel AI del set di dati sintetici_text_to_sql su Hugging Face segna un risultato fondamentale nel campo dei dati sintetici. Presenta un set di dati open source enorme e diversificato, accelerando lo sviluppo delle tecnologie Text-to-SQL e sottolineando l'importanza di dati di alta qualità nella creazione di sistemi di intelligenza artificiale efficaci.