Gretel AI는 현재까지 가장 포괄적인 오픈 소스 Text-to-SQL 데이터 세트를 출시하여 인공 지능(AI) 발전에 획기적인 기여를 했습니다. 이 발명은 AI 모델의 훈련을 크게 가속화하여 광범위한 산업 분야의 데이터에서 얻은 통찰력의 품질을 향상시킬 수 있는 잠재력을 가지고 있습니다.
Hugging Face에서 호스팅되는 Gretel의 합성_text_to_sql 데이터 세트에는 105,851개의 레코드가 있으며, 그 중 100,000개는 훈련용이고 5,851개는 검증용입니다. 이 거대한 데이터 세트에는 100개의 다양한 섹터 또는 도메인의 약 1,200만 개의 SQL 토큰을 포함하여 총 약 2,300만 개의 토큰이 포함되어 있습니다. 다양한 수준의 SQL 복잡성으로 데이터 정의, 검색, 수정, 분석 및 보고를 포함한 광범위한 SQL 작업을 해결하려고 합니다.
이 데이터 세트는 엄청난 규모와 생성 과정의 세부 사항에 대한 세심한 주의가 돋보입니다. 여기에는 테이블 및 뷰 생성 문, SQL 쿼리의 자연어 설명, 상황별 태그 등의 데이터베이스 설정이 포함되어 모델 교육을 개선하는 데 도움이 됩니다. 이러한 수준의 깊이와 다양성은 데이터 팀이 일반적으로 노력의 최대 80%를 차지하는 데이터 품질 개선에 쏟는 시간과 리소스를 상당히 줄여줍니다.
오늘날의 데이터 중심 세계에서는 데이터베이스에서 신속하고 안정적으로 통찰력을 추출하는 것이 중요합니다. 일반 언어로 데이터베이스 쿼리를 허용하는 Text-to-SQL은 데이터에 대한 접근성을 높이는 데 중요한 단계로 간주됩니다. 그러나 고품질의 다양한 Text-to-SQL 학습 데이터가 부족하여 이 기술의 발전과 개선이 느려졌습니다.
Gretel의 데이터 세트는 Text-to-SQL 작업에서 LLM(대형 언어 모델) 교육을 위한 신뢰할 수 있는 리소스를 제공하여 이러한 격차를 해소하려고 합니다. 이는 데이터 통찰력에 대한 광범위한 액세스를 제공하고 보다 자연스러운 방식으로 데이터베이스와 상호 작용할 수 있는 AI 애플리케이션의 개발을 촉진합니다.
합성_text_to_sql 데이터 세트를 생성하는 데는 특히 높은 데이터 품질을 유지하고 라이선스 문제를 협상하는 데 어려움이 있었으며, 이로 인해 기존 데이터 세트의 사용과 배포가 자주 제한되었습니다. Gretel은 복잡한 AI 시스템을 사용하여 대규모로 고품질 합성 데이터를 생성하는 Navigator 도구를 통해 이러한 문제를 해결했습니다.
LLM을 평가자로 사용하는 것은 데이터 세트의 품질을 평가하는 혁신적인 접근 방식이었습니다. 이 접근 방식은 인간 데이터 평가 기준에 부합하고 데이터 세트의 SQL 규정 준수, 정확성 및 표준 준수를 입증하여 다른 데이터 세트보다 성능이 뛰어나 매우 효과적인 것으로 입증되었습니다.
Gretel AI가 Hugging Face에 합성_text_to_sql 데이터세트를 출시한 것은 합성 데이터 분야에서 획기적인 성과를 거두었습니다. 방대하고 다양한 오픈 소스 데이터 세트를 제공하여 Text-to-SQL 기술 개발을 가속화하고 효과적인 AI 시스템을 만드는 데 있어 고품질 데이터의 중요성을 강조합니다.