Data, şübhəsiz ki, süni intellekt və maşın öyrənmə kimi mövzuların müzakirə olunduğu bu gündə texnologiya dünyasının ən dəyərli sərvətidir. Texnoloji yeniliklər və rəqəmsal transformasiya ilə məlumatların artırılması, xüsusilə hökumətlər və şirkətlər üçün vazgeçilməz bir element halına gəldi. Şirkətlər və hökumətlər məlumatları qərar vermə, strategiya hazırlama və problemlərə həll yolları tapmaq kimi bir çox fərqli məqsədlər üçün istifadə edirlər. Bundan əlavə, məlumatlar reklam strategiyaları və marketinq metodlarında mühüm rol oynayır.
Bir çox qurum əlindəki məlumatlardan mənalı nəticələr, nümunələr və proqnozlar yaradır. Bununla birlikdə, korporativ məlumatların həssaslığı və məxfiliyi kimi məsələlərə görə qurumların məlumatlarını paylaşması mümkün deyil. Bu vəziyyət sizi narahat etməməlidir, bu gün qlobal platformalardan da məlumat əldə etmək mümkün olmuşdur.
Bir DATA alimi, tədqiqatçı olmaq yolunda bir səyyaham, maşın öyrənmə layihəsi etmək istəyirəm, amma məlumatlara necə giriş edəcəyimi bilmirəm və ya yeni mənbələr tapmaq istəyirəm deyirsinizsə, doğru yerdəsiniz.
Bu yazıda DATA elmi və maşın öyrənmə layihələriniz üçün pulsuz məlumat dəstləri əldə edə biləcəyiniz platformalar haqqında yazacağıq.
1. Kaggle
Kaggle maşın öyrənmə yarışlarına ev sahibliyi edən bir DATA elmi cəmiyyətidir. Saytda istifadəçilər tərəfindən xaricdən təqdim olunan müxtəlif məlumat dəstləri də var, lakin bunlar yarışlarda istifadə edilən məlumat dəstlərindən daha az ola bilər. Təşkil etdiyi müsabiqələr yolu ilə dünya şöhrətli şirkətlərin məlumatları ilə bir araya gələn
Kaggle, hətta qaliblərə müəyyən miqdarda pul mükafatı da verir. Saytda mövcud və əvvəlki yarışlara daxil ola və məlumat dəstlərini yükləyə bilərsiniz. Məlumat dəstlərindəki ləpələrdən istifadəçilər tərəfindən paylaşılan təlimat həllərinə daxil ola və nüvə məzmunu yarada bilərsiniz. Bu icmaya qoşulmaq üçün saytda qeydiyyatdan keçmək kifayətdir.
Nümunə məlumat dəstləri:
Peyk Fotoşəkili Sifarişi: Peykdən çəkilmiş bir sıra Yer fotoşəkilləri, bu məlumat bazasının məqsədi hansı fotoların digərlərindən daha tez çəkildiyini təxmin etməkdir.
İstehsal Prosesi Uğursuzluqları: Bosch markasının istehsal prosesində ölçülən dəyişənlərin cəmi olan məlumat dəstinin məqsədi istehsalla əlaqəli səhvləri proqnozlaşdırmaqdır.
2. UCI Machine Learning Repository
UCI Machine Learning Repository, California University of Irvine’nin maşın öyrənmə işləri üçün bir məlumat saxlama xidməti olaraq təqdim etdiyi vebdəki ən tanınmış və ən qədim məlumat anbarlarından biridir. Titanic və Iris kimi populyar məlumat dəstlərindən alınan hava keyfiyyəti və GPS traektoriyaları kimi zəngin məlumat mənbələrinə sahib olan sayt, digər oxşar saytlardan fərqli olaraq, 450-dən çox təmizləmə əməliyyatı ilə vaxt itirmədən maşın öyrənmə layihələrinizdə istifadə edə biləcəyiniz modelləşdirməyə hazır məlumat dəstləri təklif edir. Eyni zamanda, saytın üzvü olmaq məcburiyyətində qalmadan məlumat dəstlərini yükləyə bilərsiniz. Dəyişən tip və məlumatlardan, müşahidələrin sayından, dərc olunma tarixindən, problem məlumatlarından və akademik məqalələrdən tutmuş məlumat dəstləri haqqında hər cür məlumatı asanlıqla əldə edə bilərsiniz. Saytdakı məlumat dəstlərinin kiçik olmasına baxmayaraq, maşın öyrənmə layihələri üçün zəngin mənbələr təklif edir.
Nümunə məlumat dəstləri:
Şərab təsnifatı: Məlumat dəstinin 13 fərqli dəyişəninə baxaraq şərabların keyfiyyət tərəzisinə görə təsnif edilməsinə dair bir məlumat toplusudur.
E-poçt spam: E-poçtlarınızın spam olub-olmadığını təsnif edə biləcəyiniz bir məlumat toplusudur.
3. FiveThirtyEight
DATA ilə maraqlanırsınızsa, ehtimal ki, FiveThirtyEight haqqında eşitmisiniz. FiveThirtyEight-dən dünyanın ən qədim məlumat jurnalistikası mərkəzlərindən biri kimi danışsaq səhv olmaz. Əvvəlcə siyasi məsələlərə diqqət yetirən bir anket toplayıcısı olaraq fəaliyyət göstərən sayt, daha sonra məlumatlarını idman, sosial mövzular və daha çox məlumat daxil etmək üçün genişləndirərək məlumat dəstlərini ictimaiyyətə təqdim etdi. Pulsuz məlumat dəstləri və məlumat elminə həsr olunmuş məlumatverici məqalələrin əhəmiyyətli dərəcədə saxlanması qarışığı olan FıveThirtyEight, istifadəçilərini Github və öz məlumat portalında onlayn olaraq təmin edir. Bir çox fərqli sahəni əhatə edən müxtəlif məlumat dəstləri mövcuddur. Hər bir məlumat dəsti bir məlumat lüğəti və məlumat mənbəyi haqqında bəzi məlumatları ehtiva edən bir README ilə gəlir. Təcrübə görə bəzi adi məlumat dəstlərinə daxil olmaq üçün əla bir yerdir.
Nümunə məlumat dəstləri:
Hava Yolları Təhlükəsizliyi: Hava yolu şirkətlərinin səbəb olduğu qəzalar haqqında məlumat verən bir məlumat setidir.
ABŞ Hava Tarixi: ABŞ-ın keçmiş hava məlumatlarını ehtiva edən bir məlumat setidir.
4. Quandl
Quandl veb saytların / API-lərin birbaşa inteqrasiyası yolu ilə müxtəlif mənbələrdən maliyyə, iqtisadi və alternativ məlumat verir. Məlumat dəstləri açıq və ya premium olaraq təsnif edilə bilər. Bütün açıq məlumat dəstlərinə pulsuz daxil ola bilsəniz də, premium məlumat dəstləri üçün ödəməlisiniz. İqtisadi göstəriciləri və ya səhm qiymətlərini proqnozlaşdırmaq üçün iqtisadi və maliyyə məlumatları üçün açıq mənbələr yaradan modellər yaratmağa imkan verir.
Nümunə məlumat dəstləri:
Çin makroiqtisadi məlumatları: Çinin iqtisadi sağlamlıq göstəricilərini özündə cəmləşdirən bir verilənlər bazasıdır.
ABŞ Federal Ehtiyat məlumatları: ABŞ-ın iqtisadi göstəricilərini ehtiva edən Federal Ehtiyatdan alınan bir məlumatdır.
5. Data.World
Data.world məlumat dəstlərini axtara, kopyalaya, analiz edə və yükləyə biləcəyiniz istifadəçi yönümlü bir məlumat saxlama saytıdır. Bu saytın üstünlüklərindən biri də çoxsaylı mənbələrdən və hər məqsəd üçün (maliyyə, cinayət, iqtisadiyyat, Twitter, NASA və daha çox) müxtəlif məlumat dəstlərini özündə cəmləşdirməsidir. Bununla öz məlumatlarınızı yükləyə, həmkarlarınızla və ya digər istifadəçilərlə əməkdaşlıq edə və bir-birinizlə dəyərli məlumatları paylaşa bilərsiniz. Bir çox məlumat dəstini araşdırmaq və onlara qoşulmaq üçün sayt interfeysində SQL və SPARQL sorğuları yaza bilərsiniz. R və Python üçün seçdiyiniz alətdə məlumat almağı və onlarla işləməyi asanlaşdıran SDK (proqram inkişaf dəstləri) var. Sadəcə bir hesab yaratmaq, daxil olmaq və sonra lazım olan materialı axtarmaq kifayətdir.
Nümunə məlumat dəstləri:
İqlim Dəyişikliyi Məlumatları: Dünya Bankının müxtəlif iqlim dəyişikliyi məlumatlarını özündə cəmləşdirən bir məlumat setidir.
Avropa Futbol Verileri: 2008-2016 illəri arasında 11 Avropa ölkəsinin futbol məlumatlarını özündə cəmləşdirən bir məlumat setidir.
6. Data.gov
Data.gov məlumat mənbələrinin ABŞ dövlət qurumlarından toplanan kənd təsərrüfatı, ictimai təhlükəsizliyi və yerli hökumətlər kimi 14 fərqli mövzuda saxlanıldığı məlumat əsaslı jurnalistika və hekayə izahı üçün əla bir məkandır. Məlumatların əksəriyyəti əlavə araşdırma tələb etsə də, lisenziya müqavilələrini qəbul etsəniz də, qeydiyyatdan keçmədən birbaşa saytdakı məlumat dəstlərinə baxa bilərsiniz. Mövzu kateqoriyası, yer, etiketlər, fayl formatı, qurumlar və s. kimi əlavə filtrlər tətbiq edərək axtarışınızı daha təsirli edə bilərsiniz.
Nümunə məlumat dəstləri:
Qida Ətraf Atlası: Yerli qida seçimlərinin ABŞ-da pəhrizi necə təsir etdiyinə dair məlumatları ehtiva edən bir məlumat toplusudur.
Məktəb Sisteminin Maliyyəsi: ABŞ-da məktəb sistemlərinin maliyyələşdirilməsinə dair tədqiqat məlumatlarını özündə cəmləşdirən bir məlumat toplusudur.
7. Reddit
Reddit Conde Nast Digital-a məxsus bir sosial xəbər saytı və icma müzakirə saytı kimi tanınır. Bununla yanaşı, məlumat dəstlərini bölüşməyə və müzakirə etməyə həsr olunmuş bir bölmə də var. Bu məlumat dəstlərinin həcmi və keyfiyyəti istifadəçilər tərəfindən göndərildiyi üçün bir-birindən çox fərqli olsalar da maraqlı məlumat dəstlərinə çatmaq mümkündür. Bir hesab yaratmadan Subreddits-i nəzərdən keçirə bilərsiniz, məlumat dəstlərini şərh etmək və məlumat dəstini saytda yayımlamaq üçün pulsuz bir hesab yaratmaq kifayətdir.
Nümunə məlumat dəstləri:
New York City əmlak vergisi məlumatları: New York’daki əmlak və vergi dəyərləri haqqında məlumatları ehtiva edən bir məlumat setidir.
Bütün Reddit Göndərmələri: 2015-ci ilə qədər reddit tabeçiliyini ehtiva edən bir DATA bazasıdır.
8. Socrata
Socrata OpenData brauzerdə araşdırıla bilən və ya vizuallaşdırmaq üçün yüklənə bilən birdən çox məlumat dəsti olan bir portaldır. Saytın geniş məlumat mənbəyi onu DATA alimləri üçün cəlbedici bir mənbəyə çevirir. Bununla birlikdə, saytın təmiz və müasir məlumatları tapmaq üçün mövcud məlumat dəstlərini sıralamağınız lazım olan bir nüans var. Bunu bir dezavantaj kimi qəbul etməmək həqiqətən vacibdir, çünki məlumatları birbaşa saytdakı brauzer şəklində araşdıra və bəzi vizuallaşdırma vasitələrindən istifadə edə bilərsiniz.
Nümunə məlumat dəstləri:
Ağ Ev işçilərinin maaşları: 2010-cu il ərzində hər Ağ Ev işçisinin adı, maaşı, vəzifəsi və s. DATA ehtiva edən bir məlumat dəstidir.
Musiqi Satış Məlumatları: İllərə görə satış məlumatlarını ehtiva edən bir məlumat setidir.
9. Academic Torrents
Academic Torrents tədqiqatçıların məlumatları paylaşması üçün yaradılan bir platformadır. İki hissədən ibarətdir; istifadəçilərin məlumat dəstlərini və məlumat paylaşımını miqyaslı və sürətli edən bir BitTorrent saytı. Məqsədləri tədqiqatçılar arasında məlumat mübadiləsini asanlaşdırmaq olan saytda 500-ə yaxın məlumat dəsti var. Sayt UCI, Imagenet və Wikipedia kimi bütün məşhur maşın öyrənmə məlumat dəstləri daxil olmaqla 15 TB-dan çox məlumata giriş imkanı verir. Hər hansı bir qeyd olmadan məlumat əldə edə, görə və yükləyə bilərsiniz.
Nümunə məlumat dəstləri:
Tələbə Öyrənmə Faktları: Tələbə öyrənməsini ölçən və təsir edən bir sıra amilləri özündə cəmləşdirən bir məlumat toplusudur.
Enron E-poçtları: İflas edən məşhur Enron şirkətinin rəhbərlərinin e-poçtlarını ehtiva edən bir verilənlər bazası.
10. Open Data Europe
AB qurumları və iqtisadiyyat, məşğulluq, elm, ətraf mühit və təhsil kimi sahələrdə yayımlanan məlumatlara bu platformalardan daxil ola bilərsiniz. Open Data Europe, AB siyasət sahələri ilə əlaqəli həyati açıq məlumatlara ev sahibliyi edir və 70-ə yaxın Aİ qurumu, təşkilatlarına açıq şəkildə məlumat dəstlərinə daxil olmaq imkanı verir. İndiyə qədər 11.700-ə çatan məlumat dəstlərinə asanlıqla daxil ola və yükləyə bilərsiniz.
Nümunə məlumat dəstləri:
1988-ci ildən bəri AB Ticarəti CN8 tərəfindən: Avropa Birliyi ölkələrinin Milad ağacı satış məlumatlarını ehtiva edən bir məlumat setidir.
Antimikrobiyal Müqavimət Məlumatı: 1998-ci ildən bəri Avropada antibiotik müqavimətinin əmələ gəlməsini və yayılmasını göstərən məlumatları ehtiva edən bir verilənlər bazasıdır.
Daha çox məlumat mənbəyi tapmaq və DATA elmi və maşın öyrənmə layihələrinizə rəng qatmaq üçün aşağıdakı veb saytlarını da ziyarət edə bilərsiniz.
- Google Dataset Search
- Amazon Web Services
- Microsoft Research Open Data
- The World Bank
- Lionbridge AI
- IEEE Dataport
- Stanford Large Network Dataset Collection (SNAP)
- OpenDataNI
- Toronto Open Data
- ProPublica
- IMF Data
Hazırladı: Markzone.az – DataTeam
