As jy van plan is om 'n suksesvolle doughnut-onderneming te begin, moet jy die beste doughnut in die mark voorberei. Terwyl jou tegniese vaardighede en ervaring wel 'n deurslaggewende rol in jou oliebolle-besigheid speel, moet jy jou oliebolle met die beste bestanddele moontlik voorberei om werklik onder jou teikengehore te klik en herhalende besigheid te haal.
Die kwaliteit van jou individuele bestanddele, die plek waar jy dit vandaan kry, hoe hulle mekaar meng en aanvul, en meer altyd bepaal die doughnut se smaak, vorm en konsekwentheid. Dieselfde geld ook vir die ontwikkeling van u masjienleermodelle.
Alhoewel die analogie dalk bisar lyk, moet u besef dat die beste bestanddeel wat u in u masjienleermodel kan invul, kwaliteitdata is. Ironies genoeg is dit ook die moeilikste deel van KI (kunsmatige intelligensie) ontwikkeling. Besighede sukkel om kwaliteitdata vir hul KI-opleidingsprosedures te verkry en saam te stel, wat uiteindelik die ontwikkelingstyd vertraag of 'n oplossing met minder doeltreffendheid bekendstel as wat verwag is.
Beperk deur begrotings en operasionele beperkings, is hulle verplig om hul toevlug tot ongewone data-insamelingsmetodes soos verskillende crowdsourcing-tegnieke. So, werk dit? Is crowdsourcing data van hoë gehalte regtig 'n ding? Hoe meet jy datakwaliteit in die eerste plek?
Kom ons vind uit.
Wat is datakwaliteit en hoe meet u dit?
Datakwaliteit vertaal nie net hoe skoon en gestruktureerd jou datastelle is nie. Dit is estetiese maatstawwe. Wat regtig saak maak, is hoe relevant jou data vir jou oplossing is. As jy 'n KI-model ontwikkel vir 'n gesondheidsorg oplossing en 'n meerderheid van jou datastelle is blote belangrike statistieke van draagbare toestelle, wat jy het, is slegte data.
Hiermee is daar hoegenaamd geen tasbare uitkoms nie. Dus, datakwaliteit kom neer op data wat kontekstueel is vir jou besigheidsaspirasies, volledig, geannoteer en masjiengereed is. Datahigiëne is 'n subset van al hierdie faktore.
Noudat ons weet wat data van swak gehalte is, het ons ook neergelys 'n lys van 5 faktore wat datakwaliteit beïnvloed.
Hoe om datakwaliteit te meet?
Daar is geen formule wat jy op 'n sigblad kan gebruik en datakwaliteit kan opdateer nie. Daar is egter nuttige maatstawwe om jou te help om tred te hou met jou data se doeltreffendheid en relevansie.
Verhouding van data tot foute
Dit volg die aantal foute wat 'n datastel het met betrekking tot die volume daarvan.
Leë waardes
Hierdie maatstaf dui die aantal onvolledige, ontbrekende of leë waardes in datastelle aan.
Datatransformasiefouteverhoudings
Dit volg die hoeveelheid foute wat opduik wanneer 'n datastel getransformeer of omgeskakel word na 'n ander formaat.
Donker datavolume
Donker data is enige data wat onbruikbaar, oorbodig of vaag is.
Data Tyd Tot Waarde
Dit meet die hoeveelheid tyd wat u personeel daaraan bestee om vereiste inligting uit datastelle te onttrek.
So hoe om datakwaliteit te verseker tydens crowdsourcing
Daar sal tye wees dat jou span gedruk sal word om data binne streng tydlyne in te samel. In sulke gevalle, crowdsourcing tegnieke help aansienlik. Beteken dit egter dat skareverkryging van hoë gehalte data altyd 'n geloofwaardige uitkoms kan wees?
As jy bereid is om hierdie maatreëls te tref, sal jou skaredatakwaliteit tot 'n sekere mate versterk word dat jy dit vir vinnige KI-opleidingsdoeleindes kan gebruik.
Skerp en ondubbelsinnige riglyne
Crowdsourcing beteken dat jy werkers wat deur die skare verkry is oor die internet sal nader om by te dra tot jou vereistes met relevante inligting.
Daar is gevalle waar opregte mense versuim om korrekte en relevante besonderhede te verskaf omdat jou vereistes dubbelsinnig was. Om dit te vermy, publiseer 'n stel duidelike riglyne oor waaroor die proses gaan, hoe hul bydraes sal help, hoe hulle kan bydra, en meer. Om die leerkurwe te minimaliseer, stel skermkiekies bekend van hoe om besonderhede in te dien of het kort video's oor die prosedure.
Datadiversiteit en die verwydering van vooroordeel
Vooroordeel kan voorkom word om in jou datapoel ingebring te word wanneer dit op grondliggende vlakke hanteer word. Vooroordeel ontstaan slegs wanneer 'n groot volume data geneig is tot 'n spesifieke faktor soos ras, geslag, demografie en meer. Om dit te vermy, maak jou skare so divers as moontlik.
Publiseer jou crowdsourcing-veldtog regoor verskillende marksegmente, gehoorpersonas, etnisiteite, ouderdomsgroepe, ekonomiese agtergronde, en meer. Dit sal jou help om 'n ryk datapoel saam te stel wat jy kan gebruik vir onbevooroordeelde uitkomste.
Veelvuldige QA-prosesse
Ideaal gesproke moet jou QA-prosedure twee hoofprosesse behels:
- 'n Proses gelei deur masjienleermodelle
- En 'n proses gelei deur 'n span professionele gehalteversekeringsgenote
Masjienleer QA
Dit kan jou voorlopige valideringsproses wees, waar masjienleermodelle bepaal of al die vereiste velde ingevul is, nodige dokumente of besonderhede opgelaai word, of die inskrywings relevant is tot die velde wat gepubliseer is, diversiteit van datastelle, en meer. Vir komplekse datatipes soos oudio, beelde of video's, kan masjienleermodelle ook opgelei word om nodige faktore soos duur, oudiokwaliteit, formaat en meer te valideer.
Handmatige QA
Dit sal 'n ideale tweedelaag kwaliteitskontroleproses wees, waar u span professionele persone vinnige oudits van ewekansige datastelle uitvoer om te kyk of die vereiste kwaliteitsmaatstawwe en -standaarde nagekom word.
As daar 'n patroon in uitkomste is, kan die model geoptimaliseer word vir beter resultate. Die rede waarom handleiding QA nie 'n ideale voorlopige proses sou wees nie, is as gevolg van die volume datastelle wat jy uiteindelik sou kry.
So, wat is jou plan?
Dit was dus die mees praktiese beste praktyke om te optimaliseer skare verkry data kwaliteit. Die proses is vervelig, maar maatreëls soos hierdie maak dit minder omslagtig. Implementeer hulle en hou jou uitkomste dop om te sien of dit in lyn is met jou visie.