Temizlemeden önce bak
read_file ve Shell, herhangi bir kural yazılmadan önce her sütundaki gerçek değerleri gösterir. Tuhaf değerler tam orada saklanır.
Ürün
Makine öğrenmesinde veri temizleme, onayladığın kurallarla başlar
01
Makine öğrenmesinde veri temizleme, yazılı kurallara iner: hangi değerler düzeltilecek, hangi satırlar atılacak ve hangi boşluklar işaretlenecek. Fredit Flow bu kuralları bir Python betiğine çevirir, çalıştırır, yeni bir dosya kaydeder ve diff gösterir. Her adımı sen incelersin.
Yeniden çalıştırabileceğin betikler
write_file bir Python temizleme betiği kaydeder; böylece bir sonraki dışa aktarım yeni elle düzenlemeler yerine aynı kuralları alır.
Her düzenleme için bir diff
edit_file bir betiği değiştirir ve diff gösterir; Ask first modunda düzenlemeyi uygulanmadan önce kabul eder ya da reddedersin.
Ajan neler yapabilir
- Dosyalarread_file, write_file, edit_file, grep ve glob sohbetin çalışma klasörünün içinde çalışır; bir sayaç oluşturulan, düzenlenen ve okunan dosyaları gösterir.
- Shellbir temizleme betiği üzerinde senin Python komutunu çalıştırır ve gerçek çıkış kodunu bildirir; tehlikeli komutlar engellenir.
- Webweb_search ve http_get resmî dokümantasyon sayfalarını okur; örneğin bir kural standart kütüphanenin bir ayrıntısına ihtiyaç duyduğunda.
- Ekran görüntüleri ve görsellerocr bir tablo ekran görüntüsündeki metni okur, write_file de bu metni bir betiğin düzenlemesi için kaydedebilir.
- Orkestrasyontask alt ajanları paralel çalıştırır, örneğin girdi dosyası başına bir tane; run_on_model zor bir adımı daha büyük bir modele gönderir; skills yeniden kullanılabilir oyun kitapları tutar.
- Onay modlarıAuto-run hemen harekete geçer, Ask first bir şeyi değiştiren eylemlerden önce durur, Plan only ise bir plan yazar ve hiçbir şey çalıştırmaz.
- Cronbir istemi zamanlanmış olarak çalıştırır; böylece yeni bir dışa aktarım geldiğinde kayıtlı bir temizleme betiği yeniden çalıştırılabilir.
- Modellerstandart bir API uç noktası üzerinden bir bulut sağlayıcısı, bilgisayarında yerel çalışan bir model ya da yerleşik modeli bağla; Test düğmesi uç noktayı denetler.
Önce böl, sonra uydur
Herhangi bir ölçekleme ya da medyanla doldurma uydurmadan önce veriyi eğitim ve test parçalarına böl, ardından eğitim parçasında hesapladığını test parçasına uygula. İstatistikler yalnızca eğitimden gelir.
ratings.csv dosyasını eğitim ve test dosyalarına böl, sonra eksik yaşları yalnızca eğitim medyanıyla doldur.
- read_file
./ratings.csvörnek okundu - grep
,, ./ratings.csv6 eşleşme - write_file
./prepare.pykaydedildi - Shell
your Python command prepare.pyçıkış kodu 0 - read_file
./train_clean.csvboşluklar dolduruldu - read_file
./test_clean.csvboşluklar dolduruldu
Sonraki adımdan önce onayın bekleniyorReddetKabul et
Model hazırlığı için iki örnek
Sızıntı olmadan eksik yaşları doldur
Makine öğrenmesinde veri ön işleme, temizlemenin ardından kategorileri kodlama ve sayıları ölçekleme gibi adımlar ekler ve her istatistik yalnızca eğitim parçasından gelmelidir. Diyelim ratings.csv içindeki eksik yaşları bir medyanla doldurmak istiyorsun. Fredit Flow boş alanlı satırları bulmak için grep, prepare.py dosyasını kaydetmek için write_file, senin kendi Python komutunla çalıştırmak için Shell kullanır. Betik train_clean.csv ve test_clean.csv dosyalarını yazar; medyan eğitim satırlarında hesaplanır, sonra test satırlarına uygulanır. ratings.csv dosyana dokunulmaz. Ask first modunda kart yazmadan önce durur; diff’i okur, betiğin yazdırdığı satır sayılarını karşılaştırır ve her yeni dosyada 5 satırı örnekleyerek kontrol edersin. Dağınık gerçek dünya verisini temizleyen bir boru hattı bu tek betikle başlayabilir.
Aralıkları ve imkânsız değerleri kontrol et
Negatif yaş ya da negatif fiyat gibi imkânsız değerler büyük dosyalarda saklanır. ML için veri temizlemeye vaktinin çoğunu harcıyorsan her kuralı bir kez yaz ve betiğin uygulamasına izin ver. Eksik değerleri, yinelenenleri ve aykırı değerleri ele almak, betik çalışmadan önce yazılmış ayrı bir kural gerektirir. Fredit Flow sütun adlarını read_file ile kontrol eder, betiğe aralık denetimi eklemek için edit_file kullanır ve Shell ile çalıştırarak çıkış kodunu ve aralık dışındaki satırların sayısını bildirir. Başarısız olan satırlar bir inceleme dosyasına gider. Hiçbir şey silinmez. Plan only modu bu denetimleri önce listeler. Bir kuralı değiştirmeden önce inceleme dosyasını satır satır oku.
Fredit Flow’un yapmadıkları
Fredit Flow barındırılan bir hizmet ya da başka yazılımlar için bir eklenti değildir. Yalnızca kendi dosyaların, bilgisayarın ve kullanma yetkin olan sunucular için tasarlanmıştır; bu yüzden çalışmayı sana ait olan ya da işleme hakkına sahip olduğun verilerle sınırla. Sonuçları sen incelersin. Burada hiçbir şey kodun ya da temizleme kurallarının doğru olacağını vaat etmez.
