Lihat dulu sebelum membersihkan
read_file dan Shell menampilkan nilai sebenarnya di tiap kolom sebelum aturan apa pun ditulis. Nilai janggal bersembunyi di sana.
Produk
Pembersihan data di machine learning dimulai dari aturan yang kamu setujui
01
Pembersihan data di machine learning bermuara pada aturan tertulis: nilai mana yang diperbaiki, baris mana yang dibuang, dan celah mana yang diberi tanda. Fredit Flow mengubah aturan itu menjadi skrip Python, menjalankannya, menyimpan file baru, dan menampilkan diff. Kamu meninjau setiap langkah.
Skrip yang bisa dijalankan ulang
write_file menyimpan skrip pembersihan Python, sehingga ekspor berikutnya mendapat aturan yang sama, bukan hasil edit manual baru.
Diff untuk setiap edit
edit_file mengubah skrip dan menampilkan diff; dalam mode Ask first kamu menerima atau menolaknya sebelum diterapkan.
Apa yang bisa dilakukan agen
- Fileread_file, write_file, edit_file, grep, dan glob bekerja di dalam folder kerja obrolan, dan penghitung menampilkan file yang dibuat, diedit, dan dibaca.
- Shellmenjalankan perintah Python milikmu pada skrip pembersihan dan melaporkan kode keluar yang sebenarnya; perintah berbahaya diblokir.
- Webweb_search dan http_get membaca halaman dokumentasi resmi, misalnya ketika sebuah aturan memerlukan detail pustaka standar.
- Tangkapan layar dan gambarocr membaca teks dari tangkapan layar tabel, dan write_file dapat menyimpan teks itu agar dirapikan skrip.
- Orkestrasitask menjalankan sub-agen secara paralel, misalnya satu per file masukan; run_on_model mengirim langkah sulit ke model yang lebih besar; skills menyimpan panduan yang bisa dipakai ulang.
- Mode persetujuanAuto-run bertindak seketika, Ask first berhenti sebelum tindakan yang mengubah sesuatu, dan Plan only menulis rencana tanpa menjalankan apa pun.
- Cronmenjalankan prompt sesuai jadwal, sehingga skrip pembersihan yang tersimpan bisa dijalankan ulang saat ekspor baru tiba.
- Modelhubungkan penyedia cloud lewat endpoint API standar, model yang berjalan secara lokal di PC-mu, atau model bawaan; tombol Test memeriksa endpoint.
Pisahkan dulu, baru sesuaikan
Pisahkan data menjadi bagian latih dan uji sebelum menyesuaikan penskalaan atau pengisian median, lalu terapkan apa yang kamu hitung pada bagian latih ke bagian uji. Statistik hanya berasal dari bagian latih.
Pisahkan ratings.csv menjadi file latih dan uji, lalu isi usia yang hilang hanya dengan median bagian latih.
- read_file
./ratings.csvcontoh dibaca - grep
,, ./ratings.csv6 kecocokan - write_file
./prepare.pytersimpan - Shell
your Python command prepare.pykode keluar 0 - read_file
./train_clean.csvcelah terisi - read_file
./test_clean.csvcelah terisi
Menunggu persetujuanmu sebelum langkah berikutnyaTolakTerima
Dua panduan untuk persiapan model
Isi usia yang hilang tanpa kebocoran
Pra-pemrosesan data di machine learning menambah langkah setelah pembersihan, seperti mengodekan kategori dan menskalakan angka, dan setiap statistik harus berasal dari bagian latih saja. Misalnya kamu ingin mengisi usia yang hilang di ratings.csv dengan median. Fredit Flow memakai grep untuk menemukan baris dengan kolom kosong, write_file untuk menyimpan prepare.py, dan Shell untuk menjalankannya dengan perintah Python milikmu sendiri. Skrip menulis train_clean.csv dan test_clean.csv, dengan median dihitung pada baris latih lalu diterapkan ke baris uji. ratings.csv-mu tidak tersentuh. Dalam mode Ask first, kartu berhenti sebelum penulisan, sehingga kamu membaca diff, membandingkan jumlah baris yang dicetak skrip, dan memeriksa 5 baris di tiap file baru secara acak. Pipeline untuk membersihkan data dunia nyata yang berantakan bisa dimulai dari satu skrip ini.
Periksa rentang dan nilai yang mustahil
Nilai yang mustahil, seperti usia negatif atau harga negatif, bersembunyi di file besar. Jika kamu menghabiskan sebagian besar waktu untuk membersihkan data bagi ML, tulis tiap aturan sekali saja dan biarkan skrip menerapkannya. Menangani nilai hilang, duplikat, dan pencilan memerlukan aturan terpisah untuk masing-masing, ditulis sebelum skrip berjalan. Fredit Flow memakai read_file untuk memeriksa nama kolom, edit_file untuk menambahkan pemeriksaan rentang ke skrip, dan Shell untuk menjalankannya, melaporkan kode keluar dan jumlah baris di luar rentang. Baris yang gagal masuk ke file tinjauan. Tidak ada yang dihapus. Mode Plan only mencantumkan pemeriksaan ini lebih dulu. Baca file tinjauan baris demi baris sebelum mengubah aturan.
Yang tidak dilakukan Fredit Flow
Fredit Flow bukan layanan yang dihosting atau plugin untuk perangkat lunak lain. Ia hanya ditujukan untuk filemu sendiri, PC-mu, dan server yang berhak kamu pakai, jadi batasi pekerjaan pada data milikmu atau data yang berhak kamu proses. Kamu yang meninjau hasilnya. Tidak ada yang di sini menjanjikan bahwa kode atau aturan pembersihan itu benar.
