Спершу подивіться, потім чистіть
read_file і Shell показують справжні значення в кожному стовпці, перш ніж буде написано будь-яке правило. Дивні значення ховаються саме там.
Продукт
Очищення даних у машинному навчанні починається з правил, які ви схвалюєте
01
Очищення даних у машинному навчанні зводиться до записаних правил: які значення виправляти, які рядки видаляти й які пропуски позначати. Fredit Flow перетворює ці правила на скрипт Python, запускає його, зберігає новий файл і показує diff. Ви перевіряєте кожен крок.
Скрипти, які можна запускати знову
write_file зберігає скрипт очищення на Python, тож наступний експорт отримає ті самі правила замість нових ручних правок.
Diff для кожної правки
edit_file змінює скрипт і показує diff; у режимі Ask first ви приймаєте або відхиляєте правку до того, як її буде застосовано.
Що вміє агент
- Файлиread_file, write_file, edit_file, grep і glob працюють усередині робочої теки чату, а лічильник показує, скільки файлів створено, змінено й прочитано.
- Shellзапускає вашу команду Python для скрипта очищення й повідомляє справжній код виходу; небезпечні команди блокуються.
- Вебweb_search і http_get читають сторінки офіційної документації, наприклад коли правилу потрібна деталь зі стандартної бібліотеки.
- Знімки екрана й зображенняocr читає текст зі знімка таблиці, а write_file може зберегти цей текст, щоб скрипт його впорядкував.
- Оркестраціяtask запускає субагентів паралельно, наприклад по одному на вхідний файл; run_on_model віддає складний крок більшій моделі; skills зберігають повторно придатні сценарії.
- Режими підтвердженняAuto-run діє одразу, Ask first зупиняється перед діями, що щось змінюють, а Plan only пише план і нічого не запускає.
- Cronзапускає запит за розкладом, тож збережений скрипт очищення можна перезапустити, коли надійде новий експорт.
- Моделіпідключіть хмарного провайдера через стандартний API-ендпоінт, модель, що працює локально на вашому ПК, або вбудовану модель; кнопка Test перевіряє ендпоінт.
Спершу розділіть, потім підганяйте
Розділіть дані на навчальну й тестову частини, перш ніж підганяти масштабування чи заповнення медіаною, а потім застосуйте до тестової частини те, що ви обчислили на навчальній. Статистики беруться лише з навчальної частини.
Розділи ratings.csv на навчальний і тестовий файли, а потім заповни пропущений вік лише медіаною з навчальної частини.
- read_file
./ratings.csvпрочитано зразок - grep
,, ./ratings.csv6 збігів - write_file
./prepare.pyзбережено - Shell
your Python command prepare.pyкод виходу 0 - read_file
./train_clean.csvпропуски заповнено - read_file
./test_clean.csvпропуски заповнено
Чекаємо вашого OK перед наступним крокомВідхилитиПрийняти
Два покрокові приклади підготовки до моделі
Заповнити пропущений вік без витоку
Попередня обробка даних у машинному навчанні додає після очищення кроки на кшталт кодування категорій і масштабування чисел, і кожна статистика має братися лише з навчальної частини. Скажімо, ви хочете заповнити медіаною пропущений вік у ratings.csv. Fredit Flow через grep знаходить рядки з порожніми полями, через write_file зберігає prepare.py, а Shell запускає його вашою власною командою Python. Скрипт записує train_clean.csv і test_clean.csv, а медіана обчислюється за навчальними рядками й потім застосовується до тестових. Ваш ratings.csv лишається недоторканим. У режимі Ask first картка зупиняється перед записом, тож ви читаєте diff, порівнюєте кількості рядків, які друкує скрипт, і вибірково перевіряєте 5 рядків у кожному новому файлі. Конвеєр очищення безладних реальних даних може починатися саме з такого одного скрипта.
Перевірте діапазони й неможливі значення
Неможливі значення, як-от від’ємний вік чи від’ємна ціна, ховаються у великих файлах. Якщо ви витрачаєте більшу частину часу на очищення даних для ML, запишіть кожне правило один раз і дозвольте скрипту його застосовувати. Для пропусків, дублікатів і викидів потрібне окреме правило, записане до запуску скрипта. Fredit Flow через read_file перевіряє назви стовпців, через edit_file додає до скрипта перевірку діапазону, а Shell запускає його й повідомляє код виходу та кількість рядків поза діапазоном. Рядки, що не пройшли перевірку, потрапляють у файл для огляду. Нічого не видаляється. Режим Plan only спершу перелічує ці перевірки. Перш ніж змінювати правило, прочитайте файл для огляду рядок за рядком.
Чого Fredit Flow не робить
Fredit Flow — не хмарний сервіс і не плагін до іншого програмного забезпечення. Він призначений лише для ваших власних файлів, вашого ПК і серверів, якими вам дозволено користуватися, тож працюйте лише з даними, що належать вам або які ви маєте право обробляти. Результати перевіряєте ви. Ніщо тут не обіцяє, що код чи правила очищення правильні.
