Сначала посмотрите, потом чистите
read_file и Shell показывают настоящие значения в каждом столбце, прежде чем будет написано хоть одно правило. Странные значения прячутся именно там.
Продукт
Очистка данных в машинном обучении начинается с правил, которые вы утверждаете
01
Очистка данных в машинном обучении сводится к записанным правилам: какие значения исправить, какие строки отбросить и какие пропуски пометить. Fredit Flow превращает эти правила в скрипт на Python, запускает его, сохраняет новый файл и показывает diff. Каждый шаг проверяете вы.
Скрипты, которые можно запускать снова
write_file сохраняет скрипт очистки на Python, поэтому следующая выгрузка получит те же правила вместо новых ручных правок.
Diff для каждой правки
edit_file меняет скрипт и показывает diff; в режиме Ask first вы принимаете или отклоняете его до применения.
Что умеет агент
- Файлыread_file, write_file, edit_file, grep и glob работают внутри рабочей папки чата, а счётчик показывает созданные, изменённые и прочитанные файлы.
- Shellзапускает вашу команду Python на скрипте очистки и сообщает настоящий код завершения; опасные команды блокируются.
- Вебweb_search и http_get читают страницы официальной документации, например когда правилу нужна подробность стандартной библиотеки.
- Скриншоты и изображенияocr читает текст со скриншота таблицы, а write_file может сохранить этот текст, чтобы скрипт привёл его в порядок.
- Оркестрацияtask запускает субагентов параллельно, например по одному на входной файл; run_on_model отправляет сложный шаг более крупной модели; skills хранят многоразовые инструкции.
- Режимы подтвержденияAuto-run действует сразу, Ask first останавливается перед действиями, которые что-то меняют, а Plan only записывает план и ничего не запускает.
- Cronзапускает промпт по расписанию, так что сохранённый скрипт очистки можно перезапустить, когда придёт новая выгрузка.
- Моделиподключите облачного провайдера через стандартную конечную точку API, модель, запущенную локально на вашем ПК, или встроенную модель; кнопка Test проверяет конечную точку.
Сначала разделите, потом обучайте
Разделите данные на обучающую и тестовую части, прежде чем подбирать масштабирование или заполнение медианой, а затем примените к тестовой части то, что вы вычислили на обучающей. Статистика берётся только из обучающей части.
Раздели ratings.csv на обучающий и тестовый файлы, затем заполни пропущенный возраст только медианой по обучающей части.
- read_file
./ratings.csvобразец прочитан - grep
,, ./ratings.csv6 совпадений - write_file
./prepare.pyсохранено - Shell
your Python command prepare.pyexit 0 - read_file
./train_clean.csvпропуски заполнены - read_file
./test_clean.csvпропуски заполнены
Ждёт вашего OK перед следующим шагомОтклонитьПринять
Два разбора по подготовке модели
Заполните пропущенный возраст без утечки данных
Предобработка данных в машинном обучении добавляет после очистки шаги вроде кодирования категорий и масштабирования чисел, и вся статистика должна браться только из обучающей части. Допустим, вы хотите заполнить медианой пропущенный возраст в ratings.csv. Fredit Flow через grep находит строки с пустыми полями, через write_file сохраняет prepare.py, а через Shell запускает его вашей командой Python. Скрипт записывает train_clean.csv и test_clean.csv: медиана считается по обучающим строкам и затем применяется к тестовым. Ваш ratings.csv остаётся нетронутым. В режиме Ask first карточка останавливается перед записью, так что вы читаете diff, сравниваете числа строк, которые выводит скрипт, и вручную проверяете по 5 строк в каждом новом файле. Конвейер для очистки неряшливых реальных данных вполне может начаться с этого единственного скрипта.
Проверьте диапазоны и невозможные значения
Невозможные значения, например отрицательный возраст или отрицательная цена, прячутся в больших файлах. Если вы тратите большую часть времени на очистку данных для ML, запишите каждое правило один раз и пусть скрипт его применяет. Обработка пропусков, дубликатов и выбросов требует для каждого отдельного правила, записанного до запуска скрипта. Fredit Flow через read_file проверяет названия столбцов, через edit_file добавляет в скрипт проверку диапазона, а через Shell запускает его, сообщая код завершения и число строк вне диапазона. Строки, не прошедшие проверку, попадают в файл для просмотра. Ничего не удаляется. Режим Plan only заранее перечисляет эти проверки. Прочитайте файл для просмотра строка за строкой, прежде чем менять правило.
Чего Fredit Flow не делает
Fredit Flow — не размещённый сервис и не плагин для другой программы. Он предназначен только для ваших собственных файлов, вашего ПК и серверов, которыми вам разрешено пользоваться, поэтому ограничьтесь данными, которые принадлежат вам или которые вы вправе обрабатывать. Результаты проверяете вы. Ничто здесь не обещает, что код или правила очистки верны.
