Методы предобработки данных и Fredit Flow: ваши вопросы
Основы очистки данных
Что такое методы предобработки данных?
Методы предобработки данных — это шаги, которые готовят набор данных для машинного обучения: сначала очистка, затем шаги вроде кодирования категорий и масштабирования чисел. Сначала разделите данные. Подбирайте каждый шаг только на обучающей части. Написанное как «data pre processing», это значит то же самое.
В чём разница между очисткой данных и data wrangling?
Очистка данных — это поиск и исправление ошибок в наборе данных, таких как неверные типы, лишние пробелы, повторяющиеся строки и пропущенные значения. Data wrangling — более широкая работа по преобразованию и объединению данных, например слияние таблиц, разделение столбцов или сводные таблицы. Wrangling шире.
Как поступать с пропущенными значениями?
Единственного верного ответа нет. Можно отбросить строку, заполнить фиксированным значением, заполнить типичным значением вроде медианы или оставить пропуск и пометить его. Выбор зависит от столбца и от вопроса, на который вы отвечаете. Запишите его.
Как найти повторяющиеся строки?
Для дубликата нужен чёткий ключ, например нормализованный адрес e-mail, потому что точные дубликаты пропускают строки, отличающиеся только пробелами или регистром. Скрипт может оставить первую строку для каждого ключа, а остальные записать в отдельный файл. Просмотрите остальные.
Работа с Fredit Flow
freditcode.com — официальный сайт Fredit Flow?
Да, freditcode.com — официальный сайт Fredit Flow, а установщик здесь — оригинальная сборка. Цифровой подписи у неё пока нет. Сравните её контрольную сумму SHA-256 с опубликованным манифестом, а вопросы отправляйте кнопкой Send feedback в приложении.
Fredit Flow — это готовый продукт для очистки?
Нет. Fredit Flow — не готовый инструмент для очистки CSV из неряшливых наборов данных. Это агент, который пишет, запускает и правит для вас скрипты очистки на Python вашей командой Python, а правила — те, которые вы утверждаете.
Поможет ли он очистить текстовые файлы после OCR?
Да, для текстовых файлов, которые принадлежат вам. Агент читает образец через read_file, пишет скрипт, исправляющий повторяющиеся ошибки, на которые вы укажете, и сохраняет новый файл. Его инструмент ocr умеет читать текст и со скриншота таблицы. Проверьте результат вручную.
Результаты всегда верны?
Нет. Агент применяет утверждённые вами правила и не может судить, верно ли значение. Никакая автоматическая очистка не бывает полной. Прочитайте diff, проверьте скрипт на копии и вручную просмотрите очищенный результат, прежде чем на него полагаться.
Модели, приватность и скачивание
Мои файлы покидают ПК?
Это зависит от вашего выбора. С облачной моделью текст промпта, включая любой текст файлов, прочитанный агентом, уходит этому провайдеру. С моделью, запущенной локально на вашем ПК, ничто не покидает машину, поэтому выбирайте её для данных с персональными сведениями.
Как начать с первой небольшой задачи?
Один небольшой файл, который принадлежит вам, — подходящий размер для старта. Начните в режиме Plan only и прочитайте шаги, которые перечислит агент, затем переключитесь на Ask first и запустите скрипт на копии файла. В Plan only ничего не запускается.
Кнопка скачивания следит за мной?
Кнопка записывает время, ваш IP-адрес, user agent браузера и источник перехода, если он есть, чтобы считать скачивания, а затем перенаправляет вас на установщик. Счётчик посещений statinside.com фиксирует посещения страниц. Подробности — на странице приватности.
