Apache NiFi на собеседовании Data Engineer
Практика по теме статьи · без регистрации
Готовим вопросы…
Три вопроса по теме этой страницы, с объяснениями.
Содержание:
Что такое NiFi
Open source. Visual data flow orchestration. NSA-origin.
Source → process → transform → destinationDrag-drop в browser. Configure через UI.
Visual flow
GUI builds DAG-like processors. Connections — FlowFiles (data + metadata).
[GetFile] → [SplitText] → [InvokeHTTP] → [PutS3]Real-time data flow visible. Track FlowFiles живущие через flow.
Processors
300+ built-in.
- File / FTP / S3 / DB connectors.
- HTTP / Kafka / MQTT.
- Transformations (split, merge, route).
- Format converters (JSON / CSV / Parquet).
Custom processors via Java.
Готовишься к собесу Data Engineer?
Spark, Airflow, ClickHouse, SQL для DE — вопросы с разборами в браузере
Vs Airflow
| NiFi | Airflow | |
|---|---|---|
| UI | Drag-drop | DAG view |
| Flow definition | Visual | Python code |
| Use case | Streaming flows | Scheduled batch |
| Audit | Built-in provenance | Limited |
| Code-first | No | Yes |
NiFi — more streaming / IoT / file processing focus. Airflow — batch ETL pipelines.
В РФ NiFi popular в банках / ETL departments — visual interface приносит value non-tech analysts.
Связанные темы
- Airflow на собесе DE
- Kafka Connect для DE
- Airflow vs Prefect для DE
- CDC vs batch loading для DE
- Подготовка к собесу Data Engineer
FAQ
Это официальная информация?
Нет. Статья основана на документации Apache NiFi.
Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.