fix(security, core): Auth-Pflicht für Ingest-APIs, 500er-Ursachen beheben, Agenten-Workflow
Sicherheit
- install_db.php war ohne Authentifizierung erreichbar und setzte bei jedem
Aufruf das Admin-Passwort auf einen fest im Code stehenden Wert zurück.
Jetzt Auth-Pflicht; ein Konto wird nur bei leerer Benutzertabelle angelegt.
- Stored XSS im Bugtracker-Detail-Modal: Titel, Beschreibung, Fehlermeldung,
Stacktrace und Kommentare gingen ungefiltert durch innerHTML.
- report.php, projects.php und das Veröffentlichen von Releases verlangen jetzt
zwingend ein Token. Publish war zuvor völlig ungeschützt.
- CSRF-Token in allen Formularen, Session-Regenerierung nach Login,
Drosselung fehlgeschlagener Anmeldeversuche.
- Zugangsdaten aus der Versionskontrolle entfernt (Serverdaten.txt,
config.php, .htpasswd, deploy_config.json). Historie enthält sie weiterhin,
Rotation erforderlich (siehe docs/UPGRADE.md).
- Token-Validierung nur noch über SHA-256-Hash; expires_at wird ausgewertet.
Behobene 500er
- Audit::log() war in index.php weder eingebunden noch importiert. Jeder
Klick auf "Aktivierung freigeben" endete in einem Fatal Error.
- Derselbe benannte PDO-Platzhalter mehrfach je Statement (:id in
revokeToken/deleteToken, :q siebenfach in der Volltextsuche). Bei
EMULATE_PREPARES=false ist das nicht zulässig und warf HY093.
- Migration 005 nutzte dynamisches SQL, dessen Semikolons in String-Literalen
vom alten explode(';')-Installer als Statement-Ende gelesen wurden. Sie
schlug still fehl, wodurch push_id/target_agent/tags dauerhaft fehlten.
- Monitor-Umbenennung ohne Transaktion, verschachtelte Transaktionen im
RateLimiter.
Funktionale Korrekturen
- Der Watchdog-Evaluator fehlte vollständig: Monitor-Zustände änderten sich nur
beim Eintreffen eines Heartbeats, ein ausgefallenes System blieb dauerhaft
"up". Erster Lauf auf dem Produktivsystem: 7 von 10 Monitoren waren
tatsächlich seit über einem Tag nicht erreichbar.
- Das Feld "os" fehlte im Monitor-Dialog, wurde aber gespeichert und löschte
damit bei jedem Speichern das Betriebssystem.
- Der Resolve-Dialog existierte im HTML nicht; der Button war funktionslos.
- Versionsvergleich erfolgte lexikografisch, wodurch 1.9.0 als neuer galt
als 1.10.0.
- Schreiboperationen meldeten Erfolg auch für nicht existierende IDs.
- Post/Redirect/Get gegen doppelte Einträge beim Neuladen.
Neue Struktur
- src/bootstrap.php mit PSR-4-Autoloader ersetzt die require-Ketten.
- Core: Config, Http, Csrf, ApiAuth, Logger, Migrator, ErrorReporter.
- Migrator mit zeichenweisem SQL-Parser, dc_migrations und Baseline-Verfahren,
damit bestehende Installationen keine Beispieldaten zurückbekommen.
Agenten-Workflow
- Claim/Lease: Items werden exklusiv übernommen, damit nicht zwei Agenten am
selben Problem arbeiten. action=next holt und reserviert in einem Zug.
- Idempotenz über client_ref, Deduplizierung auch für Feature Requests,
Erkennung von Regressionen, automatische Eskalation des Schweregrads.
- Strukturierter Code-Kontext (repo_url, commit_sha, file_path, line_no).
- Delta-Abfragen über updated_since, Pagination, Bulk-Update.
- Beim Veröffentlichen eines Releases schließen sich Items mit passendem
resolved_in_build selbst.
- Ausgehende Webhooks mit HMAC-Signatur, /api/health, /api/openapi.json.
- Unbehandelte Fehler meldet die Plattform in ihren eigenen Bugtracker.
WebUI
- Serverseitige Filterung mit Pagination statt Rendern aller Datensätze.
- Migrations-Schranke, Evaluator-Warnung, Übersicht aktiver Agenten.
Zeitstempel liegen in der Datenbank durchgängig in UTC und werden für die
Anzeige in die App-Zeitzone umgerechnet.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Deploymentcenter Bot
co-authored by
Claude Opus 5
Claude Opus 5
parent
a21536f495
commit
e7fbc85db4
@@ -1,60 +1,33 @@
|
||||
-- Migration 005: Bugtracker Push ID, Target Agent, Tags, and Extended Severities (idea, wishlist)
|
||||
-- Non-destructive migration
|
||||
-- Migration 005: Bugtracker Push-ID, Ziel-Agent, Tags und erweiterte Schweregrade
|
||||
--
|
||||
-- HINWEIS ZUR UEBERARBEITUNG:
|
||||
-- Die urspruengliche Fassung nutzte PREPARE/EXECUTE mit dynamischem SQL, um
|
||||
-- Spalten bedingt anzulegen. Die darin enthaltenen Semikolons steckten in
|
||||
-- String-Literalen und wurden vom damaligen explode(';')-Installer als
|
||||
-- Statement-Ende missverstanden. Ergebnis: die Migration schlug still fehl,
|
||||
-- die Spalten push_id/target_agent/tags fehlten und jeder Bug-Report lief in
|
||||
-- "Unknown column 'push_id'".
|
||||
--
|
||||
-- Jetzt plain SQL. Der Migrator toleriert gezielt "Spalte existiert bereits"
|
||||
-- (Fehlercode 1060) und "Index existiert bereits" (1061), sodass diese
|
||||
-- Migration auch auf einer bereits teilweise migrierten Datenbank durchlaeuft.
|
||||
|
||||
SET FOREIGN_KEY_CHECKS = 0;
|
||||
|
||||
-- 1. Extend ENUM severity column if needed or modify column definition
|
||||
ALTER TABLE bugtracker_items
|
||||
ALTER TABLE bugtracker_items
|
||||
MODIFY COLUMN severity ENUM('idea', 'wishlist', 'low', 'medium', 'high', 'critical') NOT NULL DEFAULT 'medium';
|
||||
|
||||
-- 2. Add push_id column if not exists
|
||||
SET @exist_push_id := (
|
||||
SELECT COUNT(*)
|
||||
FROM INFORMATION_SCHEMA.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'bugtracker_items'
|
||||
AND COLUMN_NAME = 'push_id'
|
||||
);
|
||||
SET @sql_push_id := IF(@exist_push_id = 0, 'ALTER TABLE bugtracker_items ADD COLUMN push_id VARCHAR(128) NULL AFTER occurrence_count, ADD KEY ix_bt_push_id (push_id);', 'SELECT 1;');
|
||||
PREPARE stmt FROM @sql_push_id;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN push_id VARCHAR(128) NULL AFTER occurrence_count;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN target_agent VARCHAR(100) NULL AFTER push_id;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN tags VARCHAR(255) NULL AFTER target_agent;
|
||||
|
||||
-- 3. Add target_agent column if not exists
|
||||
SET @exist_target_agent := (
|
||||
SELECT COUNT(*)
|
||||
FROM INFORMATION_SCHEMA.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'bugtracker_items'
|
||||
AND COLUMN_NAME = 'target_agent'
|
||||
);
|
||||
SET @sql_target_agent := IF(@exist_target_agent = 0, 'ALTER TABLE bugtracker_items ADD COLUMN target_agent VARCHAR(100) NULL AFTER push_id;', 'SELECT 1;');
|
||||
PREPARE stmt FROM @sql_target_agent;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_push_id (push_id);
|
||||
|
||||
-- 4. Add tags column if not exists
|
||||
SET @exist_tags := (
|
||||
SELECT COUNT(*)
|
||||
FROM INFORMATION_SCHEMA.COLUMNS
|
||||
WHERE TABLE_SCHEMA = DATABASE()
|
||||
AND TABLE_NAME = 'bugtracker_items'
|
||||
AND COLUMN_NAME = 'tags'
|
||||
);
|
||||
SET @sql_tags := IF(@exist_tags = 0, 'ALTER TABLE bugtracker_items ADD COLUMN tags VARCHAR(255) NULL AFTER target_agent;', 'SELECT 1;');
|
||||
PREPARE stmt FROM @sql_tags;
|
||||
EXECUTE stmt;
|
||||
DEALLOCATE PREPARE stmt;
|
||||
|
||||
SET FOREIGN_KEY_CHECKS = 1;
|
||||
|
||||
-- Seed Deployment Center Project
|
||||
INSERT INTO dc_projects (id, slug, name, notes, default_cache_ttl_hours) VALUES
|
||||
(4, 'deploymentcenter', 'Deployment Center', 'Zentrale Verwaltungs- & Update-Plattform', 168)
|
||||
-- Projekt fuer das Deploymentcenter selbst. Kein Demo-Datensatz, sondern das
|
||||
-- Projekt, unter dem die Plattform ihre eigenen Fehler meldet.
|
||||
INSERT INTO dc_projects (slug, name, notes, default_cache_ttl_hours) VALUES
|
||||
('deploymentcenter', 'Deployment Center', 'Zentrale Verwaltungs- & Update-Plattform', 168)
|
||||
ON DUPLICATE KEY UPDATE name = VALUES(name);
|
||||
|
||||
-- Seed Sample Feature Idea
|
||||
INSERT IGNORE INTO bugtracker_items (
|
||||
id, project_slug, type, title, description, error_message, stack_trace, error_hash, build_version, environment, severity, status, occurrence_count, push_id, target_agent, tags, created_by
|
||||
) VALUES
|
||||
(4, 'myapp', 'feature_request', 'Automatische Datenbank-Backups vor Deployments', 'Idee für später: Vor jedem FTP-Deployment automatisch einen Mysqldump ausführen und im Server-Archiv ablegen.', NULL, NULL, NULL, 'v1.6.0-idea', 'development', 'idea', 'open', 1, 'push_notify_99182', 'agent:dev-monitor-01', 'database,automation', 'user:richard');
|
||||
-- Der frueher hier stehende Beispiel-Eintrag (bugtracker_items id 4) ist
|
||||
-- entfallen. Er wurde mit fester ID eingefuegt und waere dadurch bei jedem
|
||||
-- Migrationslauf auf einer produktiv genutzten Datenbank wieder aufgetaucht,
|
||||
-- nachdem man ihn geloescht hat.
|
||||
|
||||
@@ -0,0 +1,123 @@
|
||||
-- Migration 006: Agenten-Workflow, Webhooks, Login-Drosselung, Reparaturen
|
||||
--
|
||||
-- Additive Migration. Der Migrator toleriert 1050/1060/1061/1062 ("existiert
|
||||
-- bereits"), sodass sie auf einer teilweise migrierten Datenbank durchlaeuft.
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 1. Anmeldeversuche (Brute-Force-Drosselung fuer login.php)
|
||||
-- ---------------------------------------------------------------------------
|
||||
CREATE TABLE IF NOT EXISTS dc_login_attempts (
|
||||
id BIGINT AUTO_INCREMENT PRIMARY KEY,
|
||||
ip VARBINARY(16) NOT NULL,
|
||||
username VARCHAR(64) NULL,
|
||||
success TINYINT(1) NOT NULL DEFAULT 0,
|
||||
attempted_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||||
KEY ix_login_ip_time (ip, attempted_at),
|
||||
KEY ix_login_time (attempted_at)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 2. Bugtracker: Agenten-Workflow
|
||||
-- ---------------------------------------------------------------------------
|
||||
|
||||
-- Exklusive Bearbeitung (Claim/Lease): verhindert, dass zwei Agenten
|
||||
-- gleichzeitig am selben Item arbeiten.
|
||||
ALTER TABLE bugtracker_items ADD COLUMN claimed_by VARCHAR(100) NULL AFTER target_agent;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN claimed_at DATETIME NULL AFTER claimed_by;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN lease_until DATETIME NULL AFTER claimed_at;
|
||||
|
||||
-- Idempotenz: ein Agent, der wegen Timeout erneut sendet, erzeugt kein Duplikat.
|
||||
ALTER TABLE bugtracker_items ADD COLUMN client_ref VARCHAR(128) NULL AFTER tags;
|
||||
|
||||
-- Dedup-Schluessel auch fuer Feature Requests und Ideen (nicht nur Bugs).
|
||||
ALTER TABLE bugtracker_items ADD COLUMN dedup_key VARCHAR(64) NULL AFTER error_hash;
|
||||
|
||||
-- Strukturierter Code-Kontext: ein Agent kann direkt an die Stelle springen,
|
||||
-- statt den Stacktrace parsen zu muessen.
|
||||
ALTER TABLE bugtracker_items ADD COLUMN repo_url VARCHAR(255) NULL AFTER build_version;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN git_branch VARCHAR(120) NULL AFTER repo_url;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN commit_sha VARCHAR(64) NULL AFTER git_branch;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN file_path VARCHAR(400) NULL AFTER commit_sha;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN line_no INT NULL AFTER file_path;
|
||||
ALTER TABLE bugtracker_items ADD COLUMN context_json JSON NULL AFTER line_no;
|
||||
|
||||
-- Verknuepfung zum Release, das den Fehler behoben hat.
|
||||
ALTER TABLE bugtracker_items ADD COLUMN resolved_release_id INT NULL AFTER resolved_in_build;
|
||||
|
||||
-- Wiederauftreten nach Behebung: Verweis auf das urspruengliche Item.
|
||||
ALTER TABLE bugtracker_items ADD COLUMN regression_of BIGINT NULL AFTER resolved_release_id;
|
||||
|
||||
ALTER TABLE bugtracker_items ADD UNIQUE KEY uq_bt_client_ref (project_slug, client_ref);
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_dedup (dedup_key);
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_updated (updated_at);
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_status (status, severity);
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_agent (target_agent, status);
|
||||
ALTER TABLE bugtracker_items ADD KEY ix_bt_lease (lease_until);
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 3. Projekte: Repository-Bezug fuer Agenten
|
||||
-- ---------------------------------------------------------------------------
|
||||
ALTER TABLE dc_projects ADD COLUMN repo_url VARCHAR(255) NULL AFTER notes;
|
||||
ALTER TABLE dc_projects ADD COLUMN default_agent VARCHAR(100) NULL AFTER repo_url;
|
||||
ALTER TABLE dc_projects ADD COLUMN is_active TINYINT(1) NOT NULL DEFAULT 1 AFTER default_agent;
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 4. Webhooks (ausgehende Benachrichtigungen)
|
||||
-- ---------------------------------------------------------------------------
|
||||
CREATE TABLE IF NOT EXISTS dc_webhooks (
|
||||
id INT AUTO_INCREMENT PRIMARY KEY,
|
||||
name VARCHAR(100) NOT NULL,
|
||||
url VARCHAR(500) NOT NULL,
|
||||
project_slug VARCHAR(64) NULL,
|
||||
events VARCHAR(500) NOT NULL DEFAULT 'bug.created,bug.critical,monitor.down',
|
||||
secret VARCHAR(128) NULL,
|
||||
enabled TINYINT(1) NOT NULL DEFAULT 1,
|
||||
last_status VARCHAR(50) NULL,
|
||||
last_error TEXT NULL,
|
||||
last_fired_at DATETIME NULL,
|
||||
failure_count INT NOT NULL DEFAULT 0,
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
|
||||
KEY ix_webhook_project (project_slug, enabled)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 5. Watchdog: Zustandswechsel nachvollziehbar machen
|
||||
-- ---------------------------------------------------------------------------
|
||||
ALTER TABLE watchdog_monitors ADD COLUMN last_state_change_utc DATETIME NULL AFTER state;
|
||||
ALTER TABLE watchdog_monitors ADD COLUMN down_since_utc DATETIME NULL AFTER last_state_change_utc;
|
||||
|
||||
-- 'unknown' als Anfangszustand, bevor je ein Heartbeat eintraf.
|
||||
ALTER TABLE watchdog_monitors
|
||||
MODIFY COLUMN state ENUM('up','warning','down','error','stopped','maintenance','unknown')
|
||||
NOT NULL DEFAULT 'unknown';
|
||||
|
||||
-- Der Evaluator laeuft als eigener Cron-Job.
|
||||
INSERT INTO watchdog_cron_jobs (name, interval_sec, enabled) VALUES
|
||||
('evaluator', 60, 1)
|
||||
ON DUPLICATE KEY UPDATE interval_sec = VALUES(interval_sec);
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 6. Reparatur: Token-Hashes
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- Die Validierung vergleicht ab sofort ausschliesslich den SHA-256-Hash und
|
||||
-- nicht mehr zusaetzlich den Klartext. Die geseedeten Beispiel-Tokens trugen
|
||||
-- Hashes, die nicht zu ihrem raw_token passten - diese werden hier korrigiert,
|
||||
-- damit bestehende Tokens weiter funktionieren.
|
||||
UPDATE dc_tokens
|
||||
SET token_hash = SHA2(raw_token, 256)
|
||||
WHERE raw_token IS NOT NULL
|
||||
AND raw_token <> ''
|
||||
AND token_hash <> SHA2(raw_token, 256);
|
||||
|
||||
UPDATE watchdog_agent_tokens
|
||||
SET token_hash = SHA2(raw_token, 256)
|
||||
WHERE raw_token IS NOT NULL
|
||||
AND raw_token <> ''
|
||||
AND token_hash <> SHA2(raw_token, 256);
|
||||
|
||||
-- ---------------------------------------------------------------------------
|
||||
-- 7. Konsistenz: resolved_at fuer bereits geloeste Items nachtragen
|
||||
-- ---------------------------------------------------------------------------
|
||||
UPDATE bugtracker_items
|
||||
SET resolved_at = COALESCE(updated_at, last_seen_at, created_at)
|
||||
WHERE status = 'resolved' AND resolved_at IS NULL;
|
||||
Reference in New Issue
Block a user