Tishka17
Это как вообще "случайно вызвать делит"?
Маrаt
В бд есть бэкапы
Например я бекапаю 1 раз в день, в БД произошло что то нехорошее, как мне объяснить клиентам что их данные пропали?
Маrаt
Какое нехорошее в БД может произойти и почему?
delete сделали ничайно или миграция нехорошо села
Маrаt
много же есть вещей почему БД может данные потерять
Tishka17
delete сделали ничайно или миграция нехорошо села
Первое как вообще возможно? Перед миграцией сделай бэкап
genya
Как делит случайно сделать
Tishka17
Мне с ходу приходит в голову ничего
asce
Мне с ходу приходит в голову ничего
ФС/диски могут посыпаться
Tishka17
Маrаt
https://github.com/vterron/dijkstra/blob/master/dijkstra.py#L133 тут же return не нужно делать?
Маrаt
нужно чтобы он дальше искал пути, а не первый попавшийся выдал
asce
Реплика спасает
Да, но новую реплику надо же из чего-то развернуть
Rin
подскажите, при восстановлении базы данных через консоль, можно как-то ход процесса в процентах увидеть?
Rin
Какой метод бэкапа? Что за субд?
mysql mysql -u user -p table < /path/table.sql
asce
mysql mysql -u user -p table < /path/table.sql
pv можно попробовать
Donald
mysql mysql -u user -p table < /path/table.sql
SELECT table_schema "Data Base Name", sum( data_length + index_length ) / 1024 / 1024 "Data Base Size in MiB" FROM information_schema.TABLES GROUP BY table_schema;
asce
mysql mysql -u user -p table < /path/table.sql
А так лучше xtrabackup - быстрее и компактнее
NO
А размера базы зависит, если база мелкая около 10G я бы наверное дампил
Tishka17
Да, но новую реплику надо же из чего-то развернуть
В смысле, развернуть? Слейв поднят рядом и постоянно работает на случай если в мастер попадет бомба на мастере случатся физические проблемы
Tishka17
Но наличие слейва не спасет от "случайного делита"
Tishka17
Tishka17
Но вероятность, что физически сдохнут сразу три сервера в трёх разных ДЦ ничтожно мала
Tishka17
Но для кого-то и более низких гарантий достаточно
Tishka17
Но это не относится к ситуации "бд может потерять данные". Это ситуация, когда БД вообще сдохла
Rin
pv можно попробовать
Отлично. 30 мин осталось.
Маrаt
Ну да, я могу просто часто делать бекапы но это не спасёт от потери данных на уровне человеческого фактора. Хоть 1 раз в минуту буду делать бекап, я могу потерять клиентские данные и придётся им объяснять куда пропали они например. Если было бы что то типо git для БД то можно было бы отменить изменения комита из-за которого что то плохое случилось.
Donald
aria2c -j 5 -i urls.txt
Были надежды на aria, но она не умеет сохранять файлы если на сервере в ответе имя файла Content-Disposition as attachment; filename="opensmile-2.3.0.tar.gz" https://github.com/aria2/aria2/issues/1118
Way
Всем привет. Кто нибудь работал в django с tempfile? Вообще ничего не понятно. Если я импортирую tempfile явно, то всё четко Если я импортирую его из django.core.files.temp, то объект NamedTemporaryFile становится типом TemporaryFile, и уже не имеет аргумента delete в ините, хотя код там примитивный... Словно джанга сама его потом еще где-то переопределяет import tempfile NamedTemporaryFile = tempfile.NamedTemporaryFile gettempdir = tempfile.gettempdir Потом имя. Вывожу gettempdir, вижу нормальный путь Но после сохранения когда я вывожу var.name, почему то в начало пути добавляется mediafiles/D:/.../... Че происходит???
Denis
Есть базы данных которые работают как гит, чтобы в них нельзя было потерять закомиченные изменения? В БД же могут сделать DELETE нечаянно же
В постгресе можно хранить лог транзакций, по нему можно восстановить состояние базы на любой момент времени
Tishka17
Хаха
666 rur
Ну в плане через кафку лить в бл
666 rur
Но видится что это порнуха полная)
666 rur
а можно фулл?
Транзакции в бд гонять через кафку
Oleg
Не очень понимаю причину страха о потери данных в БД. БД и СУБД к ней штука очень навороченная, имеющая много механизмов: 1. Данные при удалении не удаляются физически, а помечаются. 2. Разграничение прав доступ и выдача RO пользователям; 3. Журналирование; 4. Зеркалирование; 5. Репликация ... и так далее
Маrаt
🤝
это WAL называется да?
Denis
Да
Oleg
походу это то что нужно
Лог(механизм) транзакций так то везде ведется Да даже само понятие транзакции введено было для сохранение данных Что уж говорить о понятии реаляционных отношений и их нормалищации
Маrаt
в WAL хранятся просто события без данных?
Tishka17
Сами данные
Tishka17
Все
Маrаt
тогда когда они с диска удаляются если все изменения в WAL хранятся
Tishka17
Я только не уверен, что по нему реально после успешного коммита можно будет что-то восстанавливать
Rin
Еще вопрос по восстановлению базы данных. Дамп создался за несколько секунд, восстановление идет уже минут около 20, и пишет, что еще где-то 2.5 часа будет восстанавливаться. Как-то можно ускорить? около 30млн строк, вес 700мб
Tishka17
Ну вот представь, у тебя был инсерт год назад. А сейчас ты сделал делит, закоммитил. Сможешь ли ты завтра восстановить удаленные данные?
Tishka17
Ну, ладно. Откатить к состоянию до этого коммита
Tishka17
О том и речь
Tishka17
Там просто Марат хочет гит-лайк БД
Denis
https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving
Tishka17
Alexey
Народ, привет. Запускаю два сервиса в docker-compose - один питонячий с FastAPI, второй с postgres. Первый запускается сервис с pg, всё ок, запускается на 0.0.0.0:5432, порты проброшены, судя по docker-compose ps. Вторым запускается питоний сервис, стучится на localhost:5432 и... не находит сервис с pg. Оба хоста указаны в .env, две разные записи (host и db_host) и обе равны 0.0.0.0. Так вот, вопрос: как сервису питона увидеть сервис с поднятой базой? Win 10 x64, Python - 3.9-slim-buster, pg - postgres-latest.
Alexey
А зачем он на локалхост стучится, надо на постгрес
Пофиксил, редиректнул оба сервиса на 0.0.0.0 - то же самое. Вот логи: db: 2021-01-14 08:14:35.121 UTC [1] LOG: starting PostgreSQL 13.1 (Debian 13.1-1.pgdg100+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 8.3.0-6) 8.3.0, 64-bit 2021-01-14 08:14:35.122 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432 2021-01-14 08:14:35.122 UTC [1] LOG: listening on IPv6 address "::", port 5432 2021-01-14 08:14:35.131 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432" 2021-01-14 08:14:35.141 UTC [27] LOG: database system was shut down at 2021-01-14 08:14:34 UTC 2021-01-14 08:14:35.149 UTC [1] LOG: database system is ready to accept connections python: pony.orm.dbapiprovider.OperationalError: could not connect to server: Connection refused Is the server running on host "0.0.0.0" and accepting TCP/IP connections on port 5432?
Tishka17
Зачем ты лезешь на 0.0.0.0, если надо в постгрес?
Alexey
Ну ты либо ставь network=host, либо почитай, как сети в докере работают https://stackoverflow.com/questions/37683508/how-does-service-discovery-work-with-modern-docker-docker-compose
Спасибо за наводку, пойду курить мануалы. Думал, что между всеми сервисами бридж по умолчанию проброшен...
Alexey
В докер компоузе имя сервиса резолвится в айпишник, по локалхосту не достучиштся
Так-то оно так, но сервис грохается до того, как пытается достучаться по имени сервиса. Поменял - всё то же самое.
Проксимов
Покажи компоуз
Alexey
Лог сервиса Traceback (most recent call last): File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 52, in wrap_dbapi_exceptions return func(provider, *args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 230, in connect return provider.pool.connect() File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 351, in connect pool._connect() File "/usr/local/lib/python3.9/site-packages/pony/orm/dbproviders/postgres.py", line 184, in _connect pool.con = pool.dbapi_module.connect(*pool.args, **pool.kwargs) File "/usr/local/lib/python3.9/site-packages/psycopg2/__init__.py", line 127, in connect conn = _connect(dsn, connection_factory=connection_factory, **kwasync) psycopg2.OperationalError: could not connect to server: Connection refused Is the server running on host "localhost" (127.0.0.1) and accepting TCP/IP connections on port 5432? could not connect to server: Cannot assign requested address Is the server running on host "localhost" (::1) and accepting TCP/IP connections on port 5432? During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/app/./main.py", line 1, in <module> import api File "/app/api/__init__.py", line 6, in <module> from .routers.song import song_router File "/app/api/routers/song.py", line 2, in <module> from database.managers.song import SongManager File "/app/database/managers/song.py", line 5, in <module> from database.models import Song File "/app/database/models/__init__.py", line 16, in <module> db.bind( File "/usr/local/lib/python3.9/site-packages/pony/orm/core.py", line 774, in bind self._bind(*args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/core.py", line 796, in _bind self.provider = provider_cls(*args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 130, in __init__ connection, is_new_connection = provider.connect() File "<string>", line 2, in connect File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 72, in wrap_dbapi_exceptions raise OperationalError(e) pony.orm.dbapiprovider.OperationalError: could not connect to server: Connection refused Is the server running on host "localhost" (127.0.0.1) and accepting TCP/IP connections on port 5432? could not connect to server: Cannot assign requested address Is the server running on host "localhost" (::1) and accepting TCP/IP connections on port 5432?
Tishka17
Лог сервиса Traceback (most recent call last): File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 52, in wrap_dbapi_exceptions return func(provider, *args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 230, in connect return provider.pool.connect() File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 351, in connect pool._connect() File "/usr/local/lib/python3.9/site-packages/pony/orm/dbproviders/postgres.py", line 184, in _connect pool.con = pool.dbapi_module.connect(*pool.args, **pool.kwargs) File "/usr/local/lib/python3.9/site-packages/psycopg2/__init__.py", line 127, in connect conn = _connect(dsn, connection_factory=connection_factory, **kwasync) psycopg2.OperationalError: could not connect to server: Connection refused Is the server running on host "localhost" (127.0.0.1) and accepting TCP/IP connections on port 5432? could not connect to server: Cannot assign requested address Is the server running on host "localhost" (::1) and accepting TCP/IP connections on port 5432? During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/app/./main.py", line 1, in <module> import api File "/app/api/__init__.py", line 6, in <module> from .routers.song import song_router File "/app/api/routers/song.py", line 2, in <module> from database.managers.song import SongManager File "/app/database/managers/song.py", line 5, in <module> from database.models import Song File "/app/database/models/__init__.py", line 16, in <module> db.bind( File "/usr/local/lib/python3.9/site-packages/pony/orm/core.py", line 774, in bind self._bind(*args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/core.py", line 796, in _bind self.provider = provider_cls(*args, **kwargs) File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 130, in __init__ connection, is_new_connection = provider.connect() File "<string>", line 2, in connect File "/usr/local/lib/python3.9/site-packages/pony/orm/dbapiprovider.py", line 72, in wrap_dbapi_exceptions raise OperationalError(e) pony.orm.dbapiprovider.OperationalError: could not connect to server: Connection refused Is the server running on host "localhost" (127.0.0.1) and accepting TCP/IP connections on port 5432? could not connect to server: Cannot assign requested address Is the server running on host "localhost" (::1) and accepting TCP/IP connections on port 5432?
Какой ещё локалхост?