18 Ноябрь 2021

PHP скрипт поиска изменённых файлов

В текущей разработке сделал скриптик, может кому пригодиться 🙂

Ищет изменённые файлы по маске «*.php» в рутовой директории, за исключением [«bitrix», «upload», «local»] за последние сутки.

Две доки по find с хорошими примерами
https://www.dmosk.ru/miniinstruktions.php?mini=search-linux
https://masterpro.ws/forum/6-linux/4710-kak-nayti-nedavno-modificirovannye-fayly-v-linux

<?
namespace WebSlon;
ini_set("xdebug.overload_var_dump", "off");

echo "<pre>";
$lastModFiles = new LastModify();
$time_start = microtime(true);
$res = $lastModFiles->getFiles();
var_dump($res);

$time_end = microtime(true);
echo $time_end - $time_start;

class LastModify {
    public $fileMask;
    public $skipDirs;
    public $rootdir;
    public $lastModifyMinutes;
    public $modifyFiles;

    public function __construct() {
        $this->fileMask  = ".php";
        $this->skipDirs  = ["bitrix", "upload", "local"];

        $this->rootdir = rtrim($_SERVER["DOCUMENT_ROOT"],"/");
        $this->lastModifyMinutes = 24*60;
    }

    public function getFiles() {
        $curdir = dir($this->rootdir);
        $this->modifyFiles .= str_replace($this->rootdir, "", $this->getDirFiles($this->rootdir, true));

        while($dir = $curdir->read()) {
            if ($dir == '.'||$dir == '..'||in_array($dir, $this->skipDirs)||!is_dir($this->rootdir.'/'. $dir)) {
                continue;
            }
            $res = $this->getDirFiles($this->rootdir.'/'. $dir);
            if(!empty($res)){
                $this->modifyFiles .= str_replace($this->rootdir, "", $res);
            }
        }
        return $this->modifyFiles;
    }

    public function getDirFiles($dir, $noRecursive=false) {
        $maxdepth = $noRecursive ? ' -maxdepth 1' : '';
        // -newermt "2019-11-02 00:00" можно вместо минут указывать дату, тут посмотреть как удобнее
        $command = 'find '.$dir.'/'.$maxdepth.' -type f -name "*.php" -mmin -'.$this->lastModifyMinutes;

        $res = shell_exec($command);
        return $res;
    }

}

namespace WebSlon;

ini_set("xdebug.overload_var_dump", "off");

echo "<pre>";

$lastModFiles = new LastModify();

$time_start = microtime(true);

$res = $lastModFiles->getFiles();

var_dump($res);

$time_end = microtime(true);

echo $time_end - $time_start;

class LastModify {

public $fileMask;

public $skipDirs;

public $rootdir;

public $lastModifyMinutes;

public $modifyFiles;

public function __construct() {

$this->fileMask = ".php";

$this->skipDirs = ["bitrix", "upload", "local"];

$this->rootdir = rtrim($_SERVER["DOCUMENT_ROOT"],"/");

$this->lastModifyMinutes = 24*60;

}

public function getFiles() {

$curdir = dir($this->rootdir);

$this->modifyFiles .= str_replace($this->rootdir, "", $this->getDirFiles($this->rootdir, true));

while($dir = $curdir->read()) {

if ($dir == '.'||$dir == '..'||in_array($dir, $this->skipDirs)||!is_dir($this->rootdir.'/'. $dir)) {

continue;

}

$res = $this->getDirFiles($this->rootdir.'/'. $dir);

if(!empty($res)){

$this->modifyFiles .= str_replace($this->rootdir, "", $res);

}

return $this->modifyFiles;

}

public function getDirFiles($dir, $noRecursive=false) {

$maxdepth = $noRecursive ? ' -maxdepth 1' : '';

// -newermt "2019-11-02 00:00" можно вместо минут указывать дату, тут посмотреть как удобнее

$command = 'find '.$dir.'/'.$maxdepth.' -type f -name "*.php" -mmin -'.$this->lastModifyMinutes;

$res = shell_exec($command);

return $res;

}

рубрики: Bitrix, PHP | Комментарии (0)

2 Ноябрь 2021

MYSQL Убираем дубли из таблицы — есть ID и нет ID

MYSQL Убираем дубли из таблицы если есть поле ID

CREATE TEMPORARY TABLE `t_temp` as ( SELECT min(id) as id FROM `table` GROUP BY name, surname ); 
DELETE from `table` WHERE `table`.id not in ( SELECT id FROM t_temp );

1 2	CREATE TEMPORARY TABLE `t_temp` as ( SELECT min(id) as id FROM `table` GROUP BY name, surname ); DELETE from `table` WHERE `table`.id not in ( SELECT id FROM t_temp );

MYSQL Убираем дубли из таблицы если нет поля ID

на примере таблицы b_user_access_check
В текущей версии 1С Битрикс айдишника нет и пишут они туда без какого либо контроля на дубли, в результате чего у одного из клиентов 80 млн. записей и 8 гигабайт «вес» файла таблицы, всё это «добро» от включенной галочки «Сохранять историю изменения полей профиля пользователя:» и нулём в «Сколько дней хранить историю».
Собственно, штатных методов почистить не нашел и саппорт тоже ничего не подсказал, поэтому убираем дубли напрямую запросом:

CREATE TEMPORARY TABLE `t_temp` as ( SELECT DISTINCT `USER_ID`, `PROVIDER_ID` FROM `b_user_access_check` GROUP BY `USER_ID`, `PROVIDER_ID` );
TRUNCATE TABLE `b_user_access_check`;
INSERT INTO `b_user_access_check` (`USER_ID`, `PROVIDER_ID`) SELECT `USER_ID`, `PROVIDER_ID` FROM `t_temp`;

CREATE TEMPORARY TABLE `t_temp` as ( SELECT DISTINCT `USER_ID`, `PROVIDER_ID` FROM `b_user_access_check` GROUP BY `USER_ID`, `PROVIDER_ID` );

TRUNCATE TABLE `b_user_access_check`;

INSERT INTO `b_user_access_check` (`USER_ID`, `PROVIDER_ID`) SELECT `USER_ID`, `PROVIDER_ID` FROM `t_temp`;

рубрики: Bitrix, MYSQL | Комментарии (0)

Пн	Вт	Ср	Чт	Пт	Сб	Вс
« Окт				Фев »
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30