<div dir="ltr"><div><div><div><div>Thanks Alan for sharing this script,<br><br></div>I have made a small change to mysql configuration and I got a surprising performance,<br></div>Now 5 lacks of records got imported in less than 45 minutes<br><br></div>this is the change I have made<br><br>innodb_flush_log_at_trx_commit = 0<br>innodb_flush_method = O_DIRECT<br><br></div>I have a dedicated server<br><div><br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><br>Regards,<br>Lajeesh<br></div></div>
<br><div class="gmail_quote">On Mon, Sep 28, 2015 at 12:28 PM, Alan Lord <span dir="ltr"><<a href="mailto:alanslists@gmail.com" target="_blank">alanslists@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 26/09/15 09:24, lajeesh k wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
@Alan can you share your server api script with us, so that i can save<br>
time for writing the script<br>
<br>
</blockquote>
<br></span>
Something like this should help you get started.<br>
<br>
<a href="http://paste.ubuntu.com/12600586/" rel="noreferrer" target="_blank">http://paste.ubuntu.com/12600586/</a><br>
<br>
This is for vtiger 5.4.0 but there won't be much change to make it work for 6; probably just include the main webUI entry point.<br>
<br>
Note this script reads in a csv file with the separator a semi-colon.<br>
<br>
For large imports I break the csv file into multiple files of say 50,000 each and then call this script from a bash shell script wrapper which does something like this:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
for FILE in ${FILES}<br>
<br>
do<br>
        php -f write-csv.php ${FILEPATH}${FILE}<br>
done<br>
</blockquote>
<br>
<br>
HTH<br>
<br>
<br>
Al<br>
<br>
<br>
<br>
_______________________________________________<br>
<a href="http://www.vtiger.com/" rel="noreferrer" target="_blank">http://www.vtiger.com/</a><br>
</blockquote></div><br></div>