Register Register Member Login Member Login Member Login Forgot Password ??
PHP , ASP , ASP.NET, VB.NET, C#, Java , jQuery , Android , iOS , Windows Phone
 

Registered : 108,562

HOME > PHP > PHP Forum > PHP import to MYSQL ช้ามากเลยค่ะ รบกวนช่วยดูด้วยค่ะ ข้อมูล เป็นแสน row ค่ะ



 

PHP import to MYSQL ช้ามากเลยค่ะ รบกวนช่วยดูด้วยค่ะ ข้อมูล เป็นแสน row ค่ะ

 



Topic : 123818



โพสกระทู้ ( 228 )
บทความ ( 0 )



สถานะออฟไลน์




อ่านข้อมูลจาก text file แล้ว import ลง mysql ข้อมูลประมาณ 500000 row แต่นานมากเลยค่ะ
Code (PHP)
<?php


    $dbhost = "localhost";
    $dbusername = "root";
    $dbpassword = "";
    $dbname = "ops";
    $mysqli = new mysqli ($dbhost, $dbusername, $dbpassword, $dbname);


$Filename="bow.oa";
$Qdata = $Filename ;
$assay = file($Qdata) ;


  
foreach ($assay as $line_num=>$line){
	$value = (float)substr($line,20,8);
	$col = (float)substr($line,3,3);
	$roww= (float)substr($line,9,3);
	
		$Rvalue[]=$value;
		$coll[]=$col;
		$rowww[]=$roww;
	
}


	
	foreach($Rvalue as $key=>$value){
	
	 $VV = $Rvalue[$key];
     $CC = $coll[$key]; 
	 $RR = $rowww[$key];
	
      
$strSQL2 = "INSERT INTO bowl (colmn,roww,value) VALUES ('$CC', '$RR','$VV')";
$objQuery2 = $mysqli->query($strSQL2);
						
		
                  }
	 
echo "Finish";
mysqli_close($mysqli);	 

?>


ต้องเปลี่ยน code ตรงไหนบ้าง ให้เร็วขึ้นค่ะ



Tag : PHP







Move To Hilight (Stock) 
Send To Friend.Bookmark.
Date : 2016-07-12 18:13:46 By : sammam View : 1096 Reply : 6
 

 

No. 1



โพสกระทู้ ( 3,703 )
บทความ ( 0 )

สมาชิกที่ใส่เสื้อไทยครีเอท Hall of Fame 2012

สถานะออฟไลน์
Twitter Facebook

ลองดูนะครับ ติด loop ทิ้งไป loop นึง แล้ว รัน query insert เพียงครั้งเดียว แบบ multi row
**ไม่ได้เทสนะครับ
Code (PHP)
<?php


    $dbhost = "localhost";
    $dbusername = "root";
    $dbpassword = "";
    $dbname = "ops";
    $mysqli = new mysqli ($dbhost, $dbusername, $dbpassword, $dbname);


$Filename="bow.oa";
$Qdata = $Filename ;
$assay = file($Qdata) ;


 $values = "";

foreach ($assay as $line_num=>$line){
	$value = (float)substr($line,20,8);
	$col = (float)substr($line,3,3);
	$roww= (float)substr($line,9,3);
	
       $values .= "('$value','$col','$roww'),";
	
}

$values = rtrim($values, ",");

$strSQL2 = "INSERT INTO bowl (colmn,roww,value) VALUES $values";
$objQuery2 = $mysqli->query($strSQL2);

	 
echo "Finish";
mysqli_close($mysqli);	 

?>









ประวัติการแก้ไข
2016-07-12 19:52:45
2016-07-12 19:53:25
แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-12 19:52:06 By : mangkunzo
 


 

No. 2



โพสกระทู้ ( 228 )
บทความ ( 0 )



สถานะออฟไลน์


ตอบความคิดเห็นที่ : 1 เขียนโดย : mangkunzo เมื่อวันที่ 2016-07-12 19:52:06
รายละเอียดของการตอบ ::
ขอบคุณคร้า

เกิด error อะค่ะ

Warning: mysqli::query(): MySQL server has gone away in D:\XAMPP\htdocs\insert.php on line 30

Warning: mysqli::query(): Error reading result set's header in D:\\XAMPP\htdocs\insert.php on line 30



แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-12 22:35:31 By : sammam
 

 

No. 3



โพสกระทู้ ( 3,703 )
บทความ ( 0 )

สมาชิกที่ใส่เสื้อไทยครีเอท Hall of Fame 2012

สถานะออฟไลน์
Twitter Facebook

น่าจะเกิด out of memory นะครับ ไม่ค่อยแน่ใจ
ลองดูตามลิ้งนะครับ มีวิธีแก้
mysql-server-has-gone-away
แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-13 00:01:15 By : mangkunzo
 


 

No. 4



โพสกระทู้ ( 8,792 )
บทความ ( 2 )



สถานะออฟไลน์


บางทีโค๊ดเก่าก็ดีอยู่แล้ว
เพียงแต่ต้องตัด index ต่างๆ ออกก่อน เมื่อทำเสร็จแล้ว ค่อยใส่ index เข้าไปใหม่

ถ้ามี index ทุกครั้งที่ insert จะมีการจัดเรียงเสมอ
เอาแค่ ใส่ๆๆๆๆๆ โดยไม่ต้องจัดเรียง แล้วไปเรียงทีเดียวเมื่อเสร็จ
ตอนเรียงอาจจะนานซักหน่อย แต่ก็น่าจะเร็วกว่า
และมันทำงานเป็น resident บนฝั่ง server

โค๊ดข้างล่างเป็นการเปลี่ยนจากการอ่านทั้งหมดเก็บไว้ใน array เป็นการอ่าน เฉพาะบางส่วนนำมาใช้งาน
ป้องกันหน่วยความจำเต็ม

Code (PHP)
<?php
$db_link = new mysqli('','','','');
$filename = "data.txt";
$handle = fopen($filename, "r"); $content = '';
while(!feof($handle)){
	$contents .= fread($handle, 2000);
	$ar=explode("\n",$contents); $end_ln=count($ar)-1;
	foreach($ar as $k=>$line_data){
		if($k<$end_ln){ // ตรวจสอบว่าไม่เป็น element สุดท้าย
			// $line_data = ข้อมูลแต่ละบันทัด เรียกใช้ ฟังก์ชั่น ตรงนี้
			call_insert_data();
			//////////////////////////////
		}else{
			// ไม่ทำงานกับ element สุดท้าย เพราะข้อมูลอาจไม่ครบ ไห้ทดไปรวมกับ การอ่านไฟล์ ครั้งต่อไป
			$content = $line_data;
		}
	}
}
if(strlen($content)>10){
		// ข้อมูล บันทัดสุดท้ายที่ทดมา ทำตรงนี้
		call_insert_data($content);
}
function call_insert_data($data){
	// ทำงานส่่วนบันทุกข้อมูล
	global $db_link;
	// แปลงข้อมูลให้อยู่ในรูปที่ต้องการ
	$db_link->query( 'insert ....' );
}



ประวัติการแก้ไข
2016-07-13 10:36:03
2016-07-13 16:20:59
แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-13 08:50:19 By : Chaidhanan
 


 

No. 5



โพสกระทู้ ( 479 )
บทความ ( 3 )



สถานะออฟไลน์


ถ้าข้อมูลเยอะขนาดนี้ Optimize Code ก็ช่วยได้นิดหน่อย
ตัวแปรไหนใช้แค่ครั้งเดียว อย่าตั้งเป็นตัวแปร เปลืองหน่วยความจำ
single quote '' กับ double quote ""
ให้ใช้ single quote เพราะ single quote จะนำไปใช้ได้เลย
ส่วน double quote จะตรวจสอบทุกครั้งว่ามีตัวแปรอยู่ข้างในหรือไม่
echo ทำงานได้เร็วกว่า print
และอื่นๆ อีกมากมาก ลองไปอ่าน php optimization code

Code (PHP)
<?php
$mysqli = new mysqli ('localhost', 'root', '', 'ops');
$Qdata = 'bow.oa';
$assay = file($Qdata) ;
foreach ($assay as $line_num => $line) {
	$mysqli->query("INSERT INTO bowl (colmn, roww, value) VALUES ('".(float)substr($line,20,8)."', '".(float)substr($line,3,3)."', '".(float)substr($line,9,3)."')");
}
echo 'Finish';
$mysqli->close();
?>

แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-13 08:52:28 By : fossil31
 


 

No. 6

Guest


ตอบความคิดเห็นที่ : 5 เขียนโดย : fossil31 เมื่อวันที่ 2016-07-13 08:52:28
รายละเอียดของการตอบ ::
ชอบคำตอบแบบนี้จัง

แสดงความคิดเห็นโดยอ้างถึง ความคิดเห็นนี้
Date : 2016-07-18 11:14:39 By : ... ใส่ความคิดเห็นตรงนี้......
 

   

ค้นหาข้อมูล


   
 

แสดงความคิดเห็น
Re : PHP import to MYSQL ช้ามากเลยค่ะ รบกวนช่วยดูด้วยค่ะ ข้อมูล เป็นแสน row ค่ะ
 
 
รายละเอียด
 
ตัวหนา ตัวเอียง ตัวขีดเส้นใต้ ตัวมีขีดกลาง| ตัวเรืองแสง ตัวมีเงา ตัวอักษรวิ่ง| จัดย่อหน้าอิสระ จัดย่อหน้าชิดซ้าย จัดย่อหน้ากึ่งกลาง จัดย่อหน้าชิดขวา| เส้นขวาง| ขนาดตัวอักษร แบบตัวอักษร
ใส่แฟลช ใส่รูป ใส่ไฮเปอร์ลิ้งค์ ใส่อีเมล์ ใส่ลิ้งค์ FTP| ใส่แถวของตาราง ใส่คอลัมน์ตาราง| ตัวยก ตัวห้อย ตัวพิมพ์ดีด| ใส่โค้ด ใส่การอ้างถึงคำพูด| ใส่ลีสต์
smiley for :lol: smiley for :ken: smiley for :D smiley for :) smiley for ;) smiley for :eek: smiley for :geek: smiley for :roll: smiley for :erm: smiley for :cool: smiley for :blank: smiley for :idea: smiley for :ehh: smiley for :aargh: smiley for :evil:
Insert PHP Code
Insert ASP Code
Insert VB.NET Code Insert C#.NET Code Insert JavaScript Code Insert C#.NET Code
Insert Java Code
Insert Android Code
Insert Objective-C Code
Insert XML Code
Insert SQL Code
Insert Code
เพื่อความเรียบร้อยของข้อความ ควรจัดรูปแบบให้พอดีกับขนาดของหน้าจอ เพื่อง่ายต่อการอ่านและสบายตา และตรวจสอบภาษาไทยให้ถูกต้อง

อัพโหลดแทรกรูปภาพ

Notice

เพื่อความปลอดภัยของเว็บบอร์ด ไม่อนุญาติให้แทรก แท็ก [img]....[/img] โดยการอัพโหลดไฟล์รูปจากที่อื่น เช่นเว็บไซต์ ฟรีอัพโหลดต่าง ๆ
อัพโหลดแทรกรูปภาพ ให้ใช้บริการอัพโหลดไฟล์ของไทยครีเอท และตัดรูปภาพให้พอดีกับสกรีน เพื่อความโหลดเร็วและไฟล์ไม่ถูกลบทิ้ง

   
  เพื่อความปลอดภัยและการตรวจสอบ กระทู้ที่แทรกไฟล์อัพโหลดไฟล์จากที่อื่น อาจจะถูกลบทิ้ง
 
โดย
อีเมล์
บวกค่าให้ถูก
<= ตัวเลขฮินดูอารบิก เช่น 123 (หรือล็อกอินเข้าระบบสมาชิกเพื่อไม่ต้องกรอก)







Exchange: Voake, Comcube, รับทำเว็บไซต์ รับเขียนโปรแกรม , pangpond.com , pangpond.co.th , สำนักงานบัญชี.com , รถมือสอง

Load balance : Server 04
ThaiCreate.Com Logo
© www.ThaiCreate.Com. 2003-2021 All Rights Reserved.
ไทยครีเอทบริการ จัดทำดูแลแก้ไข Web Application ทุกรูปแบบ (PHP, .Net Application, VB.Net, C#)
[Conditions Privacy Statement] ติดต่อโฆษณา 081-987-6107 อัตราราคา คลิกที่นี่