ปรึกษาครับ GET ข้อมูลมาได้แค่ 1000 Limit ต้องการให้ได้ 2000+ Limit ทำอย่างไร ต้องใช้อะไรมาช่วยครับ ขอแนวทางด้วยครับ
จากโค้ดที่ให้มาแค่นั้น ดูแล้วเป็นการเชื่อมต่อระหว่างแอพของเรา กับแอพของคนอื่น เป็น API (ย่อมาจากอะไรใช้ google หาเอา)
ประวัติการแก้ไข
Date :
2021-08-19 17:42:33By :
mr.v
ตอบความคิดเห็นที่ : 1 เขียนโดย : mr.v เมื่อวันที่ 2021-08-19 17:42:33 รายละเอียดของการตอบ ::
ขอบคุณคำแนะนำครับ
ตอบ
อธิบายเพิ่มเติมครับ
1. ใช้ api url เชื่อมต่อกับ web
1.1 ไม่ใช่ app เดี๋ยวเข้าใจผิดกันหมดครัล
1.2 ไม่ใช่การเชื่อมต่อ แอพของเราและแอพของคนอื่น
1.3 แต่คือ การใช้ api url ไปดึงข้อมูลจาก web ของเราเอง จุดประสงค์คือดึงข้อมูล ioc เพื่อทำ test
1.4 api_url limit มาให้แค่ 1000
1.5 สิ่งที่ต้องการแนวทางจากทางเว็บ คือ เมื่อ api_url limit มาให้แค่ 1000 แต่เราต้องการมากกว่า 1000 limit คือ 2000+ (จะใช้วิธีไหนได้บ้างครับ)
1.6 หลังจาก get ioc ได้มากกว่า 2000+ จึงจะทำการ import ioc ชุดนี้เข้าไปใหม่ครับ
1.7 ส่วนที่บอกว่าใส่ &limit=2000 ข้อนี้ที่ผมอธิบายไปคือข้อ 1.5 api_url limit มาให้แค่ 1000 ผมลอง limit เป็น 2000 ก้ไม่ได้ครับ
2. key ใช้ในการ authen คือ เอามาจากทาง web ของเราเองครับ
3. เอกสารไม่ได้บอกในเรื่องของการทำ limit ว่าถ้า ต้องการ limit 2000+ ใช้วิธีนี้ ในเอกสารไม่มีครับ เลยมาถามในเว็บนี้ เผื่อมีคนรู้ครับ
4. ในเอกสารผมทำตามเอกสารครับ code ที่ผมแป๊ะไว้เลยครับ
5. ขอภัยที่ติด tag php แต่ที่จริงใช้ python พอดีผมหา tag python ไม่เจอ ไม่รู้ tag python มีหรือเปล่า ก็ขออภัยด้วยครับ
ประวัติการแก้ไข
Date :
2021-08-19 18:53:26By :
TeeTs
ถ้า api เป็นของคนอื่น ต้องไปดูคู่มือของเขาว่า ถ้าต้องการข้อมูลมากกว่า 1000 ต้องทำอย่างไร
ประวัติการแก้ไข
Date :
2021-08-20 11:47:09By :
Songkram
แนะนำได้แค่ หาค่า Start,Offset โดยเขียนเป็น Loop Example async function getData() {
try{
let response = await fetch('API_ROUTE');
return await response.json();
}catch(err){
console.error(err);
// Handle errors here
}
}
Date :
2021-08-20 21:58:01By :
Genesis™
การสื่อสารที่ผิดพลาด
Date :
2021-08-23 11:16:37By :
ผ่านมา
api กำหนด ครั้งละ 1000 เพื่อไม่ให้หนักเซิฟเว่อร์ ใช้เวลาเยอะ
Date :
2021-08-24 20:27:30By :
Chaidhanan
ตอบความคิดเห็นที่ : 16 เขียนโดย : TheGreatGod_of_Death เมื่อวันที่ 2021-08-23 17:15:27 รายละเอียดของการตอบ ::
2 code นี้จะเชื่อมกันได้อย่างไรครับ
1. code ที่ได้ทำ
Code
import requests
import json
# url
url = "api.xxx.com"
api_key ="xxx"
user = "xxx"
headers = {
"Content-Type": "application/json",
"Authorization": "apikey " + user + ":" + api_key,
}
response = requests.get(url, verify=False, headers=headers)
print(response.json())
print("status_code = " + str(response.status_code))
2.คือ code ที่เขาให้มาครับ น่าจะยังไม่มีการ loop parameter next ครับ
Code
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
str_match_next = ''.join(match_next)
while match_next != []:
url = "https://api.threatstream.com" + str(str_match_next)
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
ประวัติการแก้ไข
Date :
2021-08-25 10:46:27By :
TeeTs
- ต้องอธิบายก่อนครับ next ของ API มันคือ การส่ง Client ไปยังหน้าเพจต่างๆที่เรากำหนดเมื่อได้รับ response status == 200Next() app.get("/", (req, res, next) => {
next();
}
async await async function f() {
try {
let response = await fetch('ROUTE_API');
let user = await response.json();
console.success('ผ่าน', user);
} catch(err) {
console.error('พัง', err);
}
}
f();
ประวัติการแก้ไข
Date :
2021-08-25 11:49:14By :
Genesis™
update code Code (Python) import requests
import re
import json
url = "api.xxx.com"
api_key ="xxx"
user = "xxx"
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
str_match_next = ''.join(match_next)
while match_next != []:
url = "api.xxx.com" + str(str_match_next)
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
print(response.json())
print("status_code = " + str(response.status_code))
Date :
2021-08-25 13:31:42By :
TeeTs
ก่อนอื่นทำความเข้าใจ endpointhttps://www.w3schools.com/python/default.asp https://www.w3schools.com/python/python_lists_loop.asp https://www.w3schools.com/python/python_dictionaries.asp https://www.w3schools.com/python/python_json.asp https://www.w3schools.com/python/module_requests.asp https://www.w3schools.com/python/python_regex.asp Quote: Python Dictionary ≠ JSON
json() ) ได้ Python Dictionaryr"\"next\": \"(.*?)\"" Code match_next = re.findall(r"\"next\": \"(.*?)\"",response.text , re.MULTILINE | re.IGNORECASE)
Code (Python) import re
txt = """{
{When will snow falling in Thailand},
{'next': '/api/path/?page=2'},
{what is the next sample?},
{'next': '/api/path/?page=3'}
}"""
# result in list
l = re.findall(r"'next': '(.*?)'",txt, re.MULTILINE | re.IGNORECASE)
print('List:', end = ' ')
print(l)
# join() has no use place, just remove these two lines
j = ''.join(l) # remove it
print('\nJoin: ' + j) # remove it
print('\nLoop:')
# Method 1
for v in l:
url = "https://api.xxx.com" + v
print(url)
"""
# Method 2
while l != []: # in order to use this form of condition, pop() method is required
url = "https://api.xxx.com" + l[0]
print(url)
l.pop(0)
"""
ไม่ ต้องศึกษาพื้นฐาน python ให้เข้าใจก่อน
Date :
2021-08-25 15:32:14By :
TheGreatGod_of_Death
JSON vs Python Dictionary https://www.json.org/json-en.html *** object )Quote: print(response.json()) ทำไมไม่ได้เป็น json หรือครับ และทำไมได้เป็น Python Dictionary
https://docs.python-requests.org/en/latest/api/#requests.Response.json Quote: json (**kwargs) json-encoded content of a response, if any.json.loads
Quote: ผมต้องเอา Python Dictionary ไปแปลงเป็น json โดยใช้ RegEx
Code (Python) response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
str_match_next = ''.join(match_next)
while match_next != []:
url = "api.xxx.com" + str(str_match_next)
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
Date :
2021-08-25 20:10:36By :
TheGreatGod_of_Death
ตอบความคิดเห็นที่ : 35 เขียนโดย : TheGreatGod_of_Death เมื่อวันที่ 2021-08-25 20:10:36 รายละเอียดของการตอบ ::
code ชุดนี้ยังไม่ parameter next loop ใช่ไหมครับ
Code
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
str_match_next = ''.join(match_next)
while match_next != []:
url = "api.xxx.com" + str(str_match_next)
response = requests.get(url, headers={"Content-Type": "application/json"}, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
ข้อมูลที่เขาแนะนำมา คือ
1.แนะนำ code ที่ให้มา
2.บอกไป collect value ใน loop นั้นๆ จนกว่าจะจบใส่ array อันหนึ่ง (ผมไม่รู้อีก)
3.เขาบอกว่า เขาใช้พวก regex มาช่วยดึง data ที่ต้องการ ไม่ได้ใช้พวก json.load อะไรแบบนั้น (ผมไม่รู้อีก ผมศึกษา regex ที่พี่แนะนำก็ไม่เข้าใจอีก)
4.เขาบอกว่า มันดีตรงที่ flexible มาก แต่ต้องไปเขียน regex เพิ่มเอาเอง แล้วเอามาใส่ใน code อีกที (ผมไม่รู้อีก ว่าจะเขียนยังไง)
4.ข้อนี้ผมจะทำยังไงดี ตอนนี้ที่ผมทำได้คือ get มาได้ 1000 limit จาก no.1
แสดง ผมต้องเขียน loop ขึ้นมาเองได้ยังไงครับ ศึกษาจากตัวที่พี่ให้ จาก w3school ศึกษานะ ก็เป็นแบบ basic แต่ผมจะเขียนให้มัน loop ครั้งล่ะ 1000,1000,1000 จะประยุกต์ใช้กับงานยังไงครับ
หรือผมต้องไปถามเขาก่อนว่า loop next ทำแบบไหนใช่ไหมครับ
Date :
2021-08-26 11:32:23By :
TeeTs
ผมเลือกให้เลยแล้วกัน(ของคุณ TEEST โดยเฉพาะ) แบบก็อปวาง 99.99% (สำหรับ non-Programmer) import requests
import json
import re
# url
url = "xxxx"
api_key ="xxxx"
user = "xxxx"
headers = {
"Content-Type": "application/json",
"Authorization": "apikey " + user + ":" + api_key,
}
response = requests.get(url, headers=headers, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
data = [response.text]
for i in range(2):
if len(match_next) > 0:
url = "api.xxx.com" + match_next[0]
response = requests.get(url, headers=headers, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
data.append(response.text)
print(json.dumps(data, indent=4))
(แต่คงไม่)
Date :
2021-08-26 14:01:40By :
TheGreatGod_of_Death
ตอบความคิดเห็นที่ : 37 เขียนโดย : TheGreatGod_of_Death เมื่อวันที่ 2021-08-26 12:17:20 รายละเอียดของการตอบ ::
เอาแบบที่ 1 ครับ
1. อยากทำความเข้าใจ โดยให้คุณอธิบายเพิ่มเติมครับ และในตัวอย่างที่แนะนำมาจาก no.33 ที่ให้ไปประยุกต์กับ requests module อันนี้ผมยังไม่เข้าใจครับ
2.no.33 ตรง code python ที่บอกให้ประยุกต์กับ requests module ผมลองทำดูแต่ยังผิดครับ ให้คำแนะนำได้ครับ
Code (Python)
import requests
import re
url = "api.xxx.com"
api_key ="xxx"
user = "xxx"
headers={
"Content-Type": "application/json",
"Authorization": "apikey " + user + ":" + api_key,
"next": "api.xxx.com",
"next": "api.xxx.com"
}
response = requests.get(url, headers=headers, verify=False)
# Method 1
match_next = re.findall(r"'next': '(.*?)'",response.text, re.MULTILINE | re.IGNORECASE)
str_match_next = ''.join(match_next)
print(match_next)
# Method 2
while match_next != []:
url = "api.xxx.com" + str(str_match_next)
response = requests.get(url, headers=headers, verify=False)
match_next = re.findall(r"\"next\": \"(.*?)\"",response.text, re.MULTILINE | re.IGNORECASE)
print(url)
match_next.pop()
3.ผลลัพธ์ครับ ได้ค่านี้ []
Code
PS C:\xampp\htdocs\api> & "C:/Program Files/Python38/python.exe" c:/xampp/htdocs/api/anomali/test1.py
C:\Program Files\Python38\lib\site-packages\urllib3\connectionpool.py:1013: InsecureRequestWarning: Unverified HTTPS request is being made to host 'api.threatstream.com'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
warnings.warn(
[]
PS C:\xampp\htdocs\api>
Date :
2021-08-26 14:18:35By :
TeeTs
ตอบความคิดเห็นที่ : 40 เขียนโดย : TeeTs เมื่อวันที่ 2021-08-26 14:26:30 รายละเอียดของการตอบ ::
ที่ผมไม่รอ เพราะผมจะไม่อยู่แล้ว...
ที่นี่ไม่ได้ประโยชน์อะไร
ผมจะไปปลูกผัก เลี้ยงสัตว์ กินอยู่ที่บ้าน
ปล.ผมก็ไม่ใช่โปรแกรมเมอร์...แค่สนใจและเรียนเอง
เพียงมีเวลา (หมกมุ่นกับมัน)
ที่เคยเรียนสมัย มัธยม อุดมฯ มีแค่ c/c++/vb
PHP ? Python? , ...9รอ9
No ผมไม่เคยรู้จักมาก่อน
เพิ่งมาดู doc ช่วงหลังๆ ปีสองปีนี้เอง
ปล.2 คำตอบสุดท้ายของสุดท้าย
ลาก่อน ThaiCreate (ค้นพบโดยบังเอิญ เมื่อ 15 ปีที่แล้ว)
Date :
2021-08-26 14:34:51By :
TheGreatGod_of_Death
Server 04
Load balance : Server 04
Quote:
